Как правильно закрыть сайт от индексации Google и Яндекс



Случается возникает необходимость в том, чтобы весь сайт или его определенные страницы или даже категории не попадали в индекс. Существует несколько способов запретить поисковым роботам индексацию ваших страниц.

Сегодня рассмотрим всего 2 из них: хороший и не очень.



Способ №1 Запретить индексацию страниц в robots.txt — не рекомендуется.

Самый простой и одновременно самый непредсказуемый и криво работающий способ — запретить индексацию с помощью файла robots.txt.


Преимущества этого способа
  • Простота. Просто заходите через ftp на ваш хостинг и прописываете необходимые правила в текстовый файл. Справится даже ребёнок. В конце концов всегда можно попросить тех. поддержку хостинга. Не будем описывать все директивы — все они подробно описаны в справке.
  • Гибкость. Можно запретить индексировать всю категорию или использовать маски для запрета индексации определенных URL.


Недостатки этого способа
  • Директивы которые прописываются в robots.txt это рекомендации поисковому роботу, а не строгие правила. Известны случаи когда сайт закрытый в robots.txt попадал в индекс.
  • Если нежелательные страницы уже проиндексированны, а вы этого не заметили и закрыли их с помощью robots.txt — эти страницы попадут в дополнительный индекс (supplemental results), как мусорные страницы. Это не хорошо, дополнительный индекс нужно держать в чистоте.


Способ №2 Запретить индексацию страниц с помощью мета-тега <meta name="robots" content="noindex, nofollow"/>

Значение параметра name говорит о том, что индексация закрыта для всех типов поисковых роботов, хотя можно указать названия поисковых роботов и по отдельности.

Значение параметра content говорит о том, что страница не будет проиндексированна, поисковый робот не будет переходить по ссылкам на этой странице и если эта страница уже была в индексе — её оттуда удалят при условии наличия этого тега и повторном посещении робота.

Остальные варианты значений которые могут принимать эти параметры очень доступно описаны в этой статье.


Преимущества этого способа
  • Предсказуемость. Это не указание, а жесткая директива поисковому роботу что нужно делать. 100% закрывает страницы от индексации.
  • Удаляет страницы из дополнительного индекса Google.
Недостатки
  • Если у вашей CMS нет удобного плагина который реализует этот способ или вы не программист или не владеете базовыми навыками программирования — скорее всего вам будет сложно самостоятельно его реализовать.