Мэтт Катс объяснил, зачем нужен файл robots.txt

Очередной видеоролик от Google был посвящен вопросу использования файла robots.txt. В формате обучающего видео Мэтт Катс (Matt Cutts) ответил на следующий вопрос пользователя Corey S. из Пенсильвании: "Что лучше: создать пустой файл robots.txt или содержащий User-agent: *Disallow? А, может быть, можно и восе обойтись без файла robots.txt?" Заметим, что речь идет о том случае, когда вебмастер не желает закрывать информацию при сканировании роботом.

По мнению ведущего программиста Google, в данном случае подойдет любой из двух первых перечисленных вариантов. Кроме того, Мэтт Катс не советует вебмастерам пренебрегать файлом robots.txt, поскольку при его отсутствии веб-хост может выдавать страницу 404, что влечет нежелательные последствия. Однако паниковать не следует, потому что Google уже научился выявлять подобные явления и свел риск к минимуму. «Казусы» возможны лишь в 1% случаев.

Сам же Катс отметил что предпочитает, использовать вариант с User-agent: *Disallow — который позволяет поисковой системе определить, что вебмастер сознательно позволяет роботу индексировать все данные, имеющиеся на сайте. Пустой же файл поисковый робот может расценить как то, что данные были удалены разработчиком по ошибке.

Редактор-переводчик портала Searchengines.ru, работает на сайте с 2010 года. Специализируется на западном интернет-маркетинге, новостях социальных сетей и поисковых систем. Постоянно принимает участие в профильных семинарах и конференциях в качестве журналиста-обозревателя. Языки: английский, французский.