Яндекс внес изменения в обработку файла robots.txt

Индексирующий робот Яндекса перестанет учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

1773

Команда Яндекс.Поиска сообщила об изменениях в обработке директивы Allow в файле robots.txt. Теперь поисковые роботы Яндекса перестанут учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Allow_1

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Сейчас оно игнорируется при обнаружении в robots.txt.
Если вебмастер намеренно использует пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Allow_2

Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Команда поиска Яндекса рекомендует обратить особое внимание на пустые значения для Allow — если нужно запретить индексирование, то их быть не должно.

Важность корректного заполнения файла robots.txt трудно переоценить. Из-за несоблюдения определенных условий вебмастер может, как собственноручно ошибочно запретить доступ к своему сайту, так и рискует попаданием в результаты поиска тех файлов и документов, которые желал бы закрыть от индексации. Для того, чтобы все установленные директивы корректно использовались роботом при посещении сайта, необходимо соблюдать ряд условий, перечисленных ранее Платоном Щукиным.

Журналист, новостной редактор, работает на сайте с 2009 года. Специализация: интернет-маркетинг, SEO, поисковые системы, обзоры профильных мероприятий, отраслевые новости рунета. Языки: румынский, испанский. Кредо: Арфы нет, возьмите бубен.

Прокомментировать

3 Комментарий на "Яндекс внес изменения в обработку файла robots.txt"

Notify of
Sort by:   newest | oldest | most voted
Сергей Нижегородцев
Гость

Никогда и не пользовался директивой Allow, раз есть Disallow

RedSEOru
Гость

Как-то глупо пользоваться директивой Allow для запрета…

Дмитрий Сибилёв
Гость

Развернул последний проект на новом двигле, robots.txt просто пустой. Нечего запрещать.

wpDiscuz