Google перестанет поддерживать директиву noindex в robots.txt

1203

Начиная с 1 сентября Google перестанет поддерживать недокументированные и неподдерживаемые правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt.

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд устаревшего весь код, который обрабатывает неподдерживаемые и неописанные в документации правила (такие, как noindex), 1 сентября 2019 года», — говорится в сообщении компании.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

  • Noindex в метатегах robots;
  • Коды ответа сервера 404 и 410;
  • Disalow в robots.txt;
  • Инструмент удаления URL в Search Console;
  • Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

Прокомментировать

avatar
  Подписаться  
Уведомление о