Google: как ускорить индексирование новой версии файла robots.txt

47

Сканирование и индексирование обновлённого файла robots.txt можно ускорить. Об этом рассказал специалист службы качества поиска Google Джон Мюллер (John Mueller) на форуме Google Webmaster Help.

«Вы можете ускорить обработку последней версии robots.txt Google (обычно, мы сканируем его раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию,  и сможете отправить в Google изменённый файл для повторного сканирования», — пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

google-submit-robots-txt-1451913678.png

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.