Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

1321

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».

В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

https://twitter.com/JohnMu/status/1192434849216434177

Для блокировки индексации можно использовать и директиву disallow:

https://twitter.com/JohnMu/status/1192512577374474241

Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».

https://twitter.com/JohnMu/status/1192743124570951680

Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

ИСТОЧНИКSearch Engine Roundtable
Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

Прокомментировать

avatar
  Подписаться  
Уведомление о