Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».

В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:

Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».

Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

Источник: Search Engine Roundtable
preview Зарубежные вебмастера заметили признаки обновления алгоритма Google

Зарубежные вебмастера заметили признаки обновления алгоритма Google

В сети появилось много фактов, указывающих на возможное обновление поискового алгоритма Google...
preview Опубликована программа Девятой вебмастерской Яндекса

Опубликована программа Девятой вебмастерской Яндекса

На Девятой вебмастерской, которая состоится 22 ноября в московском офисе Яндекса, эксперты интернет-компании расскажут о том, как бизнесу анализировать клиентский опыт и...
preview Google не рекомендует использовать robots.txt для блокировки URL с параметрами

Google не рекомендует использовать robots.txt для блокировки URL с параметрами

Google настоятельно не рекомендует использовать robots.txt для блокировки индексации URL с параметрами...
preview Конкуренты Google Shopping в ЕС недовольны результатами антимонопольных мер

Конкуренты Google Shopping в ЕС недовольны результатами антимонопольных мер

Меры, принятые Google в рамках соглашения об урегулировании по делу Google Shopping в ЕС, не смогли улучшить ситуацию в товарном поиске в этом регионе
preview В Google Sites теперь можно добавлять на сайты сворачиваемые текстовые поля

В Google Sites теперь можно добавлять на сайты сворачиваемые текстовые поля

Конструктор Google Sites получил новую функцию, которая позволяет редакторам добавлять на новые сайты сворачиваемые текстовые поля, раскрываемые по клику
preview На Coursera стартует курс по основам работы с Google Таблицами

На Coursera стартует курс по основам работы с Google Таблицами

Google объявил о запуске курса по основам работы с Google Таблицами на Coursera – Getting Started with Google Sheets course. Обучение стартует сегодня, 8 ноября