Google не рекомендует использовать robots.txt для блокировки URL с параметрами

871

Google настоятельно не рекомендует использовать robots.txt для блокировки индексации URL с параметрами. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

По словам Мюллера, если используется такой способ блокировки, то Google не может каноникализировать URL-ы, и сайт теряет всю ценность от ссылок на эти страницы.

Вместо этого рекомендуется использовать атрибуты rel=canonical, внутренние ссылки и т.п.

https://twitter.com/JohnMu/status/1192734378302070785

Затем он подробнее объяснил, почему так плохо блокировать эти URL с помощью robots.txt:

«Если страница заблокирована в robots.txt, то мы не увидим rel=canonical и в результате можем выбрать другой URL. Если вы используете robots.txt, то мы будем обрабатывать эти URL так же, как и  другие роботизированные страницы (и не будем знать, что находится на странице, поэтому есть вероятность индексации URL без содержимого)».

https://twitter.com/JohnMu/status/1192743124570951680

Напомним, ранее стало известно, что если при попытке получить доступ к файлу robots.txt Googlebot видит ошибку 5xx, то он не будет сканировать сайт.

А если файл robots.txt или Sitemap появляется в результатах поиска, то это говорит о том, что у сайта проблемы, и он требует улучшений.

ИСТОЧНИКSearch Engine Roundtable
Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

1
Прокомментировать

avatar
1 Цепочка комментария
0 Ответы по цепочке
1 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
1 Авторы комментариев
Павел Семенов Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Павел Семенов
Участник

Привет.
Ранее я делал так для Google Bot Disallow: /*utm_
Исходя из статьи, лучше это убрать, если есть link rel="canonical" на странице?