Google настоятельно не рекомендует использовать robots.txt для блокировки индексации URL с параметрами. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.
По словам Мюллера, если используется такой способ блокировки, то Google не может каноникализировать URL-ы, и сайт теряет всю ценность от ссылок на эти страницы.
Вместо этого рекомендуется использовать атрибуты rel=canonical, внутренние ссылки и т.п.
Затем он подробнее объяснил, почему так плохо блокировать эти URL с помощью robots.txt:
«Если страница заблокирована в robots.txt, то мы не увидим rel=canonical и в результате можем выбрать другой URL. Если вы используете robots.txt, то мы будем обрабатывать эти URL так же, как и другие роботизированные страницы (и не будем знать, что находится на странице, поэтому есть вероятность индексации URL без содержимого)».
Напомним, ранее стало известно, что если при попытке получить доступ к файлу robots.txt Googlebot видит ошибку 5xx, то он не будет сканировать сайт.
А если файл robots.txt или Sitemap появляется в результатах поиска, то это говорит о том, что у сайта проблемы, и он требует улучшений.
