Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

3490

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

«Стоит помнить, что если эти страницы заблокированы в robots.txt, тогда теоретически возможна ситуация, когда кто-то случайно сошлётся на одну из них. И если это произойдёт, то мы можем индексировать эту страницу без контента, поскольку она заблокирована в robots.txt…

Поэтому, если на этих страницах есть что-то, что вы не хотите, чтобы было проиндексировано, тогда не отклоняйте их, а используйте метатег noindex», — заявил гуглер.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.

ИСТОЧНИКSearch Engine Journal
Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

6
Прокомментировать

avatar
4 Цепочка комментария
2 Ответы по цепочке
0 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
2 Авторы комментариев
Денис ГрязновDmitro Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Dmitro
Гость
Dmitro

Конкурент закупит ссылок на мусорные дубли и это все проиндексируется насмотря за запрет в робос? Бред. Какой смысл тогда от такого «управления».

Dmitro
Гость
Dmitro

…то лучше всего использовать метатег noindex
То есть если мне тупо надо заблочить папку с мусром я должен переделывать движек, а статические сайты вобще сосут, их надо переделывать потому что гугл так решил.

Думаю с таким ебланизмом, проще ставить запреты для гуглобота на уровне сервера, изобретем костыли вместо роботса. Зато оно будет работать всегда.

Денис Грязнов
Гость
Денис Грязнов

Там, где я работал, такой костыль применяют и проблем не возникает)

trackback

[…] стало известно ранее, Google может индексировать заблокированные в […]

trackback

[…] стало известно ранее, Google может индексировать заблокированные в […]

trackback

[…] it became known earlier, google can index pages that are blocked in robots.txt if they have links to them. But how […]