Google: метатег noindex не помогает сэкономить краулинговый бюджет

1444

Представитель Google Джон Мюллер подтвердил, что метатег noindex не помогает сэкономить краулинговый бюджет сайта. То же самое, по большей части, справедливо и в отношении атрибута rel=canonical.

Чтобы обнаружить метатеги, Googlebot должен просканировать страницу и, соответственно, израсходовать часть краулингового бюджета. Таким образом, noindex предотвращает индексирование страницы, но не сканирование.

Для большинства вебмастеров это очевидно, однако вопросы на эту тему периодически поднимаются среди специалистов отрасли.

Что касается атрибута rel=canonical, Googlebot сканирует не только каноническую, но и другие страницы. Это нужно для того, чтобы убедиться, что они действительно являются дубликатами.

В октябре представитель Google Гэри Илш напомнил, что если в коде страницы указаны обе директивы – и noindex и index – то учитываться будет noindex.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

2
Прокомментировать

avatar
1 Цепочка комментария
1 Ответы по цепочке
0 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
2 Авторы комментариев
Marian PopovychОлег Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Олег
Гость

Что в принципе логично. Сэкономить можно лишь закрытием мусора в robots

Marian Popovych
Гость

robots.txt существует не для закрытия от индексации 🙂
Самый правильный вариант — корректная настройка ответов сервера типа if-modified-since/last-modified.