Google: метатег noindex не помогает сэкономить краулинговый бюджет

1382

Представитель Google Джон Мюллер подтвердил, что метатег noindex не помогает сэкономить краулинговый бюджет сайта. То же самое, по большей части, справедливо и в отношении атрибута rel=canonical.

Чтобы обнаружить метатеги, Googlebot должен просканировать страницу и, соответственно, израсходовать часть краулингового бюджета. Таким образом, noindex предотвращает индексирование страницы, но не сканирование.

Для большинства вебмастеров это очевидно, однако вопросы на эту тему периодически поднимаются среди специалистов отрасли.

Что касается атрибута rel=canonical, Googlebot сканирует не только каноническую, но и другие страницы. Это нужно для того, чтобы убедиться, что они действительно являются дубликатами.

В октябре представитель Google Гэри Илш напомнил, что если в коде страницы указаны обе директивы – и noindex и index – то учитываться будет noindex.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

Прокомментировать

2 Комментарий на "Google: метатег noindex не помогает сэкономить краулинговый бюджет"

Notify of
Sort by:   newest | oldest | most voted
Олег
Гость

Что в принципе логично. Сэкономить можно лишь закрытием мусора в robots

Marian Popovych
Гость

robots.txt существует не для закрытия от индексации 🙂
Самый правильный вариант — корректная настройка ответов сервера типа if-modified-since/last-modified.

wpDiscuz