Представитель Google Джон Мюллер подтвердил, что метатег noindex не помогает сэкономить краулинговый бюджет сайта. То же самое, по большей части, справедливо и в отношении атрибута rel=canonical.
Чтобы обнаружить метатеги, Googlebot должен просканировать страницу и, соответственно, израсходовать часть краулингового бюджета. Таким образом, noindex предотвращает индексирование страницы, но не сканирование.
@idanbenor nope.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 30 ноября 2016 г.
Для большинства вебмастеров это очевидно, однако вопросы на эту тему периодически поднимаются среди специалистов отрасли.
Что касается атрибута rel=canonical, Googlebot сканирует не только каноническую, но и другие страницы. Это нужно для того, чтобы убедиться, что они действительно являются дубликатами.
@bheligman probably not (or not much). we have to pick a canonical & have to crawl the dups to see that they're dups anyway.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 30 ноября 2016 г.
В октябре представитель Google Гэри Илш напомнил, что если в коде страницы указаны обе директивы – и noindex и index – то учитываться будет noindex.
