Аналитик отдела качества поиска Google Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.
По словам Илша, для большинства сайтов краулинговый бюджет – это то, о чём им точно не стоит беспокоиться. Обращать внимание на бюджет сканирования стоит лишь крупным сайтам.
«Приоритезация того, что нужно сканировать, когда, и сколько ресурсов может выделить сервер, более важно для крупных сайтов или же ресурсов с динамическими страницами, создаваемыми на основании заданных параметров», - отметил Илш.
Возможность ограничения скорости сканирования создана для того, чтобы Google не обрабатывал слишком много страниц сайта слишком быстро. Это позволяет избежать излишней нагрузки на сервер.
Краулинговый спрос (crawl demand) представляет собой количество страниц, которые хочет просканировать Google. Этот показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.Краулинговый бюджет объединяет в себе скорость сканирования и краулинговый спрос. В Google под краулинговым бюджетом понимают количество URL, которые Googlebot хочет и может просканировать.
Факторы, влияющие на краулинговый бюджет
В Google выяснили, что наличие на сайте большого количества низкокачественных страниц может оказать негативное влияние на его сканирование и индексирование. Ниже – перечень категорий, в которые попадают эти страницы (в порядке убывания значимости):
- Фасетная навигация и идентификаторы сессий;
- Дубликаты;
- Страницы, возвращающие ошибку soft 404;
- Взломанные страницы;
- Низкокачественный и спамный контент;
- URL, создающие бесконечные пространства (такие, как календари).
Растрачивание ресурсов сервера на эти страницы приведёт к снижению активности сканирования действительно ценных страниц. В конечном итоге это может привести к тому, что качественный контент сайта будет индексироваться с задержкой.
FAQ по краулинговому бюджету
Влияет ли скорость сайта на краулинговый бюджет? Как насчёт ошибок сканирования?
Уменьшение скорости загрузки сайта улучшает UX, одновременно повышая скорость сканирования. Для Googlebot быстрый сайт – это признак хорошей работы серверов. А это значит, что поисковый робот может просканировать больше контента за одно и то же количество соединений. В то же время значительное число ошибок 5хх сигнализирует об обратном, и сканирование сайта замедляется.
Мы рекомендуем следить за отчётом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.
Является ли сканирование фактором ранжирования?Увеличение скорости сканирования не обязательно приведёт к повышению позиций сайта в выдаче. Google использует в ранжировании сотни сигналов. Хотя сканирование необходимо для присутствия сайта в результатах поиска, оно не является сигналом для ранжирования.
Расходуется ли краулинговый бюджет на альтернативные URL и встроенный контент?Обычно учитываются все URL, которые сканирует Googlebot. Альтернативные URL (AMP, hreflang) и встроенный контент (CSS, JavaScript) также сканируются. Соответственно, на них расходуется краулинговый бюджет. То же самое касается и цепочек редиректов.
Могу ли я контролировать Googlebot с помощью директивы «crawl-delay»?Googlebot не обрабатывает директиву «crawl-delay».
А директива nofollow влияет на краулинговый бюджет?Бывает по-разному. Любой URL, который сканируется, влияет на краулинговый бюджет. Поэтому, даже если URL содержит директиву nofollow, он может по-прежнему сканироваться в том случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.
