В январе 2017 года сотрудник отдела качества поиска Google Гэри Илш (Gary Illyes) опубликовал документ для вебмастеров, в котором объяснил, как работает краулинговый бюджет. Вчера он обновил этот пост, чтобы прояснить, что на вызовы AJAX также расходуется бюджет.
«Как правило, любой URL, который сканируется роботом Googlebot, засчитывается в бюджет сканирования сайта. Альтернативные URL-адреса, такие как AMP или hreflang, а также встроенный контент, такой как CSS и JavaScript, включая вызовы AJAX (то есть XHR), тоже могут сканироваться и в таком случае будут потреблять краулинговый бюджет. То же самое касается длинных цепочек редиректов, которые также могут оказывать негативное влияние на сканирование», - говорится в документе.
Напомним, сотрудник Google Джон Мюллер считает, что значение краулингового бюджета и необходимости его оптимизации преувеличено. По его мнению, для большинства сайтов это не нужно, а заниматься этим имеет смысл только на действительно крупных ресурсах.
