Google не фиксирует частоту сканирования сайта GoogleBot

В форуме помощи веб-мастеров Google обсуждают вопрос, почему GoogleBot сканирует сайт с максимальной скоростью 10 запросов в секунду. Веб-мастер задокументировал поведение бота с и продемонстрировал соответствующий график. 

Специалист хотел узнать, почему установлен предел в 10 запросов в секунду, и почему бы не сделать его больше, если сервер может справиться с этим?

Специалист отдела качества поиска Google по работе с веб-мастерами Джон Мюллер (John Mueller) ответил ему, что на самом деле конкретного предела нет, он устанавливается автоматически. GoogleBot осуществляет сканирование с такой частотой, которую он считает подходящей для сервера. Веб-мастерам не нужно ничего делать, только не препятствовать Googlebot в сканировании сайта.

В случае сомнений в корректной работе Googlebot всегда можно нажать на ссылку «Сообщить о проблеме с Googlebot» в Webmaster Tools, чтобы помочь Google отладить проблему.

Ранее издание Search Engine Roundtable со ссылкой на Джона Мюллера сообщило, что владельцам сайтов не стоит сильно беспокоиться в случаях, когда из-за неисправности или случайной блокировки сканирования поисковый робот Googlebot не может получить доступ к сайту. После того, как запрет на сканирование краулером будет снят, URL-ы страниц сразу же появятся в индексе Google.

Google достиг соглашения с Googles.com

Корпорация Google достигла соглашения с детским интернет-ресурсом Googles.com. Об этом сообщается на сайте Googles...

Новогодний колдунщик от Яндекса

Специально к праздникам в поиске Яндекса появился новогодний колдунщик...

Тактика поисковой оптимизации в 2015 году

Директор по онлайн-маркетингу маркетинговой компании KoMarketing Associates Касе Жилетт (Casie Gillette) предложила 5 тактик поисковой оптимизации для хорошего начала 2015 года...

Google Карты обновили информацию о пятидесяти улицах Москвы

На Google Картах обновилась информация о пятидесяти пяти улицах столицы между Садовым и Третьим транспортным кольцами. В течение декабря эти улицы стали односторонними

Google запустил праздничный логотип в англоязычной версии поиска

23 декабря 2014 года лидер поиска Google начал трёхдневный марафон праздничных логотипов/ дудлов, приуроченный к Рождеству. Он запущен в англоязычной версии поисковика

Прогноз: Что ожидает SEO-специалистов в Google в 2015 году?

Колумнист издания Search Engine Land Крис Марентис (Chris Marentis) поделился своими прогнозами того, какие изменения произойдут в Google и в SEO-отрасли в следующем году