Google: URL, заблокированные через robots.txt, не влияют на бюджет сканирования

Сотрудник Google Гэри Илшобновил свой пост с частыми вопросами по краулинговому бюджету. Теперь в нём появилась следующая информация:

« Вопрос. Влияют ли URL, доступ к которым закрыт через директиву Disallow в robots.txt, на бюджет сканирования?

Ответ. Нет, эти URL не влияют на краулинговый бюджет».


Данный вопрос относится к директиве «User-agent: * Disallow: /» в файле robots.txt, которая блокирует доступ для веб-краулеров. Как известно, эта директива может использоваться как для запрета на сканирование всего сайта, так и отдельных URL.

Согласно Google, страницы не будут сканироваться чаще из-за того, что другие страницы заблокированы от поисковых роботов.

Напомним, что Гэри Илш опубликовал подробный пост, посвящённый краулинговому бюджету, в 2017 году. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

В скором времени этот документбудет добавлен в качестве официального руководства Google по бюджету сканирования в Справочный центр.

preview Google запустил платформу для творческих специалистов Create with Google

Google запустил платформу для творческих специалистов Create with Google

Ранее в этом месяце Google представил новый ресурс для творческих специалистов – Create with Google
preview В продаже появилась умная колонка LG с Алисой

В продаже появилась умная колонка LG с Алисой

В продаже появилось первое устройство LG с Алисой — умная колонка LG XBOOM AI ThinQ WK7Y. Она играет музыку в отличном качестве, помогает с делами и управляет умным домом
preview AliExpress начинает подключать российские магазины

AliExpress начинает подключать российские магазины

Китайский маркетплейс AliExpress начинает подключать российских поставщиков
preview Google Ads добавил в раздел "Целевые страницы" данные по торговым кампаниям

Google Ads добавил в раздел "Целевые страницы" данные по торговым кампаниям

Google Ads сообщил, что теперь в разделе «Целевые страницы» рекламодатели смогут видеть данные по торговым кампаниям
preview Google тестирует новую рекламную карусель «People Also Considered»

Google тестирует новую рекламную карусель «People Also Considered»

Специалисты SEMRush заметили, что Google тестирует новый формат для рекламных объявлений Google Ads в результатах мобильного поиска
preview В Google Maps нашли миллионы фальшивых мест

В Google Maps нашли миллионы фальшивых мест

Расследование The Wall Street Journal показало, что в Google Maps содержатся миллионы фальшивых бизнес-адресов...