Google отводит на сканирование каждой страницы не более 10 Мегабайт. Об этом сообщил специалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер (John Mueller) на 31:25 минуте видеоконференции в Google+.
Если объем страницы составляет более 10 мегабайт, следует убедиться, что Google просканировал контент страницы в установленном лимитом размере. Google также постоянно продолжает увеличивать лимит.
Джон Мюллер: «Существует ограничение на размер страницы, который мы можем скачать. Он составляет около 10 Мегабайт. Если контент страницы не превышает 10 мегабайт, мы сможем распознать его и показать в поисковой выдаче».
Ранее Джон Мюллер сообщил, что предела частоты сканирования не существует, он устанавливается автоматически. GoogleBot осуществляет сканирование с такой частотой, которую он считает подходящей для сервера.
В мае 2014 года представители Google официально сообщили о запуске инструмента, который позволит вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScrip, как Googlebot. Сообщалось, что новая возможность будет доступна в сервисе «Инструменты для веб-мастеров» в одной из вкладок раздела «Просмотреть как Googlebot».
В текущем году Google запустил новую конфигурацию своего робота Googlebot для страниц, адаптирующихся к местности.