Поисковая система Google запустила новую конфигурацию своего робота Googlebot для страниц, адаптирующихся к местности. Такие страницы изменяют свой контент в зависимости от языка, выбранного пользователем, или определенного географического положения. Если страницы сайта отображаются в зависимости от языка посетителя, робот Google может не просканировать весь контент. Причина проблемы заключается в том, что его IP-адреса по умолчанию относятся к США. Кроме того, робот отправляет запросы HTTP без параметра Accept-Language в заголовке.
Чтобы лучше представить локализованный контент в поиске, Google в некоторых случаях применяет сканирование с учетом языка, а именно:
- Сканирование по географическим регионам. Googlebot использует IP-адреса за пределами США. Также учитываются и адреса в Соединенных Штатах.
- Сканирование с учетом языка. Googlebot выполняет сканирование с параметром Accept-Language в заголовках запросов HTTP.
Поскольку эти новые конфигурации включается автоматически, пользователи могут заметить изменения в том, как сайт сканируется и отображается результатах поисковой выдачи.
Важно учесть, что Google по-прежнему поддерживает и рекомендует использовать для разных языков отдельные URL с атрибутами rel=alternate hreflang.
В мае 2014 года представители Google официально сообщили о запуске инструмента, который позволит вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScrip, как Googlebot. Новая возможность доступна в сервисе «Инструменты для веб-мастеров» в одной из вкладок раздела «Просмотреть как Googlebot».