Google сообщил, что обновит агента пользователя Googlebot, чтобы он отображал отображал актуальную версию браузера Chrome, в декабре.
После того, как в мае Google запустил новую версию Googlebot, краулер теперь всегда работает на базе последней версии Chrome, однако user-agent пока не отображает это изменение (в нём упоминается Chrome 41).
Текущие агенты пользователя Googlebot выглядят так:
Мобильные устройства:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Десктопы:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
или
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
В декабре агенты пользователя Googlebot начнут показывать ту версию Chrome, которую использует краулер. Номер версии будет обновляться на регулярной основе.
Мобильные устройства:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Десктопы:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
или
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Как это изменение повлияет на сайты
Проведённое Google тестирование показало, что большинство сайтов это обновление не затронет. Сайты, которые следуют рекомендациям поисковика по использованию feature detection и progressive enhancement вместо анализа user-agent, должны продолжать работать без каких-либо изменений.
Если же сайт ищет конкретного агента пользователя, то он может пострадать от предстоящего обновления. В данном случае Google рекомендует использовать feature detection вместо парсинга user-agent. Если это невозможно, и есть необходимость определять Googlebot через агента пользователя, то в user-agent нужно искать «Googlebot».
Чтобы проверить, затронет ли это изменение конкретный сайт, нужно попробовать загрузить страницу в браузере, используя нового агента пользователя. Инструкции о том, как переопределить user-agent в Chrome, доступны на сайте Google Developers.
