В компании также объяснили, почему вебмастера могут видеть старые user-agents
Сотрудник Google Мартин Сплитт ответил в Twitter на вопросы, связанные с обновлением агентов пользователя Googlebot.
Так, в декабре Google планировал запустить новые user-agents, которые должны отображать актуальную версию Chrome (в старой версии указан Chrome 41). Как известно, после запуска «вечнозелёного» Googlebot поисковик продолжал использовать старых агентов пользователя.
В январе вебмастера начали видеть новые user-agents с актуальной версией Chrome в журналах сервера. Однако многие по-прежнему наблюдают старых агентов пользователя, в строках которых указан Chrome 41.
Сегодня Мартин Сплитт заявил, что запуск новых user-agents уже должен быть завершён:
Однако в комментариях некоторые специалисты отметили, что по-прежнему видят Chrome 41.
Сплитт написал, что запуск во всех дата-центрах может занять какое-то время:
Консультант по интернет-маркетингу Гленн Гейб, известный в SEO-сообществе, также оказался в числе тех, кто не видит новых агентов пользователя. Поэтому он попросил Мартина уточнить, действительно ли запуск уже завершён.
В ответ Сплитт отметил, что для первоначального сканирования перед рендерингом, в ходе которого HTML-код передаётся сервису обработки веб-страниц (Web Rendering Service, WRS), user-agents, вероятно, не изменились.
Он также прояснил сам процесс обработки страниц: изначально Googlebot делает HTTP-запрос на получение HTML-кода страницы. Это делается с помощью старых агентов пользователя. Затем WRS обрабатывает страницу, загружая этот HTML и извлекая связанные ресурсы. Это делается с помощью нового user-agent.
Иногда WRS сканирует страницу снова, и тогда тоже используется новый агент пользователя.
В комментариях один из вебмастеров уточнил:
«Получается, Chrome 79 – это WRS, а Chrome 41 – получение простого HTML?».
Сплитт ответил «Да» и добавил:
«На разных этапах может быть выбран разный UA для отправки запроса. WRS использует новый UA. Но! Гипотетически любая часть, которая может в свою очередь вызвать WRS, может предоставить старый UA. Поэтому будьте осторожны, делая выводы из одного лишь UA».
Со всем обсуждением в Twitter можно ознакомиться по ссылке.
