Разница между старой и новой версией – в замене Apple iPhone и Safari в строке агента пользователя на Android и Chrome. В новой версии строка выглядит так:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Инженер и аналитик отдела качества поиска Google Гэри Илш (Gary Illyes) подтвердил факт обновления в Twitter:
So @Missiz_Z forced me to tell you that the Smartphone Googlebot UA was updated as planned https://t.co/l1oYUOXKzf pic.twitter.com/tiQ2cfTzNm
— Gary Illyes (@methode) 20 апреля 2016 г.
Напомним, что Google запустил новый UserAgent Googlebot для смартфонов в августе 2015 года. Как пояснили в компании, смартфоны и другие мобильные устройства имеют различные возможности. Иногда вебмастера случайно блокируют сканирование смартфонов вместо телефонов. Эта особенность делала невозможным индексирование контента смартфонов некоторых сайтов. Кроме того, Google не всегда мог распознать, что эти сайты оптимизированы для мобильных устройств.