Что касается Bing, Yahoo и других поисковых систем, они следуют директивам, предназначенным только для их собственных поисковых роботов, а не Googlebot.
На официальной странице AppleBot по этому поводу говорится следующее: «Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot».
Напомним, что после многочисленных сообщений по поводу веб-краулера Apple, компания, в конечном итоге, признала его существование. В мае 2015 года Apple добавил в свой справочный центр страницу, посвящённую так называемому AppleBot.
«Поскольку iPhone занимает лидирующие позиции на рынке смартфонов, привлечение пользователей iOS – одна из первостепенных задач оптимизаторов при продвижении сайтов. Использование поисковым роботом Apple директивы GoogleBot упростит этот процесс и позволит лучше оптимизировать ресурсы, закрыв от индексации необходимые страницы. Таким образом, SEO-специалисты смогут повысить качество сайтов, что положительно отразиться на ранжировании в поиске.
Кроме того, в устройствах на iOS есть система внутреннего поиска Spotlight, функции которой Apple, вероятно, планирует расширить и переориентировать на внешний поиск в интернете. Если это произойдет, использование GoogleBot также позволит оптимизировать сайты под эту систему», – комментирует Олег Смагин, оптимизатор Kokoc.com (Kokoc Group).