Как указано на странице, AppleBot – веб-краулер Apple. Он используется для сбора данных для Siri и Spotlight.
Apple будет придерживаться правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, Apple будет следовать указаниям для GoogleBot. Если вебмастер хочет заблокировать AppleBot и GoogleBot, достаточно заблокировать GoogleBot.
Если замечена необычная активность со стороны AppleBot, связаться со специалистами компании по этому вопросу можно по email: Apple-NOC@apple.com
В скорости после публикации информации об AppleBot, Apple Insider сообщил о том, что Apple «стремительно расширяет внутреннюю группу поиска» для построения собственной версии поисковой системы на базе Spotlight.