Основные значения UserAgent

Здесь уже публиковались сведения
о составлении файла robots.txt
, при этом приводился список основных значений UserAgent для роботов поисковиков. Однако, видимо, приведенная информация была неполной, вполне возможно, также, что она несколько устарела за прошедшее время.
Далее приводится список UserAgent по состоянию на 1 марта 2002 года по основным поисковикам.










Поисковая система

UserAgent

Имя робота для robots.txt
Примечание

AltaVista

Scooter-3.0.3

Scooter

Ask Jeeves

Mozilla/2.0 (compatible; Ask Jeeves)

directhit

teomaagent1

Fast Search and Transfer ASA

FAST-WebCrawler/3.4/Nirvana)

Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no)

fast

Google

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Wget/1.5.3

Googlebot-image (+http://www.googlebot.com/bot.html)

googlebot

Inktomi
Slurp (Slurp.so/1.0 (slurp@inktomi.com;
http://www.inktomi.com/slurp.html )

slurp

Lycos

Lycos_Spider_(modspider)

T-Rex

lycos

Не очень ясно, зачем этот робот продолжает
работать.
Yahoo

Mozilla/4.05

LWP::Simple/5.53

Робот для проверки ссылок

Яндекс

Yandex/1.03.000

Yandex

Рамблер

StackRambler/1.4

Stack

Апорт

Aport Registration Robot

aport

Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.