Основные значения UserAgent

Здесь уже публиковались сведения
о составлении файла robots.txt
, при этом приводился список основных значений UserAgent для роботов поисковиков. Однако, видимо, приведенная информация была неполной, вполне возможно, также, что она несколько устарела за прошедшее время.
Далее приводится список UserAgent по состоянию на 1 марта 2002 года по основным поисковикам.

































































Поисковая система


UserAgent


Имя робота для robots.txt


Примечание


AltaVista


Scooter-3.0.3


Scooter


-


Ask Jeeves


Mozilla/2.0 (compatible; Ask Jeeves)


directhit

teomaagent1



Fast Search and Transfer ASA


FAST-WebCrawler/3.4/Nirvana)

Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no)


fast




Google


Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Wget/1.5.3

Googlebot-image (+http://www.googlebot.com/bot.html)



googlebot




Inktomi


Slurp (Slurp.so/1.0 (slurp@inktomi.com;
http://www.inktomi.com/slurp.html )


slurp




Lycos


Lycos_Spider_(modspider)

T-Rex


lycos


Не очень ясно, зачем этот робот продолжает
работать.

Yahoo


Mozilla/4.05

LWP::Simple/5.53


-


Робот для проверки ссылок


Яндекс


Yandex/1.03.000


Yandex

-


Рамблер


StackRambler/1.4


Stack

-


Апорт


Aport Registration Robot


aport

-

Анализ спроса и повышение видимости в поисковых машинах

компания “Ашманов и Партнёры” Как попасть на первую страницу поисковика...

Все о тэге Title

Тэг Title - один из самых важных факторов, позволяющих достичь высоких позиций сайта в результатах поиска

Правильная регистрация в каталогах

Эта статья рассказывает об основах регистрации сайтов в модерируемых каталогах ресурсов сети Интернет, таких как Yahoo!, dmoz...

Миф о гейтвеях

Правда ли, что гейтвеи – лучший способ добиться высокой позиции сайта в результатах поиска

Google: технология поиска для нового тысячелетия

Все любят Google, потому что он быстр и прост в использовании и имеет огромную базу данных

Преимущества мета-поиска

Я уже касался мета-поисковых систем в одной из своих предыдущих статей, но хотел бы сейчас уделить этому большее внимание...