Новый робот - Overture-WebCrawler

На прошлой неделе ряд вебмастеров обнаружил в лог-файлах своих сайтов следы посещений нового робота. Робот представляется как “Overture-WebCrawler/3.8/Fresh (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)”. Новое имя робота уже привело, по свидетельству нескольких специалистов, к отказу в индексировании для ряда сайтов, распознающих строку User-agent в запросе к серверу. Впрочем, вряд ли подобные отказы могут быть массовыми, однако изменение User-agent может приводить к тому, что робот перестает корректно распознаваться системами онлайн-статистики или программами обработки логфайлов.
Открытым также остается вопрос, будет ли новый робот соблюдать ограничения, указанные в файлах robots.txt для робота с User-agent fast.

Searchengines.ru переносит платную рассылку новостей на базу информационного канала Subscribe.ru

Интернет-проект Searchengines.ru, крупнейший русскоязычный ресурс, посвященный поисковым системам и вопросам оптимизации сайтов, объявляет о переносе выпуска платной рассылки...

Google тестирует Related Searches

На этой неделе рядом обозревателей было обнаружено появление на результатах поиска Google дополнительной строки Related Searches, в которой подбираются похожие по смыслу...

Новая архитектура поиска Rambler: введено ежедневное обновление базы

На Rambler введена в строй новая версия поисковой машины, которая принципиально отличается от предыдущей по двум основным параметрам

Новая архитектура поиска Rambler: введено ежедневное обновление базы (обновлено)

На Rambler введена в строй новая версия поисковой машины, которая принципиально отличается от предыдущей по двум основным параметрам

FindWhat пересматривает свое намерение объединиться с Espotting

Один из крупнейших PPC-поисковиков, FindWhat...

DealTime становится Shopping.com

Поисковая система по Интернет-магазинам Dealtime официально объявила 22 сентября о смене названия на Shopping.com