Новый робот — Overture-WebCrawler

    На прошлой неделе ряд вебмастеров обнаружил в лог-файлах своих сайтов следы посещений нового робота. Робот представляется как “Overture-WebCrawler/3.8/Fresh (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)”. Новое имя робота уже привело, по свидетельству нескольких специалистов, к отказу в индексировании для ряда сайтов, распознающих строку User-agent в запросе к серверу. Впрочем, вряд ли подобные отказы могут быть массовыми, однако изменение User-agent может приводить к тому, что робот перестает корректно распознаваться системами онлайн-статистики или программами обработки логфайлов.
    Открытым также остается вопрос, будет ли новый робот соблюдать ограничения, указанные в файлах robots.txt для робота с User-agent fast.

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.