Новый робот — Overture-WebCrawler

    9

    На прошлой неделе ряд вебмастеров обнаружил в лог-файлах своих сайтов следы посещений нового робота. Робот представляется как “Overture-WebCrawler/3.8/Fresh (atw-crawler at fast dot no; http://fast.no/support/crawler.asp)”. Новое имя робота уже привело, по свидетельству нескольких специалистов, к отказу в индексировании для ряда сайтов, распознающих строку User-agent в запросе к серверу. Впрочем, вряд ли подобные отказы могут быть массовыми, однако изменение User-agent может приводить к тому, что робот перестает корректно распознаваться системами онлайн-статистики или программами обработки логфайлов.
    Открытым также остается вопрос, будет ли новый робот соблюдать ограничения, указанные в файлах robots.txt для робота с User-agent fast.