MSNbot стал поддерживать протоколы сжатия при индексировании

    Компания Microsoft объявила об изменении технологии краулинга поисковика Live Search. MSNbot, обновлённый до версии 1.1 поддерживает протоколы компрессии HTTP и условных вычислений, что позволяет существенно сократить трафик при индексировании сайтов.

    Первый тип компрессии позволяет сжимать файлы перед скачиванием, второй позволяет определить изменения контента страницы по сравнению с предыдущим визитом бота и в случае, если изменений нет, не скачивать их вообще.

    Аналогичные изменения уже были имплементированы в состав ботов основных поисковых систем. Так, Googlebot стал поддерживать оба протокола в 2006, а Yahoo Slurp — еще в 2005. Бот Ask поддерживает только один компрессионный протокол.

    До внедрения поддержки сжатия, многие веб-мастера жаловались на краулинг Live Search, так как он проходил чересчур часто и отнимал много трафика.

    По материалам Search Engine Land

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.