Компания Microsoft объявила об изменении технологии краулинга поисковика Live Search. MSNbot, обновлённый до версии 1.1 поддерживает протоколы компрессии HTTP и условных вычислений, что позволяет существенно сократить трафик при индексировании сайтов.
Первый тип компрессии позволяет сжимать файлы перед скачиванием, второй позволяет определить изменения контента страницы по сравнению с предыдущим визитом бота и в случае, если изменений нет, не скачивать их вообще.
Аналогичные изменения уже были имплементированы в состав ботов основных поисковых систем. Так, Googlebot стал поддерживать оба протокола в 2006, а Yahoo Slurp - еще в 2005. Бот Ask поддерживает только один компрессионный протокол.
До внедрения поддержки сжатия, многие веб-мастера жаловались на краулинг Live Search, так как он проходил чересчур часто и отнимал много трафика.
По материалам Search Engine Land