Yahoo изменил технику краулинга

    Компания Yahoo объявила об изменении техники краулинга, которое привнесено в технологию поиска в связи с отзывами многочисленных пользователей.

    Теперь компания снизила количество краулинговых машин, но увеличила эффективность просмотра сайта роботом.

    Это сделано для того, чтобы снизить нагрузку, которую испытывает сайт при просмотре его краулером.

    По словам администрации, новый краулер все время совершенствуется для улучшения покрытия и эффективности при снижении количества запросов и общей нагрузки на сайты.

    Источник

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.