Для того чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, Яндекс решил отказаться от учета директивы Crawl-delay.
Не секрет, что многие вебмастера частенько не задумываются о значении этой директивы и ее правильной настройке в файле robots.txt. Между тем именно Crawl-delay отвечает за то, как часто робот может обращаться к сайту. В результате ошибочно установленных значений директивы, например, страницы сайта длительное время не могут проиндексироваться роботом.
Теперь Яндекс по умолчанию для каждого конкретного сайта выставляет максимальную скорость с учетом нагрузки, допустимой для сервера. А для тех, кто по какой-то причине все-таки хочет ограничить скорость обхода сайта, в разделе «Индексирование» Яндекс.Вебмастера появился новый инструмент - «Скорость обхода». Он позволяет регулировать частоту запросов поискового робота к сайту:
Этот инструмент заменит собой рекомендации из директивы Crawl-delay, его настройки можно выставить уже сейчас: они начнут учитываться через неделю, с 22 февраля.
Напомним, в конце декабря в кабинете Яндекс.Вебмастера появилась проверка сайта на качество рекламы. Если на сайте есть реклама, которая алгоритмами Яндекса распознается как наиболее раздражающий пользователей формат, определенный IAB Russia, вебмастер получит об этом уведомление.
В конце января Вебмастер предложил сайтам форму добавления в «Безопасную Гавань» от IAB Russia, чтобы поддержать инициативу по повышению качества рекламы.
