Яндекс отказался от учета Crawl-delay и ввел ручное ограничение скорости обхода сайта

1817

Для того чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, Яндекс решил отказаться от учета директивы Crawl-delay.

Не секрет, что многие вебмастера частенько не задумываются о значении этой директивы и ее правильной настройке в файле robots.txt. Между тем именно Crawl-delay отвечает за то, как часто робот может обращаться к сайту. В результате ошибочно установленных значений директивы, например, страницы сайта длительное время не могут проиндексироваться роботом.

Теперь Яндекс по умолчанию для каждого конкретного сайта выставляет максимальную скорость с учетом нагрузки, допустимой для сервера. А для тех, кто по какой-то причине все-таки хочет ограничить скорость обхода сайта, в разделе «Индексирование» Яндекс.Вебмастера появился новый инструмент — «Скорость обхода». Он позволяет регулировать частоту запросов поискового робота к сайту:

Этот инструмент заменит собой рекомендации из директивы Crawl-delay, его настройки можно выставить уже сейчас: они начнут учитываться через неделю, с 22 февраля.

Напомним, в конце декабря в кабинете Яндекс.Вебмастера появилась проверка сайта на качество рекламы. Если на сайте есть реклама, которая алгоритмами Яндекса распознается как наиболее раздражающий пользователей формат, определенный IAB Russia, вебмастер получит об этом уведомление.

В конце января Вебмастер предложил сайтам форму добавления в «Безопасную Гавань» от IAB Russia, чтобы поддержать инициативу по повышению качества рекламы.

ИСТОЧНИКЯндекс.Вебмастер
Журналист, новостной редактор, работает на сайте с 2009 года. Специализация: интернет-маркетинг, SEO, поисковые системы, обзоры профильных мероприятий, отраслевые новости рунета. Языки: румынский, испанский. Кредо: Арфы нет, возьмите бубен.