Управление скоростью обхода сайта роботом РСЯ

    Участники Рекламной сети Яндекса могут управлять скоростью обхода своего сайта роботом РСЯ при помощи дерективы Crawl-delay в файле robots.txt.

    Директива Crawl-delay устанавливает продолжительность паузы, которую делает робот между загрузками страниц сайта. При отсутствии файла robots.txt или директивы в нём минимальная пауза составляет 2 секунды. Такая продолжительность паузы обеспечивает оптимальную скорость индексации для большинства сайтов и не создает чрезмерной нагрузки на серверы и хостинг. Например, она позволяет роботу РСЯ полностью проиндексировать сайт, состоящий из нескольких тысяч страниц, в течение суток.

    Крупным сайтам рекомендуется устанавливать значение crawl-delay менее двух секунд. Устанавливать значение Crawl-delay больше двух секунд имеет смысл, если робот РСЯ создает ощутимую нагрузку на сайт и мешает его нормальной работе. Следует также помнить о том, что слишком высокое значение Сrawl-delay может понизить качество рекламы и монетизацию сайта.

    Получить более подробную информации о директиве Сrawl-delay можно на странице помощи.

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.