Яндекс ввёл новую директиву для файла robots.txt

    ЯндексПри помощи новой директивы Clean-param в robots.txt теперь можно указывать незначащие cgi-параметры в url поисковому роботу. Робот Яндекса, используя информацию в директиве Clean-param, перестанет индексировать дублирующийся контент на страницах сайта, адреса которых содержат динамические параметры, не влияющие на их содержание. К таким параметрам относятся индетификаторы сессий, пользователей, рефереров и т.п.

    Использование директивы Clean-param может позволить индексирующему роботу увеличить эффективность обхода сайта, а также снизить нагрузку на сервер.

    По мнению Любимова Тимофея , эксперта по оптимизации компании SmartSEO, Clean-param достаточно необходимая директива при управлении индексацией сайта. «В целом вещь полезная, т.к. наша компания как раз специализируется на больших проектах и нам проблемы индексации актуальны и близки. Сложность состояла в том, что ранее поисковый робот индексировал совершенно ненужные страницы с дублирующим контентом, а до нужных страниц не доходил. Соответственно, имея такой инструмент, все эти урлы можно легко и без потерь склеить в один и дать роботу возможность идти дальше по сайту, не закачивая шлак», — комментирует Тимофей.

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.