На днях в официальном блоге Bing появилась информация о том, как удалять дублированные страницы из индекса поисковика.
«Как известно, поисковые алгоритмы Bing регулярно индексируют огромное количество веб-страниц. Ежедневно на просторах глобальной сети появляется все большее количество URLов, которые дублируют те, что уже существуют в интернете. Такое положение вещей сильно усложняет работу поисковым алгоритмам, существенно снижая качество и релевантность выдачи», - говорится в блоге.
Что же при этом остается делать вебмастерам? Безусловно они могут облегчить работу поисковым алгоритмам Bing, удаляя дубликаты страниц и работая над своими сайтами. С этой целью можно, к примеру, использовать атрибут rel="canonical".
Однако, по мнению специалистов Bing, наиболее эффективным будет применение инструмента URL-нормализации или канонизации (URL Normalization), который можно найти в Средствах веб-мастера Bing. Данный функционал позволяет вебмастерам задавать необходимые параметры обхода – то есть «указывать» Bing, какие страницы его краулеры могут спокойно обойти. Использование данного инструмента избавит ресурс от постоянного сканирования, что, в свою очередь, снизит нагрузку на сервер, а также избавит владельцев сайта от постоянного индексирования c применением расширенных параметров алгоритмами Bing исходящих ссылок. Кроме того, функционал URL Normalization автоматически распознает наиболее распространенные на сайте типы дублированных URL и указывает на них вебмастеру.
Также представители Bing посоветовали вебмастерам не забывать и о 301 коде ответа сервера Moved Permanently (Перемещен на постоянной основе).
