Yahoo стал поддерживать “тэги исключения” посредством директивы x-Robot-Tag, предоставляющие веб-мастерам больше контроля над индексированием контента сайта.
Раньше прописать запрещающие тэги можно было только в META директиве, теперь в результате отзывов многих веб-мастеров, система позволяет запретить индексирование директивой x-Robot-Tag в заголовке html-документа. Прежде всего, поддержка теперь распространяется на тэги noindex, nofollow, noarchive, nosnippet.
Подобная защита станет полезна владельцам ресурсов с закрытым, защищенным платным контентом. Кроме того, в ближайшее время будут обновлены алгоритмы индексирования и краулинга; изменения будут видны в начале следующей недели.
Источник