Яндекс, в сервисе Яндекс.Помощь представил полное руководство для улучшения взаимодействия сайтов с роботами.
Руководство касается:
- содержания тегов, учитываемых роботом Яндекса (Keywords, Description, Content-Type, refresh);
- указания мета-тегов (meta name=”robots”, noindex и nofollow). Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию;
- использования тега noindex для запрета индексирования служебных участков текста. Тег noindex не чувствителен к вложенности и может находиться в любом месте html-кода страницы;
- использования атрибута rel=”nofollow” в теге a. Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.