Google уже многие годы говорит вебмастерам, что не поддерживает директиву noindex в файле robots.txt. Однако некоторые SEO-специалисты по-прежнему её используют. Поэтому в компании задумались над тем, чтобы полностью отказаться от этой директивы и сделать так, чтобы она не работала. Об этом заявил сотрудник поиска Гэри Илш в ходе обсуждения на эту тему в Twitter.
Обсуждение инициировал один из пользователей соцсети. Он обратился к Джону Мюллеру и попросил совета относительно использования noindex в robots.txt. Однако Мюллер ответил, что официально эта директива не поддерживается:
Известный западный SEO-консультант Мари Хэйнс (Marie Haynes) на это отметила, что по мнению многих специалистов, она по-прежнему неплохо работает:
Здесь к обсуждению присоединился Гэри Илш, который сказал, что в скором времени это может измениться.
«Я сейчас чищу эту часть кодовой базы Googlebot, а эта штука торчит, как монахиня в мош-пите», - написал он.
Далее он добавил, что «технически robots.txt предназначен для сканирования. Метатеги – для индексирования. Во время индексации они будут применяться на одной и той же стадии, поэтому нет никаких веских оснований иметь их обоих».
На что один из специалистов отметил, что директива noindex в robots.txt - это очень полезная функция при взаимодействии с внешними разработчиками/агентствами - когда не получается получить доступ к конкретному поддомену.
Илш ответил, что проведёт исследование, чтобы посмотреть, как вебмастера используют эту директиву. Если таких будет много, то он обсудит этот вопрос с вышестоящим руководством.
Напомним, в 2017 году стало известно, что для Google директива Noindex, follow со временем переходит в Noindex, nofollow.
