Джон Мюллер: как Google ранжирует страницы, заблокированные в robots.txt

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер объяснил, как определяется релевантность запросу для тех страниц, что заблокированы от сканирования с помощью robots.txt.

Как стало известно ранее, Google может индексировать заблокированные в robots.txt страницы, если на них есть ссылки. Но как Google определяет, по каким типам запросов ранжировать эти URL?

Вопрос к Мюллеру звучал так:

«Сегодня все говорят о намерении пользователя. Если страница заблокирована через robots.txt, но ранжируется, как Google определяет релевантность её контента запросу?

Мюллер ответил, что Google не может просмотреть заблокированный контент. Поэтому ему приходится искать другие пути, чтобы сравнить текущий URL c другими.

В большинстве случаев Google будет приоритизировать индексацию других страниц сайта, которые более доступны и не заблокированы от сканирования.

При этом иногда в результатах поиска могут выводиться заблокированные страницы. Это происходит в тех случаях, когда Google считает, что такое решение оправдано. Релевантность таких страниц будет определяться по ссылкам, указывающим на них.

Прослушать ответ Мюллера можно, начиная с отметки 21:49 на видео ниже:

https://youtu.be/TlocS5b_46o?t=1311

Напомним, что в рамках работы над переводом Robots Exclusion Protocol в разряд интернет-стандартов Google решил отключить поддержку недокументированных правил в robots.txt, включая директиву noindex.

Источник: Search Engine Journal
preview Метрика приглашает на вебинар про отчеты по контенту

Метрика приглашает на вебинар про отчеты по контенту

17 июля Яндекс.Метрика проведет бесплатный вебинар, посвященный тонкостям работы с отчетами по контенту, специально разработанными сервисом для онлайн-изданий в начале июля
preview Камера в Google Translate получила поддержку NMT и 60 новых языков

Камера в Google Translate получила поддержку NMT и 60 новых языков

Google значительно улучшил функциональность камеры в приложении Google Translate
preview Яндекс.Маркет запустил бету приложения «Суперчек»

Яндекс.Маркет запустил бету приложения «Суперчек»

Приложение «Суперчек» от Яндекс.Маркета, которое показывает ассортимент крупных продовольственных ритейлеров и позволяет получать кэшбэк за покупки, заработало в бета-версии
preview Google тестирует новое поведение функции автозаполнения

Google тестирует новое поведение функции автозаполнения

Англоязычные пользователи заметили, что Google тестирует новый UX для функции автозаполнения на десктопах
preview Яндекс.Деньги запустили акцию «Разбуди свой кошелек»

Яндекс.Деньги запустили акцию «Разбуди свой кошелек»

Яндекс.Деньги запустили акцию для тех, чьи кошельки спят. Теперь можно «разбудить» свой кошелек и получить шанс выиграть часть от 100 000 000
preview YouTube ужесточил требования к заявкам Content ID, подаваемым вручную

YouTube ужесточил требования к заявкам Content ID, подаваемым вручную

YouTube ввёл новое требование для заявок, которые правообладатели подают через систему Content ID вручную – с помощью Менеджера контента