Альтернативный метод определения аффилированности двух сайтов, без использования недокументированных операторов языка запроса
Наверное, трудно найти такого SEO-специалиста, который бы не слышал о понятии аффилирования сайтов в Яндексе. Суть его заключается в группировке нескольких сайтов одного владельца в поисковой выдаче. В итоге по общим запросам показывается только один, самый релевантный документ из всех сайтов аффилированной группы. В подразделе «Некачественные сайты» раздела «Помощь вебмастеру» документации Яндекса можно встретить такую фразу:
«Мы стараемся не индексировать или не ранжировать высоко:
...
Группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика».
Немногим более года назад я опубликовал простой и эффективный способ проверки аффилированности двух сайтов в Яндексе. К сожалению, используемый в нем оператор отрицания был исключен из документации языка запросов и поддержка его официально прекращена. Видимо, по этой причине на протяжении некоторого времени данный способ вообще не работал (что сказалось на работоспособности некоторых SEO-сервисов, предлагающих автоматическую проверку сайтов на аффилированность), и только буквально недавно работоспособность способа опять восстановилась. Хотя анализ выдачи показывает, что оператор отрицания все равно работает сейчас не совсем корректно (что, впрочем, пока не сказывается на работоспособности обсуждаемого способа), и гарантировать, что способ сохранит свою работоспособность ни в коей мере нельзя.
Таким образом возникает задача поиска очередного лайфхака в виде альтернативного метода определения аффилированности двух сайтов, который не использовал бы недокументированных операторов языка запроса.
Напомню суть существующего способа. Нам необходимо построить выдачу по какому-либо запросу, в которой должны находиться главные страницы сравниваемых сайтов. Если они показываются на одной странице выдачи, значит, аффилирования нет. Если же показывается только одна из них, то значит, сайты саффилированы и сгруппированы в выдаче, и показывается только один из них, наиболее релевантный запросу. Рассматриваемый способ ограничивал выдачу главными страницами рассматриваемых сайтов с помощью оператора url:. Однако использование данного оператора (равно как и других документных операторов url:, site:, host: и rhost: ) приводит к разгруппировке выдачи по доменам, и чтобы принудительно сгруппировать ее обратно, использовалась конструкция из последовательного примененных операторов отрицания и оператора url: с произвольным значением.
К сожалению, найти альтернативный способ принудительной группировки разгруппированной выдачи без использования оператора отрицания мне на данный момент не удалось. Поэтому изначальную задачу построения следует решать без применения документных операторов url:, site:, host: и rhost: , дабы не разгруппировывать выдачу. Причем, необходимо построить выдачу с как можно меньшим количеством сайтов, так, чтобы все ответы уместились на одной странице (максимально возможное количество ответов на поисковой странице в Яндексе составляет 50).
В этом случае можно взять по одной достаточно редкой фразе с каждой из главных страниц исследуемых сайтов. Идеально, если это будут вообще уникальные фразы, но не всегда возможно найти таковые, да и сам поиск уникальных фраз на странице может стать весьма трудоемкой задачей. Однако, во многих случаях бывает достаточно взять содержимое тегов title.
Так, например, рассмотрим этот способ для сайтов, взятых в качестве примера аффилиатов в моей прошлогодней статье. Убеждаемся, что главные страницы сайтов находятся в поиске по точной фразе, взятой из тега title:
Теперь компонуем обе точные фразы в одном запросе через пока еще остающийся документированным оператор | (логическое ИЛИ):
Мы видим оба сайта рядом на странице поисковой выдачи, а это явно свидетельствует о том, что они на данный момент не аффилированы. Хотя еще год назад они распознавались, как аффилиаты. Проверяем с помощью старого способа – все верно, сайты уже не аффилированы:
Теперь возьмем для проверки другую пару сайтов, оба принадлежат одному информационному холдингу. Снова убеждаемся, что главные страницы сайтов находятся в поиске по точной фразе, взятой из тега title:
Компонуем обе точные фразы в одном запросе через оператор | и видим в выдаче только один из двух сайтов:
Отмечу, что все результаты помещаются на одну страницу выдачи, разбитую по 50 результатов, так что в этом легко убедиться. Проверка старым способом подтверждает факт аффилирования данных сайтов:
Таким образом, предложенный способ можно применять, как альтернативу прежнему. Однако, стоит признать, что необходимость поиска подходящих фраз в контенте исследуемых страниц, существенно повышает его трудоемкость и ограничивает возможность его автоматизации.
