24 и 25 сентября в Иннополисе, расположенном недалеко от Казани, проходила VI Международная SEO Conference 2015.
Мероприятие - традиционно признано одним из самых масштабных и авторитетных мероприятий в мире SEO и интернет-маркетинга. В прошлом году в конференции приняли участие такие известные компании, как Google, Mail.ru, Яндекс, «ВКонтакте», Aviasales, WikiMart, Sape, Ingate, Kokoc и многие другие.
Конференцию открыл Михаил Сливинский (Wikimart), представив доклад на тему «Наблюдения в поисковой выдаче».
Спикер начал с констатации малоприятного для всех представителей отрасли факта: в последние несколько месяцев поисковая выдача Яндекса стала очень нестабильной. В ней наблюдается такой шторм, что какие-либо действия оптимизаторов, направленные на улучшение позиций сайтов и исследование поисковой выдачи, стали не заметны вообще.
Далее Михаил Сливинский привёл слайд, отражающий динамику спроса (wordstat по ~8 тыс. категорийных запросов), поквартально - 2015 год против 2014:
Как видно из скриншота, ситуация несколько ухудшилась в таких сегментах, как: электроника, бытовая техника, компьютеры, авто. В то же время, есть и эффективные категории: всё для дома, сад, инструменты, детство, спорт – пока это именно те категории, в которых можно развиваться, и где есть спрос.
В сервисе Wordstat недавно появилась возможность, которая позволяет анализировать только мобильные запросы. То есть теперь можно посмотреть, сколько запросов пользователи задают в целом, и сколько запросов они задают исключительно из мобильного поиска. По итогам проверки нескольких категорийных запросов автору удалось выделить долю мобильного спроса по интересующим категориям:
Здесь все также логично и объяснимо. Задумываясь над тем, как интерпретировать данные Wordstat, становится понятно, что часть запросов совершают боты. В одной из научных статей Яндекса напрямую говорится о том, что из 200 млн. запросов, которые поступают в поисковую систему ежедневно, примерно 30–40 млн. совершают роботы.
Можно оценить долю коммерческого трафика в поисковом трафике Рунета, исходя из статистики категории «Товары и услуги» в рейтинге Liveinternet.ru. В допущении отдельно учитывается, что кликогенерация по коммерческим запросам приблизительно соответствует средней по всему потоку запросов. Картина получилась примерно следующая:
Таким образом, при доле коммерческого трафика ~8% на коммерческие запросы приходится всего ~16 млн. запросов в сутки. При этом ботов – 30-40 млн.
Поисковые машины используют поведенческую информацию в ранжировании. К сожалению, далеко не для всех документов, известных поисковым машинам, собрана поведенческая информация. Заработать первые поведенческие можно несколькими способами: 1. купить поисковую рекламу (это хорошее действие для коммерческого сайта); 2. должны произойти определённые действия со стороны поисковой системы: так Яндекс попытался предсказать поведенческие факторы и разрешить некоторую ротацию в выдаче.
По сути, Яндекс стал подмешивать в выдачу новые документы, не имеющие достаточной поведенческой информации. Алгоритм описан в статье “Gathering additional feedback on search results by multi-armed bandits with respect to production ranking”, Alexandr Vorobev, Damien Lefortier, Gleb Gusev, Pavel Serdyukov, Yandex.
На графике, представленном выше, отложено суммарное интегральное количество хостов в ТОП 1-10 по Яндексу и Google. Как видно, в конце июня резко выросло хостовое разнообразие по Яндексу. Интересно, что сначала попробовали домешивать новые документы в ТОП 4-10, а позже – и в ТОП-3. Логично, поскольку эта технология повышает риск показать пользователю малорелевантный документ. Но в целом, видимо, эксперимент признан удачным.
Параллельно происходила следующая вещь: на 35 неделе у многих сайтов хорошо «приросла» индексация по Яндексу.
Хорошо приросли в индексе и сайты с высоким тИЦ, а также «возрастные» сайты. Молодые сайты приросли довольно слабо.
Интереснее всего, что в выборке оказалось 86 сайтов, зарегистрированных в 80-х годах. Среди них: ge.com, ibm.com, boeing.com, mit.edu, hp.com, intel.com, polaroid.com, ericsson.com, ford.com, bbc.com, philips.com, sony.com, oracle.com и другие.
Возможно, это не совпадение и прирост индекса связан с новой практикой подмешивания новых документов.
Полнота Яндекса, по данным Analyzethis.ru, заметно выросла. Иными словами, поисковая машина расширила свой индекс, для того, чтобы существенно обогатить опыт пользователей.
В то же время, по данным «Нейрон», доля пустых SERP в Яндексе упала незначительно:
Как видно, разные инструменты дают разные оценки. Ситуация понятна не вполне, и многое еще только предстоит понять и объяснить.
Так что же делать, когда выдачу так «штормит»? В целом, оптимизаторы много работают, однако те колебания, которые создаёт Яндекс в поисковой выдаче, в разы сильнее, чем все усилия специалистов. Поэтому многие решения и эксперименты сводятся на нет.
Чтобы проверить, есть ли схожесть в поведении у похожих хостов, и выявить какие-либо закономерности, было решено использовать метод кластеризации k-means на нескольких десятках апдейтов. Метрика – дельта хоста по количеству запросов в ТОП-10 Яндекса против предыдущего апдейта. В выборку попали хосты (около 5.5 тысяч), имевшие существенное количество показов в ТОП-10 по выборке в 170 тысяч коммерческих запросов:
Как видно, у ряда сайтов резко менялась видимость с 28 апреля по 3 мая. С чем именно это связано – пока не вполне ясно, но хосты группируются весьма аккуратно и этот феномен нужно дальше исследовать.
Сделав выборку по трём кластерам, получили следующую картину: для большей части сайтов поведение укладывается в 3 паттерна, а динамика получилась очень разнонаправленной.
Однако, как показывают графики, изменения являются системными и регулярными.
«По мере продвижения сайта вниз по ТОПу, хостовые поведенческие метрики ухудшаются, я показывал это подробно на Кибермаркетинге в прошлом году. Видно, что при появлении новых документов в выдаче хостовые поведенческие не ухудшились. Это очень грубая оценка, разумеется.
И всё-таки важно усвоить, что те изменения, которые мы видим – с нами надолго. Это значит, что в будущем оптимизаторам и владельцам сайтов придется жить в новых условиях», – подытожил Михаил Сливинский.
Вопрос из зала: На какой выборке сайтов получали статистику?
Михаил Сливинский: Исследовали 5 тысяч хостов. Это агрегированные хостовые поведенческие данные на топ. Статистика бралась по Similarweb.