Как Mobile-First индексирование повлияет на ссылочный граф в Google

Автор:  Расс Джонс (Russ Jones), сооснователь searchVIU.com Перевод: Владимир Харев, руководитель поисковой оптимизации медиапроектов Mail.Ru Group, руководитель сервиса SEOSan (мониторинг изменения сайтов для SEO-специалистов).

Это случалось с каждым. Вы открываете сайт на смартфоне и неожиданно понимаете, что функция, которую вы привыкли использовать на десктопе, в мобильной версии просто-напросто отсутствует. Да, такие ситуации раздражают и расстраивают. Но веб-разработчики и дизайнеры делают все для того, чтобы максимально упростить и сократить мобильную версию сайта без необходимости убирать функции или контент, который в противном случае загромождал бы весь экран. 

Самое худшее, чем могут обернуться такие компромиссы, заключается в том, что какие-то функции остаются доступными только в интерфейсе десктопной версии, либо пользователь получает возможность отказаться от мобильной версии. Ниже представлен пример, как мой блог отображается на смартфонах благодаря популярному плагину от ElegantThemes - HandHeld. Видите, насколько меньше стала страница? Теперь читать ее со смартфона гораздо проще... но какой ценой? Как это отразилось на графе ссылок?

В упрощенной мобильной версии осталось всего 12 ссылок. И все внутренние. Хотя в десктопной версии 87 ссылок и более 20 из них внешние.

Страница блога потеряла 75 из 87 ссылок, не говоря уже о том, что на ней пропали все внешние ссылки. Что же происходит, когда мобильная версия сайта становится основным способом доступа? Что происходит на уровне ботов основных поисковых систем?

Заявление Google о переходе на mobile-first индексацию вызвало множество вопросов. Когда мобильная версия станет первой (а иногда и единственной) версией сайта для Googlebot, как это отразится на структуре ссылок в интернете?

Что в этом такого?

Главная проблема (которую инженеры Google, несомненно, изучили изнутри) заключается в том, что мобильные сайты часто удаляют контент и ссылки, чтобы пользователям было легче воспринимать страницу на маленьком экране смартфона. Такие сокращения существенно изменяют структуру ссылок, которая лежит в основе одного из самых важных факторов ранжирования Google. Наша цель - изучить и понять, чем может обернуться эта ситуация.

Прежде чем мы начнем, хочу рассказать об одной огромной неизвестной переменной в данном «уравнении». Мы не знаем какой процент мировой сети Google собирается сканировать одновременно и с помощью ботов для десктопных, и ботов для мобильных версий. Возможно, Google будет выбирать mobile-first только для сайтов с одинаковым кодом как в мобильной, так и в десктопной версии Googlebot (к примеру, с адаптивной версткой – прим. пер). Но в рамках этого исследования я хочу рассмотреть наихудший сценарий: если Googlе решит использовать мобильный контент не в качестве основного, а в качестве единственного документа для ранжирования.

(прим. пер: в марте Google заявил, что постепенно перейдет к использованию мобильных версий документов как единственных источников для ранжирования. "Historically, the desktop version was indexed, but increasingly, we will be using the mobile versions of content."). 

Методология: массовое сравнение мобильных и десктопных версий сайтов

Для этого небольшого исследования я выбрал 20 000 случайных сайтов из топа миллиона сайтов по версии компании Quantcast. Затем на каждом сайте я сканировал до второго уровня вложенности, имитируя соединение как мобильной, так и десктопной версии Googlebot. На основе этих данных мы с вами можем сравнить, как теоретически будет выглядеть структура ссылок в мировой сети.

Метрики главной страницы

Начнем со статистики главных страниц наших 20 000 случайно выбранных сайтов. Из всего числа проанализированных сайтов 87,42% имели одинаковое количество ссылок на главной странице, вне зависимости от того, был ли бот ориентирован на мобильную или на десктопную версию. Из оставшихся 12,58% сайтов, 9% имели меньше ссылок в мобильной версии, 3,58% - больше. На первый взгляд все достаточно ровно.

Homepage Mobile/Desktop

Link Count Difference

Мобильная/десктопная версия главной страницы

Различие в количестве ссылок

More Больше
Fewer Меньше
Identical Одинаково

 

Но возможно, важнее то, что только на 79,87% сайтов ссылки на главной странице в мобильной и десктопной версии были идентичными. Одинаковое количество ссылок еще не значит, что они одинаковы по своему содержанию. Это важный фактор, который следует учитывать, поскольку ссылки — это маршруты, по которым поисковые роботы находят в мировой сети тот или иной контент. Разные маршруты означают разный поисковый индекс.

Мы обнаружили, что снижение на 7,4% приходится на внешние (исходящие) ссылки. Это может означать радикальный сдвиг некоторых наиболее важных ссылок в мировой сети, особенно учитывая, что главные страницы часто несут в себе значительную долю ссылок. Интересно, что больше всего (в процентном соотношении) потеряли сайты социальных сетей. Теперь, по прошествии времени, кажется вполне разумным то, что одним из распространенных типов ссылок, которые веб-сайт может не показывать в своей мобильной версии, являются кнопки социальных сетей, поскольку они, как правило, встраиваются в шаблон самой страницы, а не в ее содержимое. А такой шаблон, как правило, подвержен изменениям, когда дело касается мобильной версии сайта.

Сайты, которые в процентном соотношении потеряли больше всего:

  1. linkedin.com
  2. instagram.com
  3. twitter.com
  4. facebook.com

Что же такого в разнице в 5-15% при сканировании интернета? Судя по всему, смещение в этих показателях идет в сторону сайтов с большим количеством ссылок и без мобильной версии. Однако большинство этих ссылок — это основные навигационные ссылки. На более глубоких уровнях вложенности кол-во ссылок будет схожим. Но маршруты поисковых ботов радикально изменятся.

Метрики второго уровня

Здесь данные становятся интереснее. По мере того, как мы продолжаем сканирование мировой сети и сравниваем, как на них влияют ссылки, обнаруженные мобильным и десктопным ботом, мы замечаем все более и более отличающиеся друг от друга результаты. Но настолько сильно они различаются? Давайте начнем с размеров. Количество главных страниц в любой версии одинаково. Но вот количество страниц второго уровня напрямую зависит от того, сколько ссылок присутствует на этих самых главных страницах. Сканирование мобильных версий сайтов дало 977 840 уникальных URL-адресов, а десктопных - 1 053 785. Различия начинают проявляться уже сейчас - индекс для десктопных версий гораздо больше по размеру. Пора копнуть глубже.

Mobile and Desktop Link Graph Diversity Различие в графе ссылок мобильной и десктопной версии сайтов
URLs URL-адреса
Domains Домены
Links Ссылки
LRDs Корневые домены
Mobile Unique Уникальные ссылки в мобильной версии
Desktop Unique Уникальные ссылки в десктопной версии
Shared Совпадающие

 

Обратите внимание, на графике представлено три категории:

  • Уникальные ссылки в мобильной версии: Синий столбец отображает количество уникальных элементов, найденных мобильным ботом.
  • Уникальные ссылки в десктопной версии: Оранжевый столбец отображает количество уникальных элементов, найденных десктопным ботом.
  • Совпадающие: Серый столбец отражает элементы, присутствующие в обеих версиях страницы.

Было измерено четыре показателя:

  • Количество обнаруженных URL-адресов
  • Количество обнаруженных доменов
  • Количество обнаруженных ссылок
  • Количество обнаруженных доменов корневого уровня

График отлично отображает ключевое различие в этих показателях. URL-адресов, доменов, ссылок и доменов корневого уровня в результатах сканирования десктопной версии сайтов гораздо больше, чем этих же показателей, общих и для десктопного, и для мобильного сканирования. Оранжевый столбец всегда выше серого. Это означает, что большинство ссылок, страниц и доменов различаются в показателях только на втором уровне сканирования.  Это фундаментальный сдвиг в графе ссылок. И мы подходим к тому, чтобы узнать об этом больше.

Теперь перейдем к главному вопросу, к тому, что беспокоит нас больше всего - внешние (исходящие) ссылки.

External Links in Mobile vs Desktop Внешние ссылки. Мобильная версия vs десктопная
Mobile Unique Уникальные ссылки в мобильной версии
Desktop Unique Уникальные ссылки в десктопной версии
Shared Совпадающие ссылки

 

Сканирование десктопных версий показало невероятные 63% уникальных внешних ссылок. А при сканировании только мобильных версий общее количество внешних ссылок сократилось вдове.

Что же происходит на микроуровне?

Что же приводит к такому невероятному несоответствию? Как мы уже знаем, одной из причин является то, что большая часть сайтов в той или иной степени «уменьшается», чтобы облегчить пользователям просмотр страниц с мобильных устройств. Для этого используют:

  1. Мобильные версии на поддоменах. С меньшим количеством ссылок и урезанной функциональностью сайта.
  2. Динамический показ десктопной и мобильной версии в зависимости от User-agent’а.

Конечно же, эти изменения, как правило, облегчают пользователем взаимодействие со страницами, но также они влияют поисковых ботов. Давайте подробнее рассмотрим эту ситуацию на конкретном примере.

По данным Google, на выбранном мною сайте около 10 000 страниц, а также 72 авторитет домена и 22 670 ссылающихся доменов (согласно данным нового Moz Link Explorer). Однако для его мобильной версии используется популярный плагин WordPress, который оставляет только статьи и страницы, при этом убирает ссылки из описания статей на страницах категорий, а также большую часть, если не все, исходящие ссылки из боковых панелей (сайдбаров) и футеров. Данный плагин используется более чем на 200 000 сайтов. Что же произойдет, если мы запустим шестиуровневое сканирование с помощью программы Screaming Frog? (Она отлично подойдет для подобного анализа, так как мы можем легко изменить User-agent и ограничить настройки, сканируя только HTML-содержимое сайта.)

Mobile vs Desktop Site Crawl on Site with Mobile Plugin Сканирование сайта с плагином для мобильной версии.

Мобильная версия vs десктопная

Depths Stats Статистика глубины
The mobile crawl only found 3,280 pages and found no new links past 4 lеvеls of depth. The desktop crawl found 19,696. Сканирование мобильной версии обнаружило только 3 280 страниц. При этом глубже 4 уровня новых ссылок выявлено не было. Десктопное же сканирование выявило 19 696 страниц.

 

Разница невероятна. Во-первых, в мобильном сканировании (слева) количество ссылок на страницу крайне мало. И это количество довольно равномерно и при более глубоком сканировании сайта. Именно это и создает такую устойчивую, экспоненциальную кривую роста. Во-вторых, обратите внимание - сканирование резко закончилось на четвертом уровне. Сайту просто нечего больше предложить для мобильного сканирования! По отчетам Google было обнаружено лишь ~3000 проиндексированных страниц из ~10000.

Сравним эти данные с десктопным сканированием. На втором уровне показатель резко взмывает вверх - количество страниц на этом уровне в два раза превышает общий показатель всего мобильного сканирования.  Вспомните предыдущий график по результатам сканирования 20 000 сайтов, где количество уникальных страниц десктопной версии значительно превышает количество страниц, присутствующих в обеих версиях сайта. А этот пример - яркое подтверждение тому, как такая ситуация могла возникнуть. Что мы получаем в итоге? На одинаковом уровне сканирования количество страниц, доступных в десктопной версии сайта, выше почти в 6 раз.

Но как это отражается на внешних ссылках?

External Links Внешние ссылки
Mobile Мобильная версия
Desktop Десктопная версия

Невероятно! В мобильной версии исчезло целых 75% внешних ссылок. Сканирование десктопной версии обнаружило 4 905 внешних ссылок, а мобильной - всего 1 162. Напоминаю, у этого сайта 72 авторитет домена и более двадцати тысяч ссылающихся доменов. То есть выходит, что мобильная индексация просто не сможет найти большую часть входящих ссылок. Что же делать? Все потеряно?

Сделайте глубокий вдох

Mobile-first вовсе не означает, что индексация производится только для мобильных версий

Google не отказывает от десктопных версий сайтов, а просто определяет мобильное сканирование, как приоритетное. И это решение не лишено здравого смысла, поскольку большая часть поискового трафика сейчас приходит именно с мобильных устройств. Если Google хочет удостовериться в качестве мобильного контента, то ему определенно нужно изменить приоритеты в сканировании. Для нахождения всего важного контента придется использовать десктопное сканирование до тех пор, пока веб-мастера не прекратят урезать мобильные версии сайтов.

Так что Google ничего не упустит. В первоначальной версии оригинального объявления Google о переходе на Mobile First индексацию, представители компании написали, что:

«Если вы создаете мобильную версию сайта, помните, что функциональный сайт, ориентированный на ПК, лучше, чем некачественная или неполная мобильная версия».

Представители Google отметили, что десктопная версия сайта может быть лучше, чем «неполная мобильная версия». Я не собираюсь искать в этом заявлении скрытого смысла и считаю, что Google дает на понять, что хочет получить полноценную, полнофункционльную мобильную версию.

Будут преобладать хорошие места размещения ссылок

В ходе исследования я обнаружил кое-что довольно забавное. При сокращении мобильной версии сайта, как правило, выживают те внешние ссылки, что размещаются непосредственно в содержании страницы. А вот те ссылки, что находятся в боковой панели (например, блогроллы), как правило, закрыты от индексации. Это может быть сигналом, на который Google обращает внимание. Обычно и в мобильной, и в десктопной версии сайта присутствуют те внешние ссылки, по которым посетители с большой вероятностью могут перейти.

Можно иметь меньше ссылок в ссылочном профиле, но если они находятся в основном содержимом страниц, у вас есть все шансы на более высокое ранжирование после введения Mobile-first индексирования.

Я смог подтвердить это, рассмотрев подмножество известных хороших ссылок. С помощью Fresh Web Explorer я изучил свежие ссылки, ведущие на сайт toysrus.com, интерес к которому в последнее время значительно возрос ввиду закрытия магазинов. Мы можем быть уверены в том, что большинство этих ссылок находятся внутри контента, потому что сами статьи посвящены актуальным новостям о Toys R Us. И конечно же, после изучения более 300 упоминаний мы выявили, что ссылки в мобильной и десктопной версии сканирования совпадают. Это были хорошие, расположенные внутри контента ссылки, и в результате они были обнаружены при сканировании обеих версий.

Смещение выборки и сходимость

Популярные сайты (которые были рассмотрены в исследовании – прим. пер.) чаще имеют мобильные версии, чем непопулярные. Они могут быть адаптивными - в таком случае реальные различия при сканировании будут отсутствовать - но по крайней мере некоторый процент, вероятно, будут содержать мобильную версию на поддомене или использовать плагины, подобные упомянутые выше, которые сокращают контент. Более старый, менее профессиональный контент в мировой сети обычно имеет только одну версию, которая одинаково отображается как на ПК, так и на мобильных устройствах. В таком случае можно ожидать того, что со временем различия в индексации скорее могут начать сходиться, чем расходиться, учитывая, что мое исследование затрагивало только сайты из первого миллиона самых популярных, а сканирование проводилось лишь на двух уровнях.

Кроме того, я думаю, что со временем произойдет объединение мобильного и десктопного индекса (но это только в теории). Я не думаю, что графы ссылок будут экспоненциально различаться, поскольку ссылок в сети так много. Скорее совсем немного изменятся пути к конкретным страницам и частота, с которой они достигаются. Таким образом, несмотря на то, что граф ссылок будет отличаться, набор составляющих его URL-адресов в большинстве своем останется тем же. Конечно, некоторый процент мобильного веба останется полностью разрозненным. Многие сайты, использующие отдельные мобильные поддомены или плагины, удаляющие существенную часть содержимого страниц, останутся как мобильные острова в интернете ссылок.

Влияние на поисковую выдачу

На данный момент сложно предположить, как такое положение вещей отразится на результатах поиска. Но точно ясно одно – поисковая выдача прежней не останется. Зачем Google изменять методы индексирования, если это не улучшает результаты поиска?

Несмотря на все вышесказанное, исследование не будет полным без какой-либо оценки влияния этого нововведения. Благодарю JR Oakes за критику, иначе я бы забыл об этом моменте.

Во-первых, есть несколько моментов, которые сразу могут смягчить значительные изменения в результатах поиска, вне зависимости от правдивости данного исследования:

  • Медленное внедрение означает, что изменения в поисковой выдаче будут малозаметны на фоне естественных колебаний в ранжировании, которые мы уже можем наблюдать.
  • Google может распределить найденные в мобильных и десктопных версиях URL-адреса по соответствующим поисковым ботам, сократив таким образом расхождение в индексах (а это далеко не мелочи!)
  • В отношении ссылок Google может решить рассматривать совокупность мобильного и десктопного индексов, а не засчитывать что-то одно, забывая при этом о другом.

Во-вторых, возможно, что данный сценарий затронет отношение между доменами гораздо в меньшей степени, чем все остальные метрики. Какова вероятность того, что соотношение между доменом X и доменом Y (больше или меньше ссылок) одинаковы для индексации на основе мобильных и десктопных версий сайта? Если оно будет схожим, то влияние на поисковую выдачу будет ограничено. Назовем это отношение «направленно последовательным» («directionally consistent»).

Чтобы завершить эту часть исследования, я взял для примера пары доменов из мобильного индекса и сравнил соотношение (больше или меньше ссылок) с десктопным индексом. Имел ли первый сылок, чем второй совокупно в мобильной и десктопной версии? Проявляют ли они себя по-разному?

Оказалось, что с точки зрения соотношения индексы довольно близки. То есть несмотря на совершенно разные графы ссылок у сайтов, если вы сравниваете два случайных домена, то, как правило, разница в наборах данных стремится к совпадению. Примерно 88% сравниваемых доменов сохраняли соотношение. В этом тесте сравнивались домены мобильных индексов и домены десктопных индексов. Дальнейшие исследования могут выявить совершенно обратную взаимосвязь.

Что дальше? Moz и индексация mobile-first

Наша цель относительно индексации ссылок в Moz заключается в том, чтобы всегда оставаться как можно похожими на Google. Именно с этой целью наша команда также начала экспериментировать с индексацией mobile-first. Мы стремимся к тому, чтобы наша новая система индексации ссылок Link Explorer (бета-версия) стала не просто крупнейшим в мировой сети инструментом индексации, но и самым актуальным и полезным. И мы твердо уверены, что один из главных секретов нашего успеха заключается в использовании схожих с Google методов индексации. Мы будем держать вас в курсе!

Оригинал статьи

preview Подкасты. Что, как и зачем?

Подкасты. Что, как и зачем?

Что такое подкасты и зачем они бизнесу
preview Мобильная реклама в Яндекс.Директе

Мобильная реклама в Яндекс.Директе

Как поднять CTR, повысить конверсию и уменьшить количество отказов на мобильных устройствах с помощью инструментов Яндекса
preview Аналитика для мобильных приложений: критерии выбора

Аналитика для мобильных приложений: критерии выбора

Сравнительный анализ возможностей популярных систем аналитики для мобильных приложений: AppMetrica, Google Analytics, Flurry и др
preview 6 причин внедрить AMP для своего интернет-магазина

6 причин внедрить AMP для своего интернет-магазина

AMP – это ускоренные мобильные страницы, созданные на основе открытого исходного кода, которые позволяют быстро загружать веб-страницы прямо в поисковой выдаче Google
preview 5 примеров отличных мобильных целевых страниц

5 примеров отличных мобильных целевых страниц

В статье автор рассказывает, как должны выглядеть мобильные лендинги сегодня, и приводит примеры от таких крупных и успешных компаний, как Drift, Hulu, PayPal, Buffer и Trello
preview Поисковая оптимизация приложений в сторах

Поисковая оптимизация приложений в сторах

Также, как и классическое SEO, ASO требует постоянной и комплексной работы по оптимизации приложения