SearchLove-2013. Кельвин Ньюман: «Теория графов, или каким станет Google совсем скоро»

С 28 по 29 октября 2013 года в Лондоне проходила конференция SearchLove-2013, посвященная поисковому продвижению, внутренней аналитике сайтов и оптимизации, разработке стратегий ссылочного продвижения и маркетинговых компаний. Одним из наиболее интересных выступлений второго дня конференции стал доклад Кельвина Ньюмана (Kelvin Newman), основателя BrightonSEO и Content Marketing Show, а также сооснователя ряда других проектов и стартапов. Ранее Кельвин работал креативным директором в агентстве AI Digital Ltd и занимался улучшением видимости сайтов в глобальной сети.

В своём докладе: «Теория графов: самая важная концепция, о которой редко говорят», Кельвин рассмотрел возможные варианты развития поисковой системы Google и обосновал своё видение ближайшего будущего специалистов отрасли.

По словам докладчика, сегодня концепция графов получила широкое распространение в интернете – её используют социальные сети и поисковые алгоритмы. Теория графов постоянно развивается и пополняется новыми разновидностями структур данного вида. Уже сегодня мы знаем следующие концепции графов: ссылочный граф (Link Graph), социальный (Social Graph), граф или сеть знаний (Knowledge Graph), и, конечно же, знаменитый Open Graph.

По сути все перечисленные выше виды графов являются изоморфами – т.е. это полностью тождественные по своей природе понятия, которые отличаются только внешней направленностью. По сути, все они реализуют один и тот же функционал. В математической и компьютерной науке также выделяется множество других видов графов, однако принцип работы данной модели основан на установлении бинарных взаимосвязей между узлами или вершинами (существительные, имена собственные) и лучами – т.е. связями между этими объектами (глаголы).

На следующем этапе обработки данных составляется матрица и выводится определённый алгоритм:

Первой наиболее успешно реализовала данную концепцию социальная сеть Facebook, научившись устанавливать социальные взаимосвязи между профилями пользователей. Позднее концепцию взяла за основу и поисковая система Google, которая сегодня усиленно стремится к тому, чтобы начать понимать глубинный смысл запроса пользователя, анализируя социальные связи человека и сопоставляя их с огромной базой знаний о сущностях.

В следующей части выступления спикер изложил собственное видение того, как будет развиваться поиск Google, и как измениться жизнь общества после того, как сеть знаний получит глобальное развитие. «Многое поменялось в принципах работы Google, однако поисковая система всегда будет использовать алгоритм PageRank для анализа качества сайтов. По сути, алгоритм будет являться рабочим приложением для сети знаний», — поделился мыслями докладчик.

Таким образом, понимание принципов работы данного алгоритма, по-прежнему, будет оставаться жизненно необходимым любому специалисту, занимающемуся продвижением ресурса в поиске:

Однако, если говорить серьёзно, то сегодня главное, что следует усвоить специалисту отрасли – это то, что PageRank не работает в одиночку, как это было ранее. Данный алгоритм ссылочного ранжирования теперь присваивает численное значение не документам, а узлам в огромной базе знаний. Он стал еще сложнее и воспроизвести подсчёт PageRank практически невозможно, да и не имеет смысла.

Возвращаясь к графам, следует отметить, что между концепциями графов Google и Facebook есть принципиальное различие: так, алгоритмы поисковика призваны устанавливать взаимосвязь между документами и ссылками; в то время как социальный граф Facebook’а устанавливает взаимосвязи между профилями пользователей. Такие связи выражаются в определённых действиях (социальные метки, ссылки, связи, подписки).

Так, Google умеет довольно качественно анализировать окружающую человека реальность и способен давать оперативные подсказки (находить заведения поблизости; сообщать прогноз погоды; информировать о пробках; напоминать о предстоящих событиях и т.п.).

Если же говорить о реализации концепции сеть знаний, то сегодня Google умеет соотносить профиль каждого конкретного пользователя с реалиями окружающей действительности и на основании этого выделять важную для определенного человека информацию при поиске ответа на запрос. При этом, поисковику пока довольно сложно устанавливать степень значимости для пользователя неформальных связей, поскольку Google в большей степени заинтересован производить анализ связей между профилями пользователей с точки зрения распространения контента.

В то же время соцсеть Facebook, напротив, лучше анализирует социальные связи и знает, что конкретно происходило в жизни пользователя в определённый период времени.

И кто был рядом с ним в тот момент.

Анализируя подходы к разработке графов Google и Facebook, можно сделать вывод о том, что алгоритмы поисковой системы пытаются структурировать и систематизировать информацию, проникая в суть вещей, и основывают свои результаты именно на этом. В то же время, граф, разработанный соцсетью позволяет ей детально познавать собственную структуру. Таким образом, осуществляя социальный поиск внутри соцсети при помощи алгоритма Graph Search, пользователь пользователь не ищет в глобальном смысле (в понимании Google), а просто производит фильтрацию данных, содержащихся в структурированной базе Facebook’а. При этом, то что соцсеть называет базой данных, является ни чем иным как хранилищем персональной информации о реальных людях. Каждый месяц Facebook посещает свыше1 млрд. человек! Ежедневно эти люди оставляют в социальной сети 240 млн. фотоизображений; 2,7 млрд. «лайков»; а главное – на площадке Facebook’а ежедневно осуществляется свыше 1 триллиона различных социальных контактов. «Это действительно внушительная база!» — прокомментировал докладчик.

Возвращаясь к описанию принципов работы социального графа, Кельвин отметил, что каждый профиль пользователя, страница, фотография и публикация являются для Facebook’а узлами. В то же время, каждое добавление в друзья, чекин, тег или отметка «лайк» — расценивается как лучи или взаимосвязи. Каждый узел содержит мета-данные (к примеру, описания) – на основании этих данных алгоритмы осуществляют анализ информации для поиска, как было показано в приведённых выше матрицах.

Таким образом, Facebook использует запросонезависимые сигналы, ранжируя информацию на основе связей внутри социального графа, которым алгоритмически присваиваются определенные численные значения на основе взаимосвязей. Такой подход называется static rank или поиск по сущностям.

«И здесь мы вплотную приблизились к новой концепции поиска Google», — заметил докладчик. По его мнению, запуск поиском алгоритма «Колибри» ознаменовал переход к новой парадигме.

Несмотря на то, что в настоящее время концепция Сети знаний реализована не полностью, выдача Google существенно изменилась. По сути, универсальные результаты исчезли – ведь поиск становится всё более персонализированным. Что же это означает для вебмастеров и владельцев сайтов? Им больше не стоит ожидать того, что Google будет передавать сайтам существенный органический трафик.

Не случайно, сегодня поисковик начал активно шифровать содержание поисковых запросов, по которым пользователи приходят на сайт.

«Таким образом, сегодня мы вплотную приблизились к моменту, когда данные о ключевых словах, приносящих целевой трафик, исчезают. B наши дни ключевые слова теряют для поиска прежнее значение. Сейчас речь идёт о сущностях», — пояснил докладчик.

Сущности для Google — это люди, места, бренды. При этом все сущности определённым образом связаны друг с другом и не существуют по отдельности. Изменение концепции поиска влечёт за собой необходимость изменения принципов и стратегий продвижения ресурса:

Владельцам ресурсов приходится менять бизнес-модели. Как это сделать? Наладить взаимодействие с ключевыми системами и сервисами посредством API. Кроме того, сегодня Google хочет стать своего рода фронтэндом для сайтов – выстраивая взаимодействие пользователей с ресурсами посредством собственного интерфейса, и владельцам ресурсов остаётся лишь подчиниться этому правилу.

Что же нужно сделать, чтобы «понравиться» поиску сегодня.

  • Прежде всего, понять, какую информацию о сущностях, имеющих отношение к вашему сайту, Google заимствует из Freebase и из DBPedia. Важно изучить эти базы и понять, какие ключевые слова, содержащиеся в них связаны с сайтом.
  • Также можно использовать сервис поиска путей распространения социального контента Bluenod.
  • Полезным может оказаться и сервис визуализации данных Visual data web. Он помогает устанавливать связи между сущностями.

  • Важно использовать семантическую разметку. Это может быть Open graph protocol или Schema.org.
  • Кроме того, для более глубокого понимания новой концепции поиска полезно изучить презентацию «Strings to Things: The move to Semantic SEO», представленную Мэтью Брауном (Matthew Brown) на MozconCon 2013 в июле. Материал содержит большое количество статистических данных по Google, Bing и Yahoo. В нём также перечисляются наиболее эффективные на сегодняшний день SEO-инструменты.

Тем же, кто, прослушав доклад, заинтересовался теорией графов, Кельвин Ньюман предложил посмотреть специальное обучающее видео:

Обзор подготовили Елизавета Трибунская и Анастасия Матвеева

Редактор-переводчик портала Searchengines.ru, работает на сайте с 2010 года. Специализируется на западном интернет-маркетинге, новостях социальных сетей и поисковых систем. Постоянно принимает участие в профильных семинарах и конференциях в качестве журналиста-обозревателя. Языки: английский, французский.