Search Engine Land: Как Google использует динамическое тестирование для построения Сети знаний

0

Издание Search Engine Land представило результаты собственного исследования того, как Google использует динамическое тестирование для поиска новых способов ответа на запросы пользователей.

knowledge-graph-brain-ss-1920-800x450.jpg

Обозреватель издания Эрик Эндж (Eric Enge) исследовал 250 поисковых запросов, чтобы посмотреть, как будут меняться результаты, возвращаемые Google.

Методология

В рамках этого исследования, Эрик Эндж взял 250 запросов, которые ранее использовались в других тестах Search Engine Land. 125 из них не возвращали окно ответа Сети знаний, 125 – возвращали. Кроме того, из 125 запросов первой группы, журналист выбрал только те, которые возвращали результаты в виде пошаговых инструкций. 

Все запросы были протестированы повторно. При этом проверялись следующие моменты:

  1. Возвращает ли запрос пошаговые инструкции?
  2. Возвращает ли он окно Сети знаний помимо пошаговой инструкции?
  3. Если да, возвращает ли он один и тот же интернет-ресурс в качестве источника, как и во время проведения первого тестирования?

Для тех вариантов запросов, которые в первом тестировании возвращали окно Сети знаний, если та же ситуация наблюдалась во время повторного тестирования, Эндж отмечал, был ли новый результат представлен в виде пошаговых инструкций или другого вида окна Сети знаний.

Все поиски были произведены с использованием голосовых запросов на смартфоне. С этой целью Эрик Эндж использовал приложение Google на iPhone 4.

Полученные результаты

На диаграмме ниже показано, как изменились результаты для 125 протестированных запросов, которые первоначально возвращали окна Сети знаний в виде пошаговых инструкций:

changes-in-step-by-step-results.jpg

Эрик Эндж выявил, что 75% тестируемых запросов всё ещё показывали результаты в виде пошаговых инструкций (step by step results). Остальные изменились. Кроме того, сайты, которые раньше отвечали на запросы, также изменились:

  • Из 94 запросов, которые всё ещё возвращали пошаговые инструкции в результатах поиска, 15 (16%) теперь показывали результаты из других интернет-ресурсов.
  • Из 16 запросов, которые в повторном тестировании возвращали панель Сети знаний, 10 (62,5%) показывали результаты другого сайта.

Для 125 протестированных запросов, которые первоначально не возвращали окно Сети знаний в результатах, теперь:

changes-in-queries-that-previously-returned-no-answer-boxes.jpg

По всем 250 протестированным запросам были выявлены следующие изменения:

  • Количество запросов, которые возвращали пошаговые инструкции в результатах, уменьшилось на 20 единиц.
  • Количество запросов, которые возвращали окна Сети знаний в результатах, увеличилось на 3 единицы (23 новых окна без пошаговых инструкций).

В рамках этого исследования, изображения были учтены как результаты без окна Сети знаний.

Итоги

На основании полученных данных, Эрик Эндж предположил, что Google в динамическом режиме тестирует разные источники и конкретные способы ответа на вопросы пользователей и смотрит, как они работают, опираясь на статистику пользовательских данных.

Если ему нравятся результаты, он их закрепляет; если не нравятся – пробует новый возможный ответ. Когда у него нет удовлетворительного ответа, он возвращается к поисковым результатам.

Алгоритмы Google не могут определить идеальный ответ, поэтому он подсчитывает, что является наиболее подходящим из возможных ответов. Затем он тестирует его в поиске.

Если наиболее подходящий из возможных вариантов не работает, Google может попробовать следующий наиболее подходящий возможный вариант, и так далее. Он также может проводить параллельное тестирование, показывая разные ответы из разных источников данных, чтобы ускорить этот процесс.

По мнению Эрика Энджа, Google верит в концепцию окон Сети знаний всех видов, и делает всё, чтобы предоставить пользователям хорошие ответы на их вопросы.