Яндекс запустил новый поисковый алгоритм «Палех»

Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много - около ста миллионов в день.

При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе - а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. Так, поиск поймёт, что в запросе [фильм про человека который выращивал картошку на другой планете] речь идёт о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».

yandex_paleh_1

Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.

yandex_paleh

Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи. Далекая, но чрезвычайно интересная цель поиска Яндекса состоит в том, чтобы получить на основе нейронных сетей модели, способные «понимать» семантическое соответствие запросов и документов на уровне, сравнимом с уровнем человека.

preview Яндекс изнутри: инструменты разработчиков Поиска

Яндекс изнутри: инструменты разработчиков Поиска

24 ноября в 18.30 петербургский офис Яндекса приглашает разработчиков и других технических специалистов на встречу с командой инфраструктуры поиска
preview Яндекс.Такси и Музей уличного искусства объявляют конкурс «Стрит-арт на борту»

Яндекс.Такси и Музей уличного искусства объявляют конкурс «Стрит-арт на борту»

Яндекс.Такси и петербургский Музей уличного искусства объявляют конкурс «Стрит-арт на борту»
preview ФАС оштрафовала Google за неисполнение предписания по делу об Android

ФАС оштрафовала Google за неисполнение предписания по делу об Android

Федеральная антимонопольная служба России (ФАС) наложила два штрафа на структуры компании Google на общую сумму 1 млн руб. за невыполнение предписания по делу об Android
preview Нормативные акты к «закону Яровой» не готовы

Нормативные акты к «закону Яровой» не готовы

Подзаконные акты к антитеррористическим поправкам Яровой, которые должны были быть разработаны к 1 ноября, до сих пор не готовы...
preview StatCounter: мобильная интернет-аудитория впервые превысила десктопную

StatCounter: мобильная интернет-аудитория впервые превысила десктопную

В октябре 2016 года количество мобильных подключений к сайтам по всему миру впервые превысило число десктопных...
preview Яндекс и Mail.ru выступили против законопроекта о регулировании мессенджеров

Яндекс и Mail.ru выступили против законопроекта о регулировании мессенджеров

Компании Яндекс и Mail.Ru Group направили письмо министру связи и массовых коммуникаций РФ Николаю Никифорову, в котором выразили свою негативную оценку подготовленному...