Команда сервиса Яндекс.Картинки сообщила о дополнении алгоритма «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии определенного изображения, но и похожие на него картинки.
Такой поиск пригодится для решения задачи поиска не точных копий загруженного изображения, а похожих не него изображений, которые демонстрируют вариации изображенного объекта. Если в интернете есть копии загруженной картинки, то они также выдаются в ответ по запросу, а новая возможность расширяет и дополняет ответ поиска врезкой с похожими изображениями.
Так, по фотографии кроссовок, загруженной в Яндекс.Картинки, можно найти изображения этих кроссовок в разных ракурсах, и другие модели, похожие на них:
Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем похожие. По сути, алгоритм поиска по картинкам похож на алгоритм поиска текстов - по каждой картинке выделяются «визуальные слова», они распределяются по словарям, а затем сопоставляются с визуальными словами по другим картинкам. Поэтому в поиске похожих картинок пока еще встречается много фейлов.
В перспективе поиск по картинке станет точнее и будет давать развернутый ответ на запрос пользователя, сможет распознавать и описывать то, что изображено на загруженной картинке. Алгоритм будет искать не только дубликаты картинок, но и фейковые аккаунты, фейковые объявления. Ведется работа над поиском товара по картинке – поиск скажет пользователю, как называется этот товар, и в каком магазине можно его приобрести. Об этом сообщил менеджер Яндекса Майк Томшинский в своем докладе на конференции IBC Russia.
Напомним, Яндекс запустил функцию визуального поиска по Картинкам в сентябре 2013 года. Функционал базируется на технологии компьютерного зрения, созданной разработчиками Яндекса, которая называется «Сибирь» (от англ. CBIR – Content-based image retrieval, то есть поиск изображения по содержанию).