В прошлом месяце Google представил новый тип поиска, в котором вместо текстового запроса используется изображение. Сотрудники Google выпустили материал, в котором рассказали о технологии подробнее. Так, по словам, представителей компании, в основе нового поиска лежит технология «компьютерного зрения». Эта технология не использует название файла или его происхождение в качестве ориентира, а непосредственно анализирует содержание снимка.
При загрузке изображения в поиск Search by Image, алгоритм анализирует содержимое изображения и разбивает его на более мелкие детали – «характеристики». Эти характеристики определяют специфический и неповторимый характер изображения – текстуры, цвета, точки и формы. Характеристики и геометрическая конфигурация изображения позволяет компьютеру составить свое «впечатление» о том, что изображено на картинке и сформировать поисковый запрос.
Характеристики картинки затем отсылаются на сервера, где сравниваются с миллиардами других картинок в базе индекса, в поисках наилучшего совпадения. Если система уверена, что у нее есть наилучшая пара для изображения, она предоставляет пользователю эти пары в качестве поисковой выдачи.
Разбивка целостной картинки на характеристики определяет то, что технология «видит» и чего «не видит» на картинках. Наилучшие результаты поиска дает запрос с уникальным геометрическим рисунком. Особенно хорошо технология работает с фотографиями достопримечательностей, например, Эйфелевой башни. Картинки с неопределенными характеристиками, например фото щенка или скомканного одеяла, не дают такой однозначной выдачи, однако в нее попадут наиболее похожие изображения. Для того, чтобы улучшить работу технологии, пользователи могут дать системе «подсказку»: два-три слова, описывающие картинку в поисковой строке.