Яндекс.Маркет сообщил о том, что его арсенал по извлечению знаний пополнился новым компонентом, получившим название «Формализатор». Эта технология предназначена для извлечения параметров и их значений из разнообразных текстовых описаний и приведения их к удобному для восприятия и обработки виду.
Формализатор осуществляет формализацию предложений магазинов в рамках 170 наиболее востребованных категорий, для каждой из которых составлен список наиболее важных параметров. По выбранным параметрам и осуществляется формализация. Формализатор разбирает текст предложения магазина на составные части, а затем распознает в полученном наборе элементов параметры товара, их значения и единицы измерения и устанавливает взаимосвязи между ними. Для различных параметров применяются ограничения на допустимые значения, а по результатам формализации разрешаются «конфликты», когда на одно значение претендует сразу несколько параметров.
В результате из описания товара получается осмысленный набор параметров, по которым пользователи Яндекс.Маркета могут быстро и просто выбрать товар. Формализатор одинаково хорошо справляется с различными категориями товаров, будь то конфигурации компьютеров, матрасы, акустические гитары, роликовые коньки и т.д. Во избежание каких-либо ошибок или неточностей в работе Формализатора Яндекс.Маркет предоставляет магазинам возможность «подстраховаться» — явно указать параметры товаров и их значения в специальном теге YML-файла, эти данные будут очень полезны при обучении Формализатора.