Компания Яндекс сообщила об открытии нового направления по работе с «большими данными» - Yandex Data Factory. В рамках YDF, компании, имеющие дело с огромными массивами информации, смогут решать свои задачи с помощью технологий Яндекса.
Умение анализировать «большие данные» дает много преимуществ. Выявив закономерности в данных, банк, например, сможет определить, какие продукты предложить клиентам, а поставщик коммунальных услуг - предсказать аномальные всплески потребления горячей воды и подготовиться к ним. Сложность, однако, состоит в том, что для анализа «больших данных» - в силу их объема и разнородности - необходимы специальные инструменты. Такие инструменты есть у Яндекса.
В число технологий, которые используются для анализа данных в Yandex Data Factory, входят метод машинного обучения Матрикснет, глубокие нейронные сети, распознавание образов и речи, рекомендательные системы. Все они были разработаны Яндексом для собственных нужд и собственных данных.
Евгения Завалишина, руководитель Yandex Data Factory: «Анализ „больших данных“ с использованием машинного обучения - молодая и перспективная область. Алгоритмы, которые используются в Yandex Data Factory, Яндекс разработал для собственных нужд: поиска, прогнозирования пробок, таргетинга рекламы, составления музыкальных рекомендаций. Однако алгоритмы анализируют не „содержание“ данных, а взаимосвязи между ними — и поэтому могут применяться в любой отрасли: от банковского дела до телекоммуникаций, от логистики до добычи нефти и газа, от коммунальных услуг до производства авиационной техники».
Помимо технологий, необходимых для обработки больших массивов информации, Яндекс располагает сильнейшими экспертами в этой области. Кроме того, у компании есть собственная система подготовки таких специалистов. В 2007 году начала работу Школа анализа данных — для студентов старших курсов и выпускников вузов. А в 2014 году Яндекс и Высшая школа экономики открыли факультет компьютерных наук, в состав которого входит, в том числе, департамент больших данных и информационного поиска.
Яндекс уже провeл несколько пилотных проектов с компаниями-партнeрами и получил первые результаты. Например, для автодорожной компании в Yandex Data Factory обработали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это дало возможность в режиме реального времени составлять прогноз заторов и выявлять участки с высокой вероятностью ДТП на ближайший час. А для крупного банка проанализировали сведения о клиентах и их действиях, что позволило составить персонализированные предложения и повысить продажи банковских продуктов.
Услугами Yandex Data Factory могут воспользоваться как российские, так и зарубежные компании из разных отраслей. Подробности о Yandex Data Factory можно узнать на сайте проекта.