Библиотека CaffeOnSpark была создана в прошлом году. В Spark есть библиотека машинного обучения Mlib, однако она не поддерживает выполнение задач глубокого обучения. Заполнить этот пробел был призван новый инструментарий.
«Вам не нужно настраивать отдельные кластеры для Deep Learning. Вы можете запускать глубокое обучение там, где ваши данные находятся сейчас. Вам не нужно копировать данные туда и обратно между кластерами для этой модели обучения», - отмечает Самит Сингх (Sumeet Singh), старший директор Yahoo по «облачным» продуктам и платформам Big Data.
В результате разработчики смогут комбинировать глубокое обучение с более традиционными подходами к машинному обучению.
Техническая документация доступна по ссылке.
Напомним, что Facebook, Google и Baidu также уже открыли свои разработки в области технологий искусственного интеллекта.