FAIR, AI-лаборатория компании Facebook, выложила в публичный доступ исходный код инструмента для классификации текстов fastText. Он доступен всем желающим на GitHub.
В описании проекта говорится, что fastText – это библиотека для обучения представлениям слов и классификации предложений. Инструмент поддерживает несколько языков, включая английский, немецкий, испанский, французский и чешский.
«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», - отмечают представители лаборатории.По данным Facebook, fastText – более быстрый, чем традиционные методы глубокого обучения:
Технология обучается на более чем 1 млрд слов за менее чем 10 минут, используя стандартный многоядерный процессор. fastText также может классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.
Напомним, что в прошлом месяце Facebook запустил алгоритм для борьбы с кликбейтингом в новостной ленте. fast Text позволит разработчикам создавать подобные инструменты самостоятельно.