Facebook открыл исходный код AI-инструмента для обработки текстов fastText

601

FAIR, AI-лаборатория компании Facebook, выложила в публичный доступ исходный код инструмента для классификации текстов fastText. Он доступен всем желающим на GitHub.

В описании проекта говорится, что fastText – это библиотека для обучения представлениям слов и классификации предложений. Инструмент поддерживает несколько языков, включая английский, немецкий, испанский, французский и чешский.

«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», — отмечают представители лаборатории.

По данным Facebook, fastText – более быстрый, чем традиционные методы глубокого обучения:

fasttest

Технология обучается на более чем 1 млрд слов за менее чем 10 минут, используя стандартный многоядерный процессор. fastText также может классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.

Напомним, что в прошлом месяце Facebook запустил алгоритм для борьбы с кликбейтингом в новостной ленте. fast Text позволит разработчикам создавать подобные инструменты самостоятельно.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.