Facebook открыл исходный код AI-инструмента для обработки текстов fastText

786

FAIR, AI-лаборатория компании Facebook, выложила в публичный доступ исходный код инструмента для классификации текстов fastText. Он доступен всем желающим на GitHub.

В описании проекта говорится, что fastText – это библиотека для обучения представлениям слов и классификации предложений. Инструмент поддерживает несколько языков, включая английский, немецкий, испанский, французский и чешский.

«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», — отмечают представители лаборатории.

По данным Facebook, fastText – более быстрый, чем традиционные методы глубокого обучения:

fasttest

Технология обучается на более чем 1 млрд слов за менее чем 10 минут, используя стандартный многоядерный процессор. fastText также может классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.

Напомним, что в прошлом месяце Facebook запустил алгоритм для борьбы с кликбейтингом в новостной ленте. fast Text позволит разработчикам создавать подобные инструменты самостоятельно.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

1
Прокомментировать

avatar
1 Цепочка комментария
0 Ответы по цепочке
0 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
1 Авторы комментариев
Kirill Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Kirill
Гость

Классификаторы текста наподобие fastText упрощают создание
инструментов для анализа языков. Такой анализ необходим, например, для
маркировки заголовков-приманок, а также для фильтрации спама.