Первенство Baidu в области технологий искусственного интеллекта оказалось «ошибкой»

Baidu принёс извинения за введение общественности в заблуждение относительно своих достижений в области технологий искусственного интеллекта.

Baidu.JPG

В середине прошлого месяца компания заявила, что суперкомпьютер Minva Baidu продемонстрировал самые лучшие мировые результаты в бенчмаркинге технологий искусственного интеллекта, опередив своих конкурентов. По последним результатам прохождения ImageNet-теста коэффициент ошибки Minva составлял рекордно низкие 4,58%, в то время как показатели ПО Microsoft – 4,94%, Google – 4,8%. У человека этот показатель в среднем составляет около 5%.

Однако на этой неделе стало известно, что рекордные показатели Baidu связаны с более частым прохождением теста, чем разрешено правилами. Об этом заявили научные сотрудники, участвующие в проекте на добровольных началах, которые проводили этот тест.

ImageNet позволяет участникам подавать два набора результатов теста в неделю. Baidu предоставил 40 в течение пятидневного периода в марте. Об этом сообщается в блоге организаторов ImageNet. По их словам, в течение полугода компания зарегистрировала 30 аккаунтов для подачи около 200 результатов теста.

Тест ImageNet основан на базе данных, состоящей из 1 млн фотографий, отсортированных по 1 тысяче категорий. Обычно исследователи используют одну порцию данных для настройки своего ПО по распознаванию изображений и другой – для его тестирования. Проходя тест несколько раз, инженеры Baidu могли получить преимущество путём настройки своего ПО на информацию, которая должна была быть незнакомой.

«Если вам известен тестовый набор данных, вы можете настроить параметры своей модели под него», - отметил Мэтью Зайлер (Matthew Zeiler), CEO компании Clarifai Inc, работающей в области технологий искусственного интеллекта (AI).

Организаторы попросили Baidu приостановить подачу результатов ImageNet-теста до следующего года.

Пресс-служба Baidu отказалась от комментариев по поводу инцидента. Однако в заявлении, опубликованном на сайте ImageNet, научный сотрудник компании Рен Ву (Ren Wu) извинился за недостоверные результаты, назвав их «ошибкой».

Стоимость сделки Yahoo с Кэти Курик возросла до 10 миллионов долларов

Американская телеведущая и журналист Кэти Курик (Katie Couric) пересмотрела условия сделки с Yahoo: стоимость ее годового пакета вырастет с 6 до 10 миллионов долларов

Google займётся улучшением жизни в городах с помощью технологий

Google объявил о создании независимой компании Sidewalk Labs...

Ларри Пейдж стал руководителем года по версии Glassdoor

Портал Glassdoor объявил победителей своего ежегодного рейтинга руководителей Employees’ Choice Awards

Министерство финансов РФ отложило налогообложение Apple и Google

Чиновники Министерства финансов России опубликовали проект обновленных «Основных направлений налоговой политики»

Яндекс и Mail.Ru Group заняли второе и третье места в рейтинге лучших технологических компаний России

Журнал РБК опубликовал первый рейтинг 50 крупнейших технологических компаний России...

Прямая трансляция с конференции YaC/m 2015

Вопросы докладчикам можно задавать в Твиттере по хештегу #yacm2015 и в группе по ссылке