В середине прошлого месяца компания заявила, что суперкомпьютер Minva Baidu продемонстрировал самые лучшие мировые результаты в бенчмаркинге технологий искусственного интеллекта, опередив своих конкурентов. По последним результатам прохождения ImageNet-теста коэффициент ошибки Minva составлял рекордно низкие 4,58%, в то время как показатели ПО Microsoft – 4,94%, Google – 4,8%. У человека этот показатель в среднем составляет около 5%.
Однако на этой неделе стало известно, что рекордные показатели Baidu связаны с более частым прохождением теста, чем разрешено правилами. Об этом заявили научные сотрудники, участвующие в проекте на добровольных началах, которые проводили этот тест.
ImageNet позволяет участникам подавать два набора результатов теста в неделю. Baidu предоставил 40 в течение пятидневного периода в марте. Об этом сообщается в блоге организаторов ImageNet. По их словам, в течение полугода компания зарегистрировала 30 аккаунтов для подачи около 200 результатов теста.
Тест ImageNet основан на базе данных, состоящей из 1 млн фотографий, отсортированных по 1 тысяче категорий. Обычно исследователи используют одну порцию данных для настройки своего ПО по распознаванию изображений и другой – для его тестирования. Проходя тест несколько раз, инженеры Baidu могли получить преимущество путём настройки своего ПО на информацию, которая должна была быть незнакомой.
«Если вам известен тестовый набор данных, вы можете настроить параметры своей модели под него», - отметил Мэтью Зайлер (Matthew Zeiler), CEO компании Clarifai Inc, работающей в области технологий искусственного интеллекта (AI).
Организаторы попросили Baidu приостановить подачу результатов ImageNet-теста до следующего года.
Пресс-служба Baidu отказалась от комментариев по поводу инцидента. Однако в заявлении, опубликованном на сайте ImageNet, научный сотрудник компании Рен Ву (Ren Wu) извинился за недостоверные результаты, назвав их «ошибкой».