1600 вопросов: 800 в тихой комнате, а 800 - на шумной улице
Джин Мюнстер (Gene Munster) из Piper Jaffray весьма методичен. Когда покупатели выстаиваются за новым продуктом Apple, он, будучи аналитиком, подходит к очереди и подсчитывает их по головам. Когда программисты прибывают на конференцию разработчиков под Apple, он остановит три-четыре дюжины из них, и спросит, пишут ли они программы для Mac, iPhone или устройств под Android.
Поэтому, когда он захотел узнать, как Siri выглядит на фоне голосового поиска Google, то задал iPhone 1600 вопросов (800 на оживленных улицах Миннеаполиса и 800 - в тихой комнате).
Piper Jaffray опубликовала результаты этого эксперимента в заметках для клиентов:
• Google понял 100% вопросов (это не удивительно, поскольку они были сформулированы в ключевых словах);
• В 86% случаев Google дал точный ответ;
• Siri поняла 83% запросов на шумной улице и 89% - в тихой комнате;
• На улице Siri смогла дать верный ответ на 62% вопросов, а в тихой комнате - на 68%.
«Для того, чтобы превратиться в жизнеспособную альтернативу для мобильного поиска, - пишет Мюнстер, - Siri должна приблизится к точности Google, оцененной на «4+», или даже превзойти ее, исправив собственную «двойку».
Мюнстер считает, что по уровню обученности Siri более чем на два года отстает от Google. И все же Мюнстер полон оптимизма: «С появлением iOS 6 этой осенью, мы ожидаем, что Siri станет гораздо лучше, а также уменьшит свою зависимость от Google c 60% до 48%».
Однако, учитывая полученные результаты, нельзя однозначно сказать, что уменьшение зависимости Siri от Google обязательно даст хороший результат.
Сейчас Siri получает 60% ответов из Google, 20% - от Yelp, 14% - от WolframAlpha, 4% - от Yahoo и 2% - из Wikipedia.
Разбирая характер зависимости Siri от поисковых систем подробнее, Мюнстер пишет: «Google помог решить 100% вопросов, связанных с навигацией, 61% информационных вопросов, 48% коммерческих вопросов и 42% вопросов, связанных с локальным поиском. Среди агрегаторов, Yelp дал ответы на большинство вопросов, связанных с локальным поиском (51%), и на большинство коммерческих запросов (51%). В то же время WolframAlpha помог решить 34% информационных вопросов».
Стартующие осенью собственные карты Apple устранят зависимость от Google в навигации и интеграции с Yahoo Sports, Open Table, Rotten Tomatoes и Fandango. Они расскажут о результатах спортивных матчей и статистике игр, о ресторанах, бронировании гостиниц, показах фильмов и помогут заказать билеты.
Разбирая типы ошибок, сделанные Siri, Мюнстер продемонстрировал некоторые примеры, свидетельствующие о том, что еще многое предстоит сделать:
• В какой команде играет Пейтон Мэннинг? Siri дала ответ на предыдущий запрос. Это был самый распространенный тип ошибки.
• Где похоронен Элвис? Ответ: «Я не могу ответить вам на это». Siri решила, что «Похоронен Элвис» - это полное имя человека.
• Когда вышел на экраны фильм «Золушка»? Ответ содержал результаты поиска кинотеатров из Yelp.
• Как мне попасть из Бостона в Нью-Йорк? Ответ: «Я могу указать направление только из вашего текущего местоположения. Я не могу указать направление из того места, в котором вы не находитесь».
• Какие специи в Лазанье? В ответ были получены меню, содержащие лазанью, из Yelp.
• Когда появиться следующий комментарий Хейли? Ответ: «У вас не назначено встреч с Хейли».
• Я хочу добраться до озера Верхнее? В ответ было указано направление движения к офису компании «Верхнее Озеро X-Ray».
Такие ответы могут служить потрясающей рекламой. Для Google.
Источник: CNN Money, Philip Elmer-DeWitt