СПИК 2012: «Специфика проведения юзабилити-тестирования с использованием технологии EyeTracking»

С 28 по 29 мая в Санкт-Петербурге проходило крупнейшее отраслевое мероприятие Северо-Западного региона – СПИК-2012. Санкт-Петербургская интернет-конференция, организованная Российской Ассоциацией электронных коммуникаций (РАЭК) и компанией TRINET проходила в этом году в конгресс-центре гостиницы «Прибалтийская Park Inn». За два дня работы в мероприятии приняло участие более 2 500 человек и около 10 000 наблюдало за ходом конференции в онлайн-режиме.

Одной из завершающих и самых интересных секций конференции была секция «Юзабилити», модератором которой выступал Дмитрий Сатин (UsabilityLab), а докладчиками были Ярослав и Татьяна Табаковы (UsabilityLab), Софья Чебанова (СПбГУ ИТМО), Дмитрий Кот (Агентство Продающих Текстов) и Дмитрий Богданов (Ай-тракер).

В первой части обзора мы осветили доклады представителей UsabilityLab – Ярослава и Татьяны Табаковых, а также Дмитрия Кота – директора Агенства Продающих Текстов, который своим выступлением просто зажег зал.

А работу секции продолжила Софья Чебанова (СПбГУ ИТМО), представив доклад:

В начале своего выступления Софья рассказала, в чем суть работы Eye Tracker’а. Этот прибор изучает человеческие глаза, светит в них инфракрасным излучением и записывает на камеру отражение от глазных яблок. Вот с этими-то отражениями специалисты и имеют дело. Полученные характеристики накладываются на то изображение, которое человек видел на экране. Таким образом, то, что человек видит на экране своего компьютера, приложения, чего-либо – это всего лишь зрительный образ, который является стимулом к тому, чтобы глаза начинали двигаться.

Eye Tracker - это, конечно, здорово! Игрушка на самом деле, очень красивая и очень дорогая. Но толку в ней, если не применять всякие методики – ноль. Можно что-то посчитать, что-то посмотреть, но это может ничего и не дать. Сделать так, чтобы Eye Tracker был полезен могут только опытные специалисты.

В каких случаях может помочь тестирование на Eye Tracker’e? Первое - когда разработан сайт, мобильное или десктопное приложение– вариантов много, и, кажется что разработаны они гениально, и их просто должны разрывать на части довольные пользователи и клиенты… Но никто почему-то их не использует. И не понятно, в чем проблема.

Второе - разработчикам приложения и владельцам ресурса нужны деньги, потому что они должны инвесторам и так далее. Поэтому надо срочно увеличивать прибыль.

И третье – для того чтобы протестировать свой продукт, надо уметь рассказать о своем продукте: для кого он был сделан, почему и зачем сделан, чем он может быть полезен людям и какие задачи они будут решать с помощью этого продукта.

Если с этими тремя вопросами все ясно, то после этого нужно определить целевую аудиторию, понять, кто действительно пользуется этим продуктом. В этом и заключается первая проблема – создатели, разрабатывая что-то, зачастую думают только про себя и считают, что их потребности в данном сервисе совпадают с потребностями клиентов, а это совершенно не так.

Может возникнуть вопрос - почему просто специалист не может сесть и протестировать продукт, а потом сказать, что все здорово? Все очень просто - специалист не обладает достаточными знаниями в предметной области, это не те задачи, с которыми он встречается каждый день. Поэтому тестироваться на Eye Tracker’e должны реальные пользователи со своими проблемами, со своим языком и так далее.

Итак, создатели продукта определились, что будут тестировать все на реальном пользователе. У них есть продукт, они рассказали прекрасным специалистам о том, чего они ожидают от своего продукта и от тестирования на Eye Tracker’e. Что дальше? Дальше необходима очень простая вещь, называемся сценарий.

Что такое сценарий? Сценарий – это набор ситуаций, в которые погружается респондент для того, чтобы он решал задачи, которые специально были сформулированы и являются важными для того или иного ресурса. Сценарий позволяет мотивировать респондента для того, чтобы он эти задачи решал в условиях, максимально приближенных к реальным.

Как проводится само исследование? Берутся респонденты из целевой аудитории, которые выполняют заданные сценарии. Специалисты получают много разных схемок, которые рисует им Eye Tracker, записав глаза тестируемых. Фактически, это схемы взглядов. Они демонстрируют, как перемещался взгляд человека по экрану и в каких именно точках задерживался. Размер кружочков показывает, как долго человек смотрел в конкретную точку. Все эти кружочки нумируются, и специалисты могут сказать, какую точку тестируемый увидел первую, какую вторую и таким образом разглядеть, как двигался его взгляд по веб-странице.

Вторым типом результатов, которые можно получить при помощи Eye Tracker’а – это тепловая карта. Тепловая карта показывает, какие места на ислледуемом сайте были максимально интересны пользователям во время всей работы с сайтом.

Что могут дать все эти полученные схемы? Результаты тестирования могут выявить проблемы в навигации сайта, тогда специалисты дадут рекомендации по исправлению положения. Можно получить рекомендации по компоновке страницы, по необходимости расположения того или иного изображения на сайте.

На самом деле это серьезный вопрос, влияющий на конверсию, – вешать красивую привлекательную картинку на сайте или не вешать. Многочисленные исследования на Eye Tracker’e показали, что если продвигаемым продуктом являются, например, купальники, то фотографию девочки в бикини вполне можно повесить. Но если нужно сделать службу поддержки, и там размещается фотография красивой девушки, то никто не смотрит на предлагаемую систему, а все смотрят только на девушку. Увы и ах! Пользователи, конечно, довольны, что на девушек посмотрели, но владельцам ресурса и разработчикам системы от этого не легче. Вывод – картинки на сайте должны быть не очень привлекательными.

Подведя итог сказанному, Софья резюмировала: юзабилити-тестирование – это глобальная вещь, которая требует больших затрат по времени и по подготовке, которая, на самом деле, дорогая. Поэтому юзабилити-тестирование на Eye Tracker’e – это такая штука, которая хороша для больших и сложных продуктов, которые много лет делаются, и когда компания готова вкладывать в это такие ресурсы.

Что же касается проектов поменьше - интернет-сайтов по продаже билетов, по покупке или продаже оборудования, у которых только одна цель – продавать и все. Для них существует другая технология юзабилити-тестирования с применением Eye Tracker’а. Когда есть действительно только одна задача – исследовать и улучшить конверсионный путь, то достаточно протестировать только одного человека или, в крайнем случае, двух, и уже получить очень много знаний о том, в чем заключаются ошибки на нашем сайте. Потому что один респондент приносит информацию примерно о 80% имеющихся ошибок. Каждый последующий респондент приносит 80% из оставшихся 20% и так далее. Соответственно, при добавлении каждого нового респондента, количество ресурсов на него тратится столько же, а профита от него нет никакого. Поэтому такие продукты лучше тестировать только на одном респонденте.

Далее Софья привела примеры того, что это работает. Например, респонденту нужно купить букет для мамы на день рождения, и сделать это на специализированном сайте:

К сожалению, с задачей купить букет на этом сайте человек справился только через полчаса, притом, если бы его не мотивировали и не просилион бы уже бросил раза три. Потому что есть очень много разных громких проблем, кроме того, что не понятно с чего в принципе начать работу на этом сайте.

Еще очень частая ошибка заключается в том, что кажется, что некоторую информацию человеку нужно сообщить заранее, иначе он эту услугу не сможет получить, но информация при этом размещается так, что ее никто не видит. И как все видно: «Доставка возможна такого-то числа, с такого-то времени до такого-то». Человеку нужно купить цветы и доставить их до 12 часов дня. Он увидел в календарике на вкладке 25 число, которое ему было нужно, увидел какие-то типы доставки, выбрал то, что ему нужно и дальше стал заполнять следующие пункты. Он сфокусировался только на этом. На самом деле, он не может заказать букет, потому что он не отвечает требованию, что его нужно доставить в 12 часов дня, хотя мы же все написали. Он этого не увидел, и прозаполняв безуспешно форму заказа, останется ни с чем. Вернется ли он еще хоть раз на этот сайт?

Пример 2 - сайт, тоже протестированные лишь на одном респонденте. Это сайт, который продает симки для того, чтобы общаться, когда ты уезжаешь за рубеж. Респонденту была поставлена задача, чтобы он узнал, какие тарифы в том направлении, в которое он уезжает, и какие цены на роуминг, и если у него появилось доверие к сайту, то заказать сим-карту.

Проблемы начались на первом шаге. Воспользоваться этим сайтом ему порекомендовали коллеги – сказали, есть вот такой сервис, и ты все поймешь. Но он зашел и ничего не понял. Он пытался посмотреть, он листал, смотрел на все пункты, которые есть, но ничего из того, что есть на первой странице, не дало ему ответ, зачем ему этот сайт нужен в принципе.

Ему пришлось помочь, и он зашел и сравнил тарифы, после этого заказал сим-карту. И только тут он увидел, что там написано, что в Петербург доставляют только почтой и срок доставки 2 недели. Он понимает, что уезжает раньше, и хочет связаться на этот предмет с оператором. Он находит форму заказа входящего звонка и в этот момент видит на экране еще три телефона. К чему пытаются привлечь его внимание? Вот в чем парадокс - мы хотим, чтобы нам позвонили, а при этом даем человеку такое количество лишней информации, которая его только отвлекает. И только Eye Tracker показывает, что мы ошиблись именно в этом месте.

Что же дает такое экспресс-тестирование при помощи Eye Tracker’а? Оно позволяет получить объективную характеристику качества продукта, потратив на это всего одну неделю, но на самом деле, даже меньше, можно потратить всего день. Главное найти респондента, который отвечает целевой аудитории. Исправление ошибок, которые находит один респондент, приводит к увеличению конверсии на сайте от двух до десяти раз. Притом, что такие исследования в течение одного дня стоит дешево по сравнению со всеми другими юзабилити-тестированиями. Так что, тестировать - это просто и очень полезно!

Вопрос из зала: Расскажите, как вы подбираете респондентов, что их становится всего один?

Софья Чебанова: На самом деле, мы подходим чуть более тщательно к подбору респондента, чтобы он отвечал характеристикам той целевой аудитории, которую мы определяем. Но я хочу обратить внимание, что продукты из серии покупки билета или покупка цветов – это продукты, которые рассчитаны на очень широкий круг пользователей. Там минимальное количество критериев, которые нам нужно, чтобы подобрать этого респондента. Это касается только простых продуктов. Потому что сложные продукты, такие как программное обеспечение, тестировать на одном человеке невозможно. А вот такие простые продающие сайты –возможно. Это спорный вопрос, что считать сложной проблемой, а что простой.

Вопрос из зала: Вот я увидел, что пять – это дорого, а один – дешево. Озвучьте средний чек хотя бы по одному сайту респондента. Хоть как-то сориентируйте нас в ценовом вопросе.

Софья Чебанова: Он зависит от того, насколько расположены респонденты – с одной стороны. С другой стороны – это оценивается непосредственно при общении с заказчиком, который очень долго не может сказать, что у него за продукт. Тут все проистекает от временных затрат.

Дмитрий Богданов (Ай-тракер): Действительно, масштабность исследования может быть большая. Она напрямую зависит не от количества респондентов, она зависит от того, насколько глубоко проводится это исследование, насколько тщательно проводится набор респондентов, насколько много внимания уделяется составлению сценария тестирования, насколько глубокая аналитика исходных данных производится. Среднего чека нет, а разброс может быть где-то на два порядка. Основная идея – это то, что может быть вообще бесплатно. Потому что Eye Tracker – это очень удобно.

Софья Чебанова: На самом деле, технология довольно сложная и его главная особенность состоит в том, что человек, который работает с продуктом, доложен находиться в комфортных условиях. В режиме офиса – это абсолютно невозможно. Поэтому тестирование происходит в лаборатории. Мы тестируем на широкоформатном экране. Мы посмотрели статистику, и у нас получается, что примерно половина наших пользователей сидит на широкоформатных экранах.

Вопрос из зала: Тестируете ли вы также мобильные приложения?

Софья Чебанова: Я хочу сказать, что Eye Tracker – прекрасная технология. На результат тестирования даже не влияет в очках вы или в линзах, для него это неважно. Но все-таки у него есть небольшая погрешность, потому что это луч, который отражается, возвращается, и она равно 2 см. Поэтому, при тестировании мобильного приложения эта погрешность играет роль. Для тестирования мобильных приложений есть другие устройства, есть специальная мобильная камера, которая в хорошем разрешении записывает все действия человека, все движения его пальцев и параллельно пишется выражение его лица и разговор. И эти данные тоже позволяют достичь многих результатов.

Тему тестирования на Eye Tracker’е продолжил Дмитрий Богданов (Ай-тракер), представив свой доклад «Специфика проведения Юзабилити-тестирования с использованием технологии EyeTracking».

Дмитрий начал свой доклад с кейсов. Первый касался одного интернет-магазина, на котором докладчик столкнулся с ситуацией, когда, действительно, в магазине нет кнопки [купить]. Там есть определенные условия для пользователей: когда человек регистрируется, ему должно прийти письмо с подтверждением. Магазин реально работающий. Но в результате из 10 респондентов только 4 смогли купить товар в магазине. То есть, это реальные вещи, которые встречаются.

Следующий пример – это такой эффект, который называется эффект баннерной слепоты, который был обнаружен при помощи Eye Tracker’а. Связан он с тем, что люди рекламу «любят», и когда они боковым зрением встречают какое-то цветное пятно, похожее на рекламу в том месте, где должна быть реклама, они просто туда отказываются смотреть. Что видно на Eye Tracker’е? Особенно хорошо видно, когда постоянные посетители сайта, которые знают, что это такое, воспринимают блок с анонсами как элемент интерфейса, а новые посетители этот же блок не замечают вообще. Собственно говоря, в этом заключается основной недостаток баннерной слепоты, если у нас на сайте не реклама, а какой-нибудь элемент интерфейса, похожий на рекламу, то посетитель его не замечает. Встречаются такие ситуации достаточно часто.

Прямо противоположным эффектом является обратная баннерная слепота, когда люди умудряются рекламу разместить на месте контента. Контекстная реклама сейчас нужная, она хорошо соответствует запросам пользователя и пользователь хорошо кликает по рекламе, а такие горе-владельцы ресурсов честно зарабатывает свой рубль или два на рекламе, вместо того, чтобы зарабатывать несколько тысяч или десятков тысяч комиссии за продажу какого-то станка.

Еще один замечательный тип ошибок, которые хорошо выявляются с помощью Eye Tracker’а – это разнообразные невидимые элементы. Люди так интересно устроены, что зачастую вроде смотрят, но не замечают некоторых вещей. И далеко не часто можно предугадать, что они увидят, а что нет. И ошибки такого типа чаще всего связаны с какими-то ошибками в композиции, когда что-то как-то отвлекает внимание посетителя, или когда индикатор находится далеко от действия, то есть, мы кнопку нажали, а где-нибудь далеко в шапке что-то поменялось. Либо, когда какие-то ссылки, элементы расположены в направлении противоположном тому, куда человек будет смотреть.

Например, пользователь просматривает информацию о машине и смотрит ее сверху вниз, как правило, и вряд ли предполагается, что он будет возвращаться наверх. Еще один пример таких же невидимых элементов – тестировались макеты ТВ, и там была кнопочка с новостями, которую почему-то не замечали. Это типичная композиционная проблема.

Дело в том, что тестировать юзабилити можно тремя способами: использовать статистику, использовать экспертное мнение или проводить тестирование на какой-то группе респондентов. Все эти три способа работают и все имеют свои плюсы и минусы.

Далее Дмитрий перешел непосредственно к Eye Tracker’у, как элементу тестирования. Eye Tracker записывает то, как движется взгляд. Еще в 16 веке открыли, взгляд движется рывками, соответственно, точка, где он останавливается, называется фиксацией. Eye Tracker ведет запись в базу данных по точкам и дальше все можно проигрывать и смотреть, затем выводится несколько параметров, которые можно анализировать.

Как проводится тестирование. Тестирование можно проводить в лаборатории или на выезде, либо приехать к заказчику в офис и вести тестирование. Что считать при этом правильным методом – вопрос того, что мы тестируем. Предпочтительнее проводить тестирование на выезде, за счет того, что респондент чувствует себя немного расслаблено и результаты получаются значительно больше приближенными к естественной ситуации, когда он смотрит сайт у себя на работе или дома, когда он расслаблен и не напряжен, чем, если его привести в лабораторию, где он знает, что на него смотрят наблюдатели и еще в микрофон могут говорить: «А теперь расслабьтесь и чувствуйте себя, как дома». В таких условиях данные получаются не совсем корректные и в цифрах это тоже видно.

Что выдает Eye Tracker? Это карта, где показаны те самые точки, кружочки и стрелочки. У таких карт один недостаток – они очень быстро замусориваются. Человеческий глаз делает в секунду порядка 5-6 фиксаций. Если мы это дело умножим на длительность теста и на количество респондентов, которых мы задействовали, мы получаем огромное количество кружочков. Таким образом, это удобно, когда нужно просмотреть какой-то короткий срез времени, порядка нескольких секунд, либо когда надо быстро оценить количество респондентов, которые смотрели в одну точку.

Второй тип карт, которые продаются заказчику – тепловые карты. Если полезть в интернет и набрать [eye tracker], то можно увидеть эти тепловые карты. Тут надо хорошо понимать, что тепловая карта – это не только метод отображения данных. Берутся двухмерные данные, которые наносятся на картинку: скорость чтения текста и количество букв, все, что угодно. Поэтому в Eye Tracker’е имеет смысл еще интересоваться, какие именно данные на этой карте изображены. Потому что Eye Tracker может выдавать разные данные.

Например, в одном из тестирований, где в процессе длительных действий респондентам надо было найти ссылку на демо-сайт, было две группы: те, кто сайты придумывает, и те, кто их интерпретирует.

И вот здесь по тепловым картам особо принципиальной разницы не заметно. Эти карты построены на принципе фиксации, сколько точек появилось, когда человек смотрел на эту картинку. А вот если взять тепловые карты, показывающие результаты того же тестирования, но построенные по времени, которые респонденты потратили разглядывая сайт – совершенно разные. На них видно, что программисты быстренько просканировали меню, нажали кнопочку и подождали, когда загрузится демо. А менеджеры начали смотреть меню и затем перешли читать сайт. То есть, привычка у людей разная.

Один из примеров, когда карты могут оказаться полезными – оценка императивности интерфейса. Когда тестировалась одна из программ, где использовались две группы: новички и постоянные пользователи, тепловые карты различались достаточно сильно. Новичкам приходилось тратить значительное время на то, чтобы найти какую-то кнопочку. Тестирование же нового, улучшенного интерфейса программы показал, что карты у двух групп одинаковые. Это значит, что из первого исследования были сделаны правильные выводы, а второе исследование подтвердило, что новый интерфейс более удобный для восприятия.

Еще один способ, когда карты могут оказаться полезными – это когда требуется сравнить разные дизайны для какой-то странички, если используются макеты. То есть, можно посмотреть один вариант страницы, второй, решая одну и ту же задачу, на карте взглядов видно и понятно, что людям во втором случае приходилось тратить намного больше усилий. Ну, и в принципе это подтверждается и временем создания.

И один из увлекательных вопросов, который возникает – как определить репрезентативность выборки, когда проводится тестирование, то есть насколько точно соответствуют данные. Дмитрий сообщил, что при серьезных исследованиях используется не один, а порядка нескольких десятков параметров, которые также анализируются, и когда выясняется, что при таком-то количестве ряд сошелся и попал в заданный диапазон, дальше выбирается наибольшая группа по всем тем параметрам, которые требуются.

Вопрос из зала: Насколько карта взглядов соотносится с картой движения мышки?

Дмитрий Богданов: Соотносится очень неплохо. На одно движение мышки приходится 5-7 фиксаций взгляда. Второе – опытные пользователи вообще очень редко двигают мышкой, только, когда нашли взглядом, что их привлекает. И плюс у более старшего поколения наблюдается такой рудимент, как непроизвольное качание мышки.

Вопрос из зала: На рынке вы в роли кого выступаете?

Дмитрий Богданов: Я выступаю в роли продавца, продаю сервис.

Вопрос из зала: По сути то, что вы представили, больше подходит в плане тестирования. Для типовых задач скоро ли можно будет воспользоваться этим сервисом?

Дмитрий Богданов: Смотря, о каких сервисах вы говорите. Если об ай-тракинговых сервисах, то пока еще нет. Единственный вариант – американцы сделали на базе веб-камеры. Я не думаю, что какой-то сервис, похожий на ай-тракер появится через года три-четыре, причем, вполне вероятно, что он и не появится, потому что не факт, что будет окупаться. Потому что ай-тракер требует понимания того, как работает взгляд, как идентифицировать карты. Ай-тракинговые данные – это несколько десятков параметров, из основных - около 37. Из них для каждой конкретной задачи используется 5-7, которые важнее. Сервис достаточно сложный и потребует от вас понимания, как работает ай-тракер, чтобы правильно поставить задачу.

Apple / Google / Facebook – война за сообщения

Начало Мы находимся на пороге глобального конфликта. Три мощнейшие интернет-компании собираются сразиться за право контроля над обменом сообщениями между пользователями

СПИК 2012: Мобильные технологии и мобильные приложения

С 28 по 29 мая в Санкт-Петербурге состоялось крупнейшее отраслевое мероприятие Северо-Западного региона – СПИК-2012

Июнь 2012: жаркая конкуренция и шквал инноваций

Первый летний месяц бы отмечен всплеском активности поисковиков и кадровыми перестановками

СПИК 2012: «Юзабилити», часть 1

С 28 по 29 мая в Санкт-Петербурге проходило крупнейшее отраслевое мероприятие Северо-Западного региона – СПИК-2012

СПИК 2012: Панельная дискуссия «Деловая репутация в интернете»

С 28 по 29 мая в Санкт-Петербурге проходило крупнейшее отраслевое мероприятие Северо-Западного региона – СПИК-2012

СПИК 2012: «Управление командами и проектами в IT-компании: теории и практика»

С 28 по 29 мая в Санкт-Петербурге проходило крупнейшее отраслевое мероприятие Северо-Западного региона – СПИК-2012