А/В тестирование инхаус и на аутсорсинге

Эксперты о том, что, как, как долго и силами каких специалистов тестировать

Автор: Наталья Кирик, контент-студия WordFactory

По нашим наблюдениям, главный тренд 2016 года – все более и более системный, научный, практичный подход к контенту, продвижению и рекламе. Все меньше клиентов хотят, чтобы «просто было», «чтобы креативненько», «чтобы как у «Розетки». Клиенты все больше думают о конкретике, цифрах и реальных результатах.

Своими мыслями о том, как провести А/В тестирование качественно, с нами поделились руководитель WEB-отдела компании StarMarketing Александр Матола и full stack программист компании Skylogic Вадим Якубенко.

WordFactory: В 2016 году мы все чаще замечали, что клиенты, которые далеки от digital, заказывая услуги, связанные с SEO-продвижением и контентом, стремятся вникать во все процессы. Причем, все чаще это не просто «я где-то читал и считаю, что так правильно», а более логичный подход к оценке работы исполнителей. Какой минимум нужно обязательно знать клиенту, для правильного выбора исполнителя для А/В тестирования?

Александр Матола: Первое, что нужно понимать - проводить тест нужно на одном промежутке времени. Нельзя две недели тестировать одну версию, две недели – другую, так как на результат могут влиять сезонность, курс валюты и другие внешние факторы. На сайтах с длительным циклом принятия решения выводы делаются на коротком промежутке времени. При покупке дорогих и сложных товаров люди могут принимать решение в течение одного и более месяцев. Если делать выводы на основании статистики одной-двух недель, можно не увидеть всей картины. Нужно отслеживать пользователей на протяжении всего цикла.

Второе - тестировать необходимо с большой выборкой:

- При маленьком трафике увеличивайте временной период для теста.

- При большом трафике нельзя делать выводы на основании нескольких дней. Нужно снимать результаты как минимум один раз в неделю, так как данные в будние дни и выходные могут отличаться. К примеру, в выходные и будни люди могут использовать разные устройства для посещения одного и того же сайта (телефон, планшет, компьютер), это окажет влияние на результат.

Вадим Якубенко: Также многие ошибочно полагают, что тест можно прекратить в конце рабочего дня. Это большое заблуждение. Есть целые схемы по запуску рекламы на разные тематики. Многие люди, как и вы, работают по стандартному графику и могут быть вашей целевой аудиторией в свое свободное время. Очень важно правильно сегментировать рынок по возрасту и местоположению. Пример: человек, который хочет заказать еду в обеденный перерыв на работе, имеет совсем другие поведенческие факторы, чем тот, который ждет доставку в нерабочее время (у последнего есть больше времени и желания подробно изучить информацию, оценить качество картинок, отзывы и т. д.)

WordFactory: Как выглядит идеальный исполнитель или команда исполнителей для проведения А/В тестирования инхаус? Каких специалистов нужно привлечь клиенту, у которого нет отдела по интернет маркетингу, чтобы получить действительно квалифицированную консультацию или помощь с А/В тестированием?

Вадим Якубенко: Дизайнер проекта – это первый и реальный тестировщик. Именно он во многом переопределяет судьбу проекта, задавая тон, стиль, цветовую схему и особенности проекта. «Почему не менеджер?» – спросите вы. Потому, что его цель – продать, и он не обязан вникать в суть. Так, тезисно рассказать, что это, не более.

Программист – второй реальный тестер. Только разработчик проекта знает его сильные и слабые стороны, он проводит за макетами и разработкой больше всего времени. Именно поэтому, даже сам того не желая, он подсознательно тестирует удобство большинства механик, интерфейсов, задумок, особенностей.

Копирайтер, SEO, SMM – последние в списке, но не по значению тестеры. Это люди, которые ориентированы на конечного пользователя, их цель – правильно, доступно и в выгодном свете подать конечный продукт.

У каждого из этих отделов, есть свои «грехи»:

1) дизайнеры зачастую пренебрегают широкими отступами, злоупотребляют слишком яркими контрастными переходами и различными механиками подачи контента (F-образный шаблон, правило 3 кликов, «сгиб» в прокрутке и т.д.);

2) программисты реализуют проект в соответствии с макетами в лучшем случае процентов на 90%. Как правило, они допускают слегка искаженные оттенки цветов, не совсем соблюдают указанные отступы, упрощают анимацию или прочую графику, принося все это «в жертву» скорости разработки;

3) контент-менеджеры нередко зациклены на количестве ключевых слов, проиндексированных страниц, позиций в выдаче.

Именно диалог этих трех групп является ядром тестирования. Каждый видит проблемы в работе друг друга: большие слайдеры – долгая загрузка страницы, слишком яркие переходы – быстро устают глаза, много текста – теряется акцент и т.д.

WordFactory: А что, по вашим наблюдениям, чаще всего не учитывают клиенты, заказывая такую услугу?

Александр Матола: Наиболее частая ошибка – люди просто не понимают, что можно тестировать, а что, вероятнее всего, не даст результата. Конечно, это не относится к опытным аналитиками/рекламщикам/владельцам бизнеса, которые создают тезисы для А/В не только на основе чужого опыта, не погружаясь в изучение аналитики по своему ресурсу. При правильном подходе учитываются бизнес-процессы компании, изучается целевая аудитория и ее потребности. Люди могут долго тестировать определенный функционал, при этом не понимая, что на самом деле нужно пользователям.

Пример: Интернет-магазин дверей. На сайте была возможность оформлять заказы через корзину, а в шапке и на соответствующей странице были указаны контакты. При разработке нового сайта мы добавили CTA (призывы к действию), которые на товарных страницах в различных точках лендинга призывали заказывать дверь по телефону. В итоге, количество продаж увеличилось примерно в два раза, большинство продаж сейчас проходит именно по телефону.

WordFactory: Что особенного происходит в А/В тестировании элементов таких популярных сегодня лендингов, в которых ключевая роль отведена графике, дизайну, изображениям, а не тексту?

Александр Матола: К сожалению, иногда не достаточно хорошо работают с текстом (формулировки призывов, заголовков, описаний и т.д.), уделяя внимание функционалу и дизайну, хотя тексты имеют очень большое влияние на конверсию сайта.

WordFactory: Здесь есть две крайности. Некоторые клиенты изначально создают и воспринимают страницу исключительно как блоки, под которые нужно подогнать текст. И тестируют затем целые блоки, не уделяя внимания тексту. А некоторые, наоборот, хотят тестировать каждое слово, каждую формулировку, создавая десятки вариантов для тестирования и сравнения, тратя время и на главные элементы текста (заголовки, подзаголовки), и на замену фраз абсолютно идентичными. Что вы посоветуете любителям тестировать каждый символ на странице?

Вадим Якубенко: Это называется Pixel Perfect, когда проект желают довести до идеала, чуть ли не с точностью до 1px. Это бессмысленная трата времени и средств. Нужно четко понимать, что восприятие у всех индивидуально, и если вы тестируете цветовые схемы, то нет идеального цвета, существует лишь визуальная иерархия. Конечно, в Сети можно найти множество онлайн-тестов и примеров, когда правильная подборка цветовой гаммы помогла немного улучшить показатели, но к этому можно прийти и без всякого тестирования – интуитивно.

Кроме того, для такого тщательного тестирования не каждый может позволить себе большие выборки или масштабные эксперименты на своем сайте, но чем она больше, тем более глубоко и правильно можно оценить сам эксперимент. Ошибкой является выбор из версий, разница между которыми составляет мизерные проценты конверсии. Например, если вы сделали новый дизайн сайта, и он показал конверсию на 2% больше, чем старый, это далеко не повод менять сайт, т.к. никто не отменял влияние привычки. Вы наверняка больше потеряете в узнаваемости или привычке, и эти 2% того не стоят.

Александр Матола: Если вы не сравниваете два совершенно разных лендинга, то изменения необходимо тестировать отдельно друг от друга. Если вы одновременно на одной и той же странице будете тестировать призывы к действию, формы, элементы дизайна, вы не сможете отследить, что именно привело к полученным результатам.

WordFactory: В декабре 2016 года мы опросили 100 экспертов сферы digital рунета о самых значимых трендах 2016 года. Одним из них называют все, что связано с mobile.

Александр Матола: При всей популярности мобайла, при А/В тестировании часто не учитываются различные типы устройств. На сегодня в различных тематиках трафик с мобильных устройств составляет от 30 до 60% (иногда и выше). При этом тестируемые изменения в основном направлены на десктопные версии. Также аналитики не учитывают жизненный цикл принятия решения: перед принятием решения о покупке пользователь может посещать сайт с различных устройств (компьютер на работе, смартфон по дороге домой, домашний ПК). Понимая этот путь, можно выстраивать воронку продаж под подобные последовательности посещения сайтов одним пользователем и планировать определенные результаты (действия от пользователя) от каждого посещения. К примеру, при первом посещении с телефона это может быть добавление сайта в закладки, подписка на соцсеть и т.д.

При этом иногда еще и не учитываются источники трафика, с которых переходят люди. В зависимости от канала перехода (контекстная реклама, органическая выдача, соцсети и т.д.), пользователи могут пребывать на разном этапе готовности к принятию решения. Если человек попадает на сайт первый раз из органики, он при первом посещении может быть не готов к целевому действию. Если это переход из соцсети, где уже велась работа с человеком, он может быть ближе к заключению сделки.

Вадим Якубенко: Владельцам сайтов, чьи аудитории активно пользуются мобильными версиями, стоит забыть о тестировании продукта путем приглашения группы людей в офис, чтобы вживую посмотреть на их реакцию. Это дорого, долго и совершенно не гарантирует точного результата. Динамика жизни в 2016+ году показывает, что свободного времени у людей очень мало, и такие мероприятия будут стоить очень дорого (чтобы окупить время). Сейчас бесплатных инструментов от Google и Яндекс более чем достаточно, чтобы отследить любые поведенческие факторы.

Не стоит ограничивать людей в механике продукта, чтобы искусственно посмотреть, как она работает. Очень часто такие тесты дают неправильные результаты. Пример: в форме на 10 полей есть дата рождения, номер телефона, почта, имя. Все просто и стандартно, но когда мы говорим «заполни с первого раза», человек более ответственно и дольше совершает это действие, из-за чего мы думаем, что «форма слишком длинная и сложная, нужно упростить, и пусть лучше менеджер уточнит по телефону». В реальной жизни, если человек ошибся в почте или номере телефона, обычные проверки ему укажут, где и в чем, и сейчас это абсолютно не пугает конечного пользователя (если это не автоперезвон в один клик, количество полей в форме (до 5–7) не оказывает существенного влияния на конверсию).

Аналогично и в примере с поиском: если 90% пользователей используют именно его, значит, нужно тестировать не то, как выглядит навигация без поиска, а стоит задуматься, насколько точно и удобно поиск выдает результаты.

Важный шаг для массового тестирования – это привлечение «правильной» аудитории. Вам нужны представители именно вашей целевой аудитории, которых интересует конкретный продукт в конкретном городе. И один такой пользователь ценнее десяти из первой выборки. Лучший способ моментально увеличить фокус-группу – дать более масштабную рекламную кампанию.

Итак, если вы решили провести А/В тестирование сайта и как раз ищете исполнителя:

– выберите команду с разнопрофильными специалистами — экспертами по дизайну, программированию, текстам,

– просчитайте сколько времени будет нужно чтобы собрать достаточное количество данных — как правило, вам понадобится от одной недели и от 1000 пользователей,

– тестируйте самые значимые текстовые и графические элементы страницы,

– если вы хотите тестировать множество изменений, сравнивайте исходную страницу с другой, в которой уже учтены все значимые и небольшие изменения,

– проводите тестирование в условиях максимально близких к реальным: учитываете с каких устройств посещает ваш сайт клиент, в какое время, как выглядит воронка продаж и процесс принятия решения.

preview 5 советов по A/B-тестированию на 2017 год

5 советов по A/B-тестированию на 2017 год

Начало года – важное время для бизнеса. В этот период компании пересматривают свои подходы к работе и составляют планы на текущий год...
preview Фрод и спам-звонки - главные враги рекламы частных медицинских клиник

Фрод и спам-звонки - главные враги рекламы частных медицинских клиник

За качество и квалификацию врача сегодня в России готовы платить и платить много
preview Эволюция пути к покупке в 2017 году: стратегии успеха

Эволюция пути к покупке в 2017 году: стратегии успеха

Путь к покупке становится всё более фрагментированным. Как преуспеть в мире, где ведущую роль играют микромоменты
preview Ваши лучшие пользователи: кто они и как их найти?

Ваши лучшие пользователи: кто они и как их найти?

Как провести анализ аудитории сайта и выявить самых ценных пользователей с точки зрения конверсии
preview Расширенные сниппеты “Products” в подарок сайту на Новый год

Расширенные сниппеты “Products” в подарок сайту на Новый год

Новогодний период – это настоящий прайм-тайм для продающих компаний, особенно в электронной коммерции
preview CPA: Игра по правилам

CPA: Игра по правилам

CPA-рынок полон историй об агентствах и вебмастерах, обманывающих клиентов...