A/B тестирование: что это, зачем это нужно и как это работает?

A/B тестирование – это один из самых эффективных методов повышения конверсии, основанный на тестировании двух версий одной и  той же страницы, основная задача которого состоит в том, чтобы узнать – какая именно версия является более эффективной с точки зрения конверсии. Это позволяет проверить все идеи и гипотезы на практике, позволит узнать, работает ли какая-то идея в реальности, или же планируемые изменения не возымеют какого-то эффекта.

Результатом тестирования является статистика, основанная на действиях ваших посетителях. Эта статистика и будет направлять вас на конкретный путь, позволит увеличит показатели прибыли, увеличить число регистраций, скачиваний и подписок. A/B тестирование – единственный инструмент, позволяющий изучать поведение ваших посетителей активно, то есть не просто наблюдением, а активным вмешательством в него.

Принцип работы A/B тестирования

A/B тестирование – это тестирование двух и более вариантов одной и той же страницы. При этом используется контрольная, оригинальная версия А и тестовая (измененная, экспериментальная) версия В. Принцип состоит в том, чтобы одной группе посетителей показывать страницу А, второй группе – страницу В, после чего узнать, какая группа посетителей  совершит больше целевых действий.

Важно отметить, что необходимо проводить A/B тестирование на конкретной метрике, необходимо считать какое-то конкретное число: количество совершенных конверсий, доля отказов, среднее количество просмотренный страниц или среднее время, проведенное на сайте. Именно эту метрику и нужно будет анализировать в двух вариантах. После чего на основном сайте внедряется та версия, которая показала большую эффективность.

Какие проблемы позволяет решить A/B тестирование?

В первую очередь, любое A/B тестирование направленно на оптимизацию затрат на привлечение  платного трафика. Увеличение конверсии позволяет существенно  увеличить доход при тех же затратах на привлечение трафика.

A/B тестирование позволяет настроить и изменить сайта под конкретную группу клиентов, «заточить» сайт именно под вашу аудиторию. A/B тестирование позволяет зафиксировать эффективность любого изменения на сайте, а также узнать, какие именно изменения являются рациональными, а какие – пустой потерей времени. A/B тестирование позволяется избавиться от разногласий в команде разработчиков относительно дизайна, интерфейса сайта.

Простыми словами, A/B тестирование позволяет сделать сайт просто более эффективным с точки зрения финансов. Позволяет узнать, как получить больше, а тратить при этом столько же.

Создание A/B тестирования

Прежде всего необходимо придумать гипотезу, которую вы в дальнейшем будете проверять. 95% успеха – это созданная в самом начале гипотеза. Гипотеза может выглядеть так: «Если мы переставим кнопку «Отправить заявку» перед описанием товара».  Такие гипотезы берутся после использования инструментов веб-аналитики,  после тщательного и взвешенного анализа пользователей.

Внимательный анализ существующей ситуации позволяет понять, откуда приходят на сайт пользователи, какие именно каналы работают эффективно. Кроме того, необходимы выяснить страницы выхода с сайта. Полезной информацией будет результат анализа поведения пользователей мобильных и настольных браузеров. Вам нужно знать, как передвигаются пользователи по сайту, и как они должны передвигаться. Где вы теряете пользователей? Какая воронка продаж работает хуже всего? А, быть может, проблема чисто технического характера? Вдруг сайт грузится слишком медленно на мобильных устройствах из-за больших картинок, и люди просто не выдерживают и уходят в самом начале?

Например, вы можете заметить, что некоторая доля посетителей просто не докручивает страницу до нужного вам места, где нужно сделать действие.

Для получения данных аналитики можно использовать «классические» инструменты: в первую очередь речь идет о Яндекс.Метрике (и Вебвизоре в частности), Google Analytics. Полезными могут быть такие сервисы, как Clicky.com, MixPanel.com, Woopra.com.

Не стоит пренебрегать и опросами пользователей (особенно если аудитория вашего проекта лояльна). С помощью опросов у вас появляется возможность узнать, что именно отвлекает пользователей, что ей мешает сделать целевое действие. А, быть может, призыв наоборот, очень экспрессивен, и у вас слишком большой напор, который отпугивает часть клиентов? В качестве инструмента для создания пользовательских опросов идеально подходит Google forms. Еслит же используются какие-то онлайн чаты для поддержки клиентов, можно использовать и их.

Условия для проведения успешного A/B тестирования

 Необходимо помнить, что A/B тестирование может быть бессмысленным, если забыть о некоторых требованиях. В первую очередь, должна быть конкретная и проверяемая количественно и качественно гипотеза. Притом гипотеза должна затрагивать только одно изменение на сайте, а не целый комплекс: в противном случае, вы просто не сможете понять, изменение какого фактора привело к успеху (или неудаче).

Помните, что тест должен проводиться на час и не два дня, а минимум неделю. Только в этом случае возможно создание репрезентативной выборки. Тем более, проведение эксперимента в течение недели позволит охватить и выходные, и будни: а, как известно, в будни и выходные люди ведут себя при серфинге совсем по-разному. В пятницу люди просто выбирают, что купить, просто знакомятся с сайтом. Покупки же они осуществляют, как правило, в субботу и выходные, в более спокойной и взвешенной обстановке.  Если же проводить тестирование в течение срока менее недели, то результаты могут быть очень далеко от реальности, или вовсе неверными. Многие эксперты в области юзабилити советуют проводить эксперимент в течение 2-4 недель, чтобы избавиться от влияние каких-то поведенческих флуктуаций и получить действительно репрезентативную выборку.

Кроме того, вам необходимо добиться не менее 100-150 совершенных конверсий – по тем же самым причинам. Вы должны получить не просто выборку, а выборку успешных конверсий, чтобы уловить общее среди всех успешных пользователей.

И, конечно, вы должны быть уверены в статистической достоверности полученной информации, чтобы определенно ответить на вопрос, была ли ваша гипотезой верной или нет. Во многих сервисах A/B-тестирования встроены собственные алгоритмы, рассчитывающие статическую достоверность того или иного эксперимента.