5 ошибок, которых следует избегать при AB-тестировании вашего дизайна
AB-тестирование может помочь улучшить дизайн вашего веб-сайта. Даже минимальное изменение вашей кнопки призыва к действию (call-to-action) может увеличить продажи на 35,6%. Проведение AB-тестирования позволит вам убедиться, что сделанные вами изменения дизайна ведут к улучшению результатов.
Как веб-разработчик, который старается создавать высокопроизводительные веб-сайты, вы возможно уже знаете про AB-тестирование. Но если вы услышали об AB-тестировании (которое также называют сплит-тестированием) впервые, прочтите сначала эту вводную статью: Введение в сплит-тестирование веб-сайта.
Хотя AB-тестирование может показаться незаслуживающим внимания – особенно при наличии огромного количества таких удобных инструментов, как Optimizely, Google Analytics Content Experiments или Visual Website Optimizer – есть несколько распространённых ошибок, которые могут привести вас к нежелательным результатам.
Эти ошибки AB-тестирования могут привести к катастрофе, потому что они потенциально снижают конверсию веб-сайта.
Если вы допустите ошибки в AB-тестировании, о которых я расскажу ниже, это как минимум приведёт к тому, что вы не получите наиболее полных данных, которые вы могли бы получить, для принятия обоснованного решения по дизайну.
Ошибка №1: Использование AB-тестирования, когда оно на самом деле не требуется
AB-тестирование лучше всего использовать, когда вам нужно протестировать разницу двух версий одной переменной.
Например, если вы хотите узнать, нажимают ли чаще на ваши гиперссылки, когда они подчёркнуты или когда нет, вы можете создать две версии веб-страницы: одна версия с подчёркнутыми ссылками (версия A), а другая версия, где ссылки не подчёркнуты (версия B). Тестируемая переменная – оформление текста гиперссылок (подчёркнутый или неподчёркнутый).
В этом случае вы можете эффективно использовать AB-тестирование, чтобы проверить, какая из версий лучше.
Но для тестирования более чем одной переменной, вы должны использовать многомерное тестирование (MVT).
Продолжая пример с гиперссылками, вам следует использовать многомерное тестирование, если вы хотите найти лучшую комбинацию следующих трёх переменных:
- Оформление текста: Подчёркнутый или неподчёркнутый;
- Цвет текста: Синий, оранжевый или зелёный;
- Стиль текста: Полужирный, курсив или обычный.
В приведённом выше примере 18 (2х3х3) разных версий, которые вам надо протестировать, чтобы получить лучший результат.
Зачем вам 18 различных версий? Дело в том, что на конверсию сайта может повлиять взаимодействие всех трёх переменных.
Например, зелёные ссылки могут показать результат лучше, чем синие, только если зелёные ссылки полужирные и неподчёркнутые. Однако зелёные ссылки покажут худший результат, чем синие, когда зелёные ссылки курсивные и подчёркнутые.
Однако многомерное тестирование предполагает деление трафика между тестируемыми версиями, поэтому я рекомендую использовать этот метод тестирования только когда веб-страница, которую вы тестируете, уже достаточно хорошо посещается. В противном случае, тест займёт слишком много времени до получения достоверных результатов.
Веб-сайты с низким трафиком должны использовать AB-тестирование. Оно будет наиболее практичным выбором при небольшом количестве просмотров страниц.
Ошибка №2: Игнорирование объёма выборки
Итак, вы запустили AB-тест на вашем сайте.
Двумя часами позже вы получили статистически достоверные результаты, показывающие, что версия дизайна с синей кнопкой призыва к действию показала 300% прирост числа зарегистрированных пользователей.
Вы радостно прыгаете от нового открытия и собираетесь утвердить изменения на всём веб-сайте.
Попридержите коней!
Из-за того, что период тестирования слишком короткий, приведённый выше результат получен при недостаточном объёме выборки посетителей.
Для тех из вас, кто не силён в статистике, стоит пояснить, что объём выборки в данном случае – это количество посетителей, поучаствовавших в тестировании.
Недостаточный объём выборки означает, что объём выборки статистически слишком мал, чтобы дать точное представление обо всей популяции (под популяцией здесь понимаются посетители веб-сайта).
Когда ваш сайт в месяц посещают 50000 человек, тест, проведённый на объёме выборки в 30 посетителей (что составляет всего 0,06% от месячного количества), не даст вам достоверных результатов.
Позитивный результат в таких случаях можно списать на случайность или совпадение.
Когда вы делаете изменение на вашем сайте, основываясь на недостаточном объёме выборки, вскоре вы можете осознать, что конверсия вашего сайта не повышается, вопреки вашим ожиданиям.
Даже хуже: в отдельных случаях она может снизиться. Почему? Если объём выборки был недостаточно большим, улучшение, которое вы обнаружили в результате тестового периода, могло быть случайным, и есть вероятность, что версия, показавшая улучшение, в действительности хуже при достаточном объёме выборки.
Чтобы избежать этой ошибки, вам надо определить подходящий объём выборки для вашего теста. Для этого вы можете использовать бесплатный калькулятор продолжительности тестирования из пакета Visual Website Optimizer.
Этот инструмент подскажет, сколько дней тестирования вам понадобится для получения достоверных результатов. При расчётах учитывается количество версий, которые вы хотите протестировать, объём трафика вашего веб-сайта, текущая конверсия вашего сайта и т.д.
Ошибка №3: Зацикливание на одном параметре метрики веб-сайта
Существует несколько целей повышения конверсии, которые вы можете использовать для измерения успешности кампании, например, кликабельность (CTR), количество новых пользователей вашего веб-приложения, уровень отказов в корзине покупок и другие.
Часто вы будете замечать, что есть зависимость между различными вашими целями и показателями, и, следовательно, использование данных AB-тестирования, чтобы улучшить один из показателей, может негативно сказаться на других важных показателях.
Например, использование версии дизайна, которая увеличивает CTR вашей кнопки призыва к действию, может в то же время повлиять на количество новых пользователей.
Иногда можно смириться с изменением дизайна, снижающим один из показателей метрики, если оно существенно повышает другой важный показатель, например, снижение CTR не так плохо, если количество новых пользователей при этом существенно возросло.
Вы должны иметь полное понимание каждого показателя метрики, которое может быть затронуто вашими изменениями, чтобы принимать обоснованного решения по дизайну в зависимости от приоритетов вашего проекта.
Ошибка №4: Отсутствие сегментации ваших тестов
Один из пользователей нашего продукта Visual Website Optimizer производил тест, чтобы проверить, как изменится конверсия сайта, если убрать некоторые навигационные элементы.
Он сегментировал тест таким образом, что тестировались только новые посетители веб-сайта.
Подобный подход полностью оправдан, потому что это был сайт потокового видео, похожий на Netflix. Поэтому большое число возвращавшихся посетителей сайта уже были его клиентами.
Поскольку владелец сайта был наиболее заинтересован в том, чтобы конвертировать новых посетителей сайта в клиентов, это была отличная идея сегментации AB-тестирования.
В данном случае тестирование всех посетителей сайта было бы ошибкой.
Это бы исказило результаты, так как тестирование всех посетителей означало бы получение данных, которые бы включали посетителей, уже прошедших через «воронку» конверсии и являющихся клиентами.
Сегментируйте ваше AB-тестирование, если это улучшит результаты конкретного теста, который вы проводите.
Ошибка №5: Выбор эстетичности в ущерб результатам
С этим выбором дизайнеры сталкиваются в первую очередь, когда начитают AB-тестирование своей работы.
Вот гипотетический сценарий (преувеличенный для целей дискуссии): дизайнер считает, что фотография товара, которую она выбрала, прекрасно сочетается с дизайном. Она проводит AB-тестирование, чтобы удостовериться, что это правильное дизайнерское решение.
Она создаёт 2 версии для теста: одну с фотографией товара (версия A), другую – без фотографии (версия B).
Дизайнер выясняет, что больше кликов получает кнопка «Купить» в версии B, версии без фотографии.
Однако версия B выглядит «уродливо» по мнению дизайнера.
Что ей теперь делать? Игнорировать результаты и оставить фотографию цветка, использовать другую фотографию или принять обоснованного дизайнерское решение и пересмотреть дизайн, чтобы он выглядел лучше без фотографии?
Когда вы набьёте руку в тестировании, вы научитесь находить баланс между эстетичностью дизайна и данными тестов.
Иногда сайт может выглядеть не так красиво, как вам бы хотелось, но если он не выглядит совсем уж ужасно, выбирайте дизайн, показавший лучшие результаты.
В конце концов, веб-сайт – это инструмент. Цель веб-сайта не в том, чтоб выглядеть красиво, а в том, чтобы добиваться определённых целей, например, увеличения онлайн продаж или количества просмотров страниц.
Независимо от того, как дизайн выглядит, использоваться должна та его версия, которая наилучшим образом способствует достижению целей веб-сайта.