5 ошибок а/б тестирования

Идея а/б тестирования в том, что вы выдвигаете гипотезу, проверяете ее и, исходя из полученных результатов, уже либо используете ее на вашем сайте, либо оставляете все как было. Например, вы предполагаете, что, поменяв картинку на главной странице рядом с уникальным торговым предложением, увеличите число заказов. Текущая главная страница - это А. Новая главная страница – это В. Далее вы разделяете трафик, чтобы и на одну, и на другую страницу пришло одинаковое число пользователей из разных источников (социальные сети, контекстная реклама, органическая выдача и т.д.). И по результатам тестирования делаете вывод о правильности вашей гипотезы. Если страница В действительно увеличила конверсию, то делаете ее основной, если страница А показала лучшие результаты, то оставляете все как есть.
Казалось бы, все очень просто. А специальные сервисы помогут это сделать даже начинающему маркетологу или собственнику бизнеса. Но давайте выясним, на какие ошибки стоит обратить внимание сразу, еще до начала тестирования.

Ошибка №1. Недостаточная статистическая значимость.

Предположим, за пятницу, субботу и воскресенье было совершенно 20 заказов. 17 со страницы В и только три со страницы А. Значит ли это, что страница В более конверсионная? Ответ: нет. Во-первых, наберите, как минимум по 100 конверсионных действий на каждой странице, а, во-вторых, в выходные поведение пользователей меняется. Многие больше проводят времени в социальных сетях или, наоборот, отдыхают на природе. Поэтому временные рамки должны быть кратны недели (7 дням). Если вы набрали по 100 конверсионных действий за 17 дней. То дождитесь окончания недели для завершения тестирования. Иначе, результаты будут неточные.

Ошибка №2. Проведение а/б тестирование с низким трафиком.

Например, мы делали seo-продвижение для сайта систем пожаротушения Дафо

Продукт не массового спроса, целевая аудитория ограничена и посещаемость сайта не высокая. Чтобы дождаться статистически значимых данных, может пройти и не один месяц. Возникает вопрос, а стоит ли проводить а/б тестирование? Ответ: нет, не стоит. Время и деньги, которые вы потратите на проведение теста, не поменяют ситуацию коренным образом. В лучшем случае, конверсия вырастит на 2%, но этого можно добиться просто, вложив деньги в рекламу или юзабилити сайта.

Ошибка №3. Ложные гипотезы или их отсутствие.

Зачастую, гипотезы – это интуитивная причина отдельно взятого человека. Возможно, такие идеи и принесут результат, но нужно понимать, что мнение конкретного человека не всегда совпадает с мнением большинства. Тем более, психология человека такова, что результаты мы можем интерпретировать в удобном для нас ключе.

 Ошибка №4. Тестирование большого количества вариантов.

Вы можете одновременно тестировать и 3, и 4, и 5 вариантов. Возможно, что они не покажут большого отличия, да и времени, чтобы набрать статистически значимое количество данных, потребуется больше. Оперировать  большим количеством результатов не просто, а выводы могут быть ложные. Поэтому, начинайте тест всегда с двух вариантов. Во-первых, вывод будет более очевидным, а значит, и результат тестирования будет легко интерпретировать. Во-вторых, при повторном проведении тестирования легче будет сравнивать полученные данные.

Ошибка №5. Не проводить повторное тестирование.

Даже если Ваша гипотеза подтвердилась, и вариант В повысил конверсию сайта на 1,5-2%. Будет ошибкой не провести повторное тестирование спустя какое-то время. Мы знаем, что в любом бизнесе есть относительная сезонность, есть периоды, когда спрос повышается или падает из-за экономических или других факторов, которые от нас не зависят. Проверяйте гипотезы, не один, а два-три раза, чтобы быть уверенным в их правильности.

В заключении, хотелось бы напомнить, что любые результаты достойны внимания. Даже если ваша гипотеза не подтвердилась, и, казалось бы, время и деньги потрачены впустую. Вспомните, сколько вы знаете бизнесов, которые не принимали неверных решений или не руководствовались неправильными идеями? Почему-то у вас возникло то или иное предположение, и вы решили его проверить. Возможно, оно будет верным на более коротком отрезке времени, или, наоборот, даст толчок к появлению новой гипотезы, которая увеличит конверсию сайта на целых 5%!

Пробуйте, ошибайтесь, делайте выводы и пробуйте снова. Главное, не останавливайтесь.