Кажется, что всем уже очевидно: А/В-тестирование – инструмент первой необходимости для всех маркетологов, владельцев интернет-магазинов и продающих сайтов. С А/А-тестированием все менее однозначно – IT-коммьюнити четко разделилось на лагеря «за» и «против». Мы работаем со множеством интернет-магазинов – как региональных, так и федеральных – и можем точно сказать: на деле во всем этом нет ничего очевидного. Попробуем разобраться.

А/А: быть лучше самого себя

Начнем с менее очевидного – А/А-тестов. Не все маркетологи, даже федеральных брендов, знают о том, что это такое, не говоря о том, чтобы этим инструментом пользоваться. Те, кто знают, делятся на две категории: одни считают, что А/А-тестирование абсолютно необходимо, другие – что оно является полнейшей тратой времени и денег.

Что такое А/А-тест? Это тестирование определенного дизайна сайта против самого себя. Те специалисты, что выступают за А/А-тесты, объясняют их необходимость тем, что они помогут выявить все неточности в ваших настройках. Поясню: если одна и та же страница вдруг имеет конверсию, которая статистически значимо отличается в двух группах пользователей, значит, вы что-то не учли при разработке теста. Варианты могут быть такие:

• Неправильно поделили аудиторию
• Не учли особенности отображения на мобильных устройствах
• Не проверили работу всех кнопок на разных браузерах
• Не учли цикл принятия решения

Первые три пункта – это больше про техническую сторону вопроса, лечится множеством предварительных проверок, наличием квалифицированных программистов или использованием платформенного решения. Готовые решения предлагают многие платформы для создания лендингов и сайтов, в том числе и наш «1С-Битрикс: Управление сайтом».

Почему никто на SEO-рынке не верит в тендеры

На последнем пункте остановимся поподробнее. Допустим, ваш потенциальный клиент зашел на сайт за неделю до начала теста, что-то посмотрел, ничего не положил в корзину и ушел. Потом вы начали проводить А/А-тест, и этот клиент снова зашел на сайт. Все это время он думал о покупке и пришел за тем, чтобы ее наконец совершить, но в итоге увеличил конверсию одного из вариантов (напомню, что варианты – одинаковые). Если таких клиентов, которые не в первый раз пришли на сайт, в одну аудиторию попадет больше, чем в другую, вы увидите различия в конверсии.

Что же делать? Ждать, когда конверсия сравняется – а если других ошибок в дизайне теста нет, она рано или поздно сравняется. Допустим, в нашем примере конверсия двух вариантов стала одинаковой через 3 недели после начала теста. Значит, последующий А/В-тест нужно проводить именно три недели, не меньше – иначе можно получить искаженные результаты.

Правда, противники А/А-тестов имеют на этот счет свой аргумент: просто подождите чуть дольше, когда проводите А/В-тест. В инструментах для проведения подобных тестов рассчитывается показатель статистической значимости результатов. Как только доверительный интервал достигает 95%, тест можно завершать. Но не всегда достижение статистической значимости показывает, что срок проведения теста был достаточным. Важно обращать внимание на абсолютные значения: если мы сравниваем, например, 12 и 17 конверсий, может оказаться, что формально порог статистической достоверности достигнут. А в реальности это слишком маленькая выборка, чтобы точно сказать – вариант В лучше, чем А. Именно поэтому рекомендуется подождать еще недельку, даже когда формально тест уже можно завершать. В любом случае, даже эта дополнительная неделя – меньшая трата времени, чем полноценный А/А-тест.

Что происходит с кадрами в веб-студиях: дефицит, текучка, низкое качество

Однозначного ответа, как правильно поступить – делать А/А-тест или не делать – у меня нет. Каждый тут решает сам, что ему важнее – экономия времени или максимальная педантичность в проведении теста.

А/В-тест: очевидное или невероятное

Казалось бы, если можно еще спорить про А/А, то уж А/В-тест – обязательная процедура для всех сайтов, которые что-то продают. Это кажется настолько очевидным, что как-то даже глупо и банально об этом говорить. Однако я все же скажу свое слово, потому что мой опыт несколько отличается от всего, что пишут в отраслевых СМИ.

Мы часто проводим семинары для компаний, они называются «Формула сайта» – там владельцам различных компаний рассказывают, как создать сайт и сделать его максимально эффективным. Эти семинары проходят в основном в регионах, так что мы можем видеть реальную картину того, что происходит в интернет-бизнесе за пределами МКАД. И на каждом из этих семинаров всего несколько человек из десятков посетителей в принципе слышали про А/В-тесты. Один-два, может, пользовались ими когда-то.

В целом, инструмент этот все еще недооцененный и недостаточно часто применяется на практике. Даже в тех случаях, когда не нужно прилагать особых усилий и нанимать программиста, чтобы провести такой тест. У нас есть готовое решение, куда нужно только загрузить два разных шаблона сайта/карточки товара, а разделение аудитории, подсчет результатов – все это сделает программа. И тем не менее, только 5% наших клиентов хоть раз пользовались инструментом для А/В-тестирования, встроенным в «1С-Битрикс: Управление сайтом».

Рыжиков: Рунет перестал расти, веб-студиям нужно меняться

Маркетологи и владельцы бизнеса часто бывают высокомерны и считают, что знают лучше, и никакие тесты им не нужны. При этом в мире уже полно кейсов, когда результаты А/В-тестов кардинально отличались от гипотез компаний. Например, маркетологи могут считать, что картинка с лицом улыбающегося человека возле формы регистрации увеличит конверсию, но бывают и обратные примеры. Только тестирование на реальных клиентах покажет, как это будет работать в вашем конкретном случае. У компании HubSpot такая картинка, наоборот, снизила конверсию на 50%. Как хорошо, что они все-таки провели А/В-тест!

Как-то на семинаре я приводил слушателям подобные примеры двух дизайнов: например, с картинкой и без, с дополнительной надписью и без нее, с короткой формой заказа и длинной – и просил угадать, какой вариант имел бОльшую конверсию в тестах. В трех примерах из трех большинство аудитории выбрало неправильный ответ. Такие эксперименты показывают, насколько плохо сотрудники компании (особенно владельцы, одержимые своей идеей) понимают своих клиентов и как им сложно угадать их реальную реакцию. Поэтому А/В-тесты просто необходимы, даже если вы считаете, что знаете, как сделать правильно.

Что происходит с веб-разработкой сейчас

Еще один аргумент в пользу А/В-тестирования для руководителей – это реальный способ оценить эффективность работы отдела маркетинга. Без тестов вы просто не поймете, почему выросла конверсия – это гениальная фича, которую придумал маркетолог, или просто рынок в целом подрос? А если на сайт внесли сразу много изменений без тестирования, пиши пропало – вы никогда не узнаете, что из этого реально работает, что – нет, а что тянет ваш бизнес на дно. Суммарный эффект может быть все равно положительный, поэтому вы не станете разбираться. Но если бы вы провели А/В-тесты, вы бы поняли, что можно было расти еще быстрее.

Так почему же еще не все компании занимаются А/В-тестированием, если это так легко, удобно и полезно? Все потому, что для некоторых это как раз тяжело и дорого, а эффективность неочевидна. Польза А/В-тестов – долгосрочная, а бюджет на тестирование нужно выделить прямо сейчас. Если это связано с серьезными тратами как времени, так и денег, никто на это не пойдет. Тем более, результата может и не быть – можно провести все тесты и понять, что старый дизайн лучше всех новеньких фич.

Почему владельцы региональных веб-студий умирают в 50 лет в нищете

Что же делать? Сделать так, чтобы провести тестирование было настолько просто и относительно недорого (деньги тратятся только на привлечение трафика, который в любом случае принесет продажи и окупится), чтобы не возникало соблазна его не делать. Для этого нужно, в первую очередь, оптимизировать свои сайты. Одно дело – провести сплит-тестирование двух лендингов, другое – двух вариантов сайта с сотней страниц. Даже среди федеральных брендов, не говоря уж о региональных, многие интернет-магазины сидят на старых движках, которым уже лет десять. Сконструировать дизайн А/В-теста для таких «динозавров» – целая история, поэтому компании этим просто не занимаются.

А/В-тест – очевидное решение только для молодых компаний с сайтами на современных платформах, а также для одностраничников. Для старожилов рынка, интернет-магазинов с сотнями страниц и устаревшими движками, это вопрос баланса издержек и выгод – и решается он часто не в пользу выгод. Но я считаю, рано или поздно все игроки, которые хотят выжить на рынке, должны будут перейти на более современные платформы с широкими возможностями для аналитики, включающие и А/В-тестирование.