Востриков, «1С-Битрикс»: Почему А/В-тесты сайта — очевидное решение только для молодых компаний

Кажется, что всем уже очевидно: А/В-тестирование — инструмент первой необходимости для всех маркетологов, владельцев интернет-магазинов и продающих сайтов. С А/А-тестированием все менее однозначно — IT-коммьюнити четко разделилось на лагеря «за» и «против». Мы работаем со множеством интернет-магазинов — как региональных, так и федеральных — и можем точно сказать: на деле во всем этом нет ничего очевидного. Попробуем разобраться.

Сергей Востриков, руководитель направления Маркетплейс в 1С-Битрикс

А/А: быть лучше самого себя

Начнем с менее очевидного — А/А-тестов. Не все маркетологи, даже федеральных брендов, знают о том, что это такое, не говоря о том, чтобы этим инструментом пользоваться. Те, кто знают, делятся на две категории: одни считают, что А/А-тестирование абсолютно необходимо, другие — что оно является полнейшей тратой времени и денег.

Что такое А/А-тест? Это тестирование определенного дизайна сайта против самого себя. Те специалисты, что выступают за А/А-тесты, объясняют их необходимость тем, что они помогут выявить все неточности в ваших настройках. Поясню: если одна и та же страница вдруг имеет конверсию, которая статистически значимо отличается в двух группах пользователей, значит, вы что-то не учли при разработке теста. Варианты могут быть такие:

  • Неправильно поделили аудиторию
  • Не учли особенности отображения на мобильных устройствах
  • Не проверили работу всех кнопок на разных браузерах
  • Не учли цикл принятия решения

Первые три пункта — это больше про техническую сторону вопроса, лечится множеством предварительных проверок, наличием квалифицированных программистов или использованием платформенного решения. Готовые решения предлагают многие платформы для создания лендингов и сайтов, в том числе и наш «1С-Битрикс: Управление сайтом».

Почему никто на SEO-рынке не верит в тендеры

На последнем пункте остановимся поподробнее. Допустим, ваш потенциальный клиент зашел на сайт за неделю до начала теста, что-то посмотрел, ничего не положил в корзину и ушел. Потом вы начали проводить А/А-тест, и этот клиент снова зашел на сайт. Все это время он думал о покупке и пришел за тем, чтобы ее наконец совершить, но в итоге увеличил конверсию одного из вариантов (напомню, что варианты — одинаковые). Если таких клиентов, которые не в первый раз пришли на сайт, в одну аудиторию попадет больше, чем в другую, вы увидите различия в конверсии.

Что же делать? Ждать, когда конверсия сравняется — а если других ошибок в дизайне теста нет, она рано или поздно сравняется. Допустим, в нашем примере конверсия двух вариантов стала одинаковой через 3 недели после начала теста. Значит, последующий А/В-тест нужно проводить именно три недели, не меньше — иначе можно получить искаженные результаты.

Правда, противники А/А-тестов имеют на этот счет свой аргумент: просто подождите чуть дольше, когда проводите А/В-тест. В инструментах для проведения подобных тестов рассчитывается показатель статистической значимости результатов. Как только доверительный интервал достигает 95%, тест можно завершать. Но не всегда достижение статистической значимости показывает, что срок проведения теста был достаточным. Важно обращать внимание на абсолютные значения: если мы сравниваем, например, 12 и 17 конверсий, может оказаться, что формально порог статистической достоверности достигнут. А в реальности это слишком маленькая выборка, чтобы точно сказать — вариант В лучше, чем А. Именно поэтому рекомендуется подождать еще недельку, даже когда формально тест уже можно завершать. В любом случае, даже эта дополнительная неделя — меньшая трата времени, чем полноценный А/А-тест.

Что происходит с кадрами в веб-студиях: дефицит, текучка, низкое качество

Однозначного ответа, как правильно поступить — делать А/А-тест или не делать — у меня нет. Каждый тут решает сам, что ему важнее — экономия времени или максимальная педантичность в проведении теста.

А/В-тест: очевидное или невероятное

Казалось бы, если можно еще спорить про А/А, то уж А/В-тест — обязательная процедура для всех сайтов, которые что-то продают. Это кажется настолько очевидным, что как-то даже глупо и банально об этом говорить. Однако я все же скажу свое слово, потому что мой опыт несколько отличается от всего, что пишут в отраслевых СМИ.

Мы часто проводим семинары для компаний, они называются «Формула сайта» — там владельцам различных компаний рассказывают, как создать сайт и сделать его максимально эффективным. Эти семинары проходят в основном в регионах, так что мы можем видеть реальную картину того, что происходит в интернет-бизнесе за пределами МКАД. И на каждом из этих семинаров всего несколько человек из десятков посетителей в принципе слышали про А/В-тесты. Один-два, может, пользовались ими когда-то.

В целом, инструмент этот все еще недооцененный и недостаточно часто применяется на практике. Даже в тех случаях, когда не нужно прилагать особых усилий и нанимать программиста, чтобы провести такой тест. У нас есть готовое решение, куда нужно только загрузить два разных шаблона сайта/карточки товара, а разделение аудитории, подсчет результатов — все это сделает программа. И тем не менее, только 5% наших клиентов хоть раз пользовались инструментом для А/В-тестирования, встроенным в «1С-Битрикс: Управление сайтом».

Рыжиков: Рунет перестал расти, веб-студиям нужно меняться

Маркетологи и владельцы бизнеса часто бывают высокомерны и считают, что знают лучше, и никакие тесты им не нужны. При этом в мире уже полно кейсов, когда результаты А/В-тестов кардинально отличались от гипотез компаний. Например, маркетологи могут считать, что картинка с лицом улыбающегося человека возле формы регистрации увеличит конверсию, но бывают и обратные примеры. Только тестирование на реальных клиентах покажет, как это будет работать в вашем конкретном случае. У компании HubSpot такая картинка, наоборот, снизила конверсию на 50%. Как хорошо, что они все-таки провели А/В-тест!

Как-то на семинаре я приводил слушателям подобные примеры двух дизайнов: например, с картинкой и без, с дополнительной надписью и без нее, с короткой формой заказа и длинной — и просил угадать, какой вариант имел бОльшую конверсию в тестах. В трех примерах из трех большинство аудитории выбрало неправильный ответ. Такие эксперименты показывают, насколько плохо сотрудники компании (особенно владельцы, одержимые своей идеей) понимают своих клиентов и как им сложно угадать их реальную реакцию. Поэтому А/В-тесты просто необходимы, даже если вы считаете, что знаете, как сделать правильно.

Что происходит с веб-разработкой сейчас

Еще один аргумент в пользу А/В-тестирования для руководителей — это реальный способ оценить эффективность работы отдела маркетинга. Без тестов вы просто не поймете, почему выросла конверсия — это гениальная фича, которую придумал маркетолог, или просто рынок в целом подрос? А если на сайт внесли сразу много изменений без тестирования, пиши пропало — вы никогда не узнаете, что из этого реально работает, что — нет, а что тянет ваш бизнес на дно. Суммарный эффект может быть все равно положительный, поэтому вы не станете разбираться. Но если бы вы провели А/В-тесты, вы бы поняли, что можно было расти еще быстрее.

Так почему же еще не все компании занимаются А/В-тестированием, если это так легко, удобно и полезно? Все потому, что для некоторых это как раз тяжело и дорого, а эффективность неочевидна. Польза А/В-тестов — долгосрочная, а бюджет на тестирование нужно выделить прямо сейчас. Если это связано с серьезными тратами как времени, так и денег, никто на это не пойдет. Тем более, результата может и не быть — можно провести все тесты и понять, что старый дизайн лучше всех новеньких фич.

Почему владельцы региональных веб-студий умирают в 50 лет в нищете

Что же делать? Сделать так, чтобы провести тестирование было настолько просто и относительно недорого (деньги тратятся только на привлечение трафика, который в любом случае принесет продажи и окупится), чтобы не возникало соблазна его не делать. Для этого нужно, в первую очередь, оптимизировать свои сайты. Одно дело — провести сплит-тестирование двух лендингов, другое — двух вариантов сайта с сотней страниц. Даже среди федеральных брендов, не говоря уж о региональных, многие интернет-магазины сидят на старых движках, которым уже лет десять. Сконструировать дизайн А/В-теста для таких «динозавров» — целая история, поэтому компании этим просто не занимаются.

А/В-тест — очевидное решение только для молодых компаний с сайтами на современных платформах, а также для одностраничников. Для старожилов рынка, интернет-магазинов с сотнями страниц и устаревшими движками, это вопрос баланса издержек и выгод — и решается он часто не в пользу выгод. Но я считаю, рано или поздно все игроки, которые хотят выжить на рынке, должны будут перейти на более современные платформы с широкими возможностями для аналитики, включающие и А/В-тестирование.

Добавить 5 комментариев

  • Ответить

    Удивительный вывод в конце статьи. Количество страниц сайта не влияет на возможность проведения a/b тестирования, если, конечно вы не меняете сайт целиком. Для тестирования важны несколько вещей — наличие численных метрик, которые будут тестироваться, возможность менять что-то на странице в зависимости от варианта и, собственно, регистрировать поведение пользователей.

    Я вполне могу представить, как любой старожил при наличии достаточного трафика берет внешнее решение вроде optimizely и немедленно начинает тестировать независимо от возраста кодовой базы и прочих дел.

  • Ответить

    >> Количество страниц сайта не влияет на возможность проведения a/b тестирования

    Вы просто не имели дело с «динозаврами» (унаследованными движками). Ведь нужно обеспечить неизменность работы всех тех сотен страниц, которые тестирование затрагивать не должно. А некорректные действия корявыми руками не редко приводят к остановкам систем вообще …

  • Ответить

    Мне как раз с такими и приходилось работать. Понятное дело, что если нет мониторинга, программистов и все шаблоны лежат в базе данных, как это, порой, бывает, то тут не до a/b тестирования, но тогда уже надо сказать, что и не до каких-то изменений на сайте вообще.

    Если изменения как-то вносятся, если как-то можно узнать, что видит пользователь, то и a/b тестирование возможно.

  • Ответить

    Так в статье и написано «Если это связано с серьезными тратами как времени, так и денег, никто на это не пойдет.». Про «невозможно» там и не было. Гипотетически возможно все, а на практике имеет значение цена вопроса.

  • Ответить
    Газиз Исмаил Site4business

    Сергей привет,

    Спасибо за интересную публикацию. Особенно понравились доводы о необходимости проводить сплит тестирования.

    Есть два дополнения к статье:

    1. Многим молодым сайтам бессмысленно делать а/б тесты про причине небольшой посещаемости. Зачастую для достижения приемлимой достоверности результатов нужно несколько сотен конверсий. Иногда даже больше…

    2. «Правильные» а/б тесты должны основываться на гипотезах. А те в свою очередь должны основываться на данных. Сбор данных — вот что самое сложное, особенно для молодых проектов.

    Еще раз спасибо за интересную статью!