23 марта 2022

Когда нельзя, но очень хочется: как провести A/B-тест, если бизнес-процессы не позволяют?

A/B-тестирование — это мощный инструмент, который помогает проверить гипотезы и повысить эффективность коммуникации.

В CRM-маркетинге с его помощью можно сравнить два варианта письма и определить, какой позволяет получить больше целевых действий от аудитории.

Однако A/B-тесты не всегда удается провести в силу особенности бизнес-процессов.

В этой статье мы расскажем, как адаптировали подход A/B-тестирования и смогли увеличить количество открытий писем на 17 процентных пунктов.

Условия задачи

В середине 2021 года клиент из сферы медицины поставил нам задачу повысить Open Rate регулярных новостных рассылок с 13% до 30%.

Первое, что видит пользователь в почтовом ящике, — это темы писем. Они — один из главных факторов, влияющих на Open Rate, поэтому большинство тестирований мы планировали провести именно на темах.

Однако мы столкнулись с проблемой — классический A/B-тест мы не могли применить по нескольким причинам:

1. Небольшая база контактов — тестирование гипотезы на части аудитории не даст статистически значимых результатов;
2. Регулярность новостных рассылок — нет возможности отправлять тестовые письма заранее.

Мы предложили клиенту использовать адаптированную версию A/B-тестирования:

1. база контактов делится пополам, гипотезы проверяются сразу на всей аудитории;
2. каждая гипотеза тестируется несколько раз для получения нужной статистики;
3. вариант, показавший наибольшую эффективность, используется в следующих рассылках.

Гипотеза 1. Длина темы письма влияет на OR

В разных почтовых клиентах и в зависимости от формата (десктоп, планшет, мобильная версия) в строке темы помещается от 30 до 50 знаков. Текущие темы рассылок оказались в среднем 50 знаков в длину. Мы решили сделать их короче и проверить, как отреагируют пользователи.

Тему А оставили длинной. Она перечисляет ключевые новости в рассылке, сразу показывая, что пользователя ждет внутри.

Тема B — короткая. Она выделяется среди других, интригует и побуждает получателя открыть письмо.

В результате трех тестов статистика показала, что письма с короткой темой открыли 13,10% получателей, а длинная тема заинтересовала 11,87% аудитории. Разница в 1,23% имеет статистическую значимость.

Пользователям понравились короткие и интригующие формулировки в теме письма.

Мы продолжили тестирование.

Гипотеза 2. Вопрос в теме письма интригует больше, чем общие фразы

Статистика показала, что короткие вопросительные темы набирают больше кликов, чем темы без вопроса. Поэтому новая гипотеза тестировалась при следующих условиях:

• длинная тема (A) может быть вопросительной или повествовательной;
• короткая тема (B) должна содержать в себе только вопрос.

Для проверки этой гипотезы мы делали рассылки строго по активной базе пользователей. Процент открытий вырос: OR писем с темой A составил 28,25%, у писем с темой B — 31,57%. Разница в 3,32% имеет статистическую значимость.

По результатам семи тестов короткие вопросительные темы показали высокую эффективность. Мы стали использовать их в следующих новостных рассылках.

Гипотеза 3. Специализация врача в теме письма повышает количество открытий

Аудитория нашего проекта — врачи разных специальностей. Ранее мы персонализировали контент внутри письма, использовали динамические блоки новостей, которые менялись в зависимости от специализации врача. Тема оставалась единой для всех.

В ходе серии экспериментов мы решили проверить, как изменится OR, если тема письма также будет персонализирована для каждого сегмента.

Тестирование новой гипотезы проходило при следующих условиях:

• в А- и B-группах аудитории представлены все медицинские специальности;
• в А-тест вошли три варианта рассылки с персонализированными темами;
• в В-тест вошел один вариант рассылки с общей темой для всех специальностей врачей.

По результатам пяти тестов статистика по OR показала:

• письма, в теме которых указана специализация (А), открыли 31,42% получателей (среднее значение по трем специальностям);
• письма с общей темой (B) открыли 26,48%.

Разница составила 4,94%.

Выводы и открытия

Мы часто сталкиваемся с подобными ограничениями в IT или бизнес-процессах, которые не позволяют нам использовать некоторые подходы или инструменты повышения эффективности. Тем не менее наш опыт показывает, что всегда можно найти нестандартное решение для достижения результата.

Так и в этом кейсе. Мы не могли проверить гипотезы с помощью классического A/B-тестирования, но предложили адаптированный подход, который:

1. отвечает бизнес-процессам клиента — согласование всех текстов происходит один раз;
2. решает поставленную задачу — мы видели устойчивый рост OR и значительную разницу между выигравшим и проигравшим вариантами;
3. показывает быстрые результаты — OR регулярных рассылок вырос на 17 процентных пунктов за семь тестов.

Команда проекта