Креатив — видео, изображение или текст рекламы. Он должен привлекать подходящего человека и обещать то, что продукт выполнит. Максимум кликов не означает максимум полезных пользователей.
Проверяйте разные идеи: планирование занятия, выбор времени поездки, сравнение мест. Для каждой нужны понятный первый кадр, реальное действие и призыв продолжить. Смена цвета кнопки не проверяет новую потребность.
Карточка эксперимента
До запуска заполните карточку эксперимента из главы 25: гипотеза, аудитория, изменение, метрика, ограничения, бюджет и срок. Оценивайте стоимость активированного пользователя, а не только процент активации.
Определите единицу сравнения. В продуктовом A/B-тесте пользователей обычно распределяют случайно и сохраняют вариант. В рекламном кабинете алгоритм может неравномерно распределять показы и находить разные аудитории. Результат полезен для управления закупкой, но не всегда является чистым экспериментом с одним отличием.
Как читать результат
Сначала проверьте расходы и события, затем клики и установки, потом активацию, возвраты и оплату. Дождитесь конца trial и задержек атрибуции, прежде чем судить об отсутствии покупок.
Для небольшого бюджета используйте последовательные проверки и допускайте ответ «данных недостаточно». Две покупки против трёх редко обосновывают уверенный выбор. Для формального A/B-теста заранее оцените базовую конверсию, минимальный полезный эффект и необходимый объём выборки; не объявляйте победителя при каждом временном скачке.
Что делать после теста
Удачную идею развивайте новыми исполнениями. При ухудшении сравните частоту показов, периоды, страны и версии: причина может быть в аудитории, аукционе или продукте.
Записывайте расходы, вывод и принятое решение, включая неудачные тесты.