A/B тесты на сайте: как запустить без Google Optimize

A/B тест — это сравнение двух версий страницы или элемента на случайно разделенном трафике. Корректный тест требует выборку от 1000 уникальных посетителей на вариант и хотя бы 7 полных дней показа, иначе результат шумный. Google Optimize закрыт с сентября 2023 года, актуальные альтернативы — Varioqub в Яндекс Метрике, VWO, AB Tasty и встроенные тесты внутри продуктовых виджетов.

Что такое A/B тест и когда он нужен?

A/B тест отвечает на один конкретный вопрос: «Изменение X увеличивает метрику Y?». Не «дизайн стал красивее», а «конверсия в заявку выросла с 2.1% до 2.7%». Если у вас меньше 200 целевых событий в неделю на странице — тест не наберет значимость за разумный срок, и проще принимать решение по логике и интервью.

Тест уместен, когда цена ошибки высокая: главная страница, форма заявки, карточка тарифа, онбординг-чек-лист. Менять цвет кнопки в подвале через тест бессмысленно — выигрыш меньше шума.

Что можно тестировать на сайте?

Заголовок первого экрана, оффер и подзаголовок. Текст и цвет CTA-кнопки. Форму захвата лида — длинная против короткой. Цены и формулировки тарифов. Картинку или видео в hero. Поведенческие виджеты — попап с промокодом против чек-листа онбординга. Триггеры показа — по времени против по скроллу 50%.

Не стоит тестировать сразу несколько изменений на одном варианте: если конверсия выросла, вы не поймете, какое именно изменение сработало. Это уже мультивариативный тест, и для него нужна выборка кратно больше.

Как сформулировать гипотезу A/B теста?

Хорошая гипотеза состоит из четырех частей: что меняем, для кого, какую метрику смотрим, на сколько ожидаем сдвиг.

Шаблон: «Если на странице тарифов заменить кнопку „Подключить" на „Попробовать 14 дней бесплатно", конверсия в регистрацию вырастет с 3.2% до 4.0% (+25% относительно), потому что снимаем барьер платежа».

Без числа «на сколько» гипотеза непроверяема. Если сдвиг ниже 10% относительно — выборка должна быть огромной, и проще сразу искать более сильное изменение.

Сколько трафика и времени нужно для теста?

Минимальная выборка считается по формуле для пропорций. На пальцах:

• базовая конверсия 2%, ожидаемый сдвиг до 2.5% (+25%) — нужно ~12 500 посетителей на вариант
• базовая конверсия 5%, ожидаемый сдвиг до 6% (+20%) — нужно ~6 500 на вариант
• базовая конверсия 10%, ожидаемый сдвиг до 12% (+20%) — нужно ~3 500 на вариант

Тест должен крутиться минимум 7 полных дней — чтобы попасть и в будни, и в выходные. Останавливать тест, как только увидели «значимость на 95%», нельзя — это peeking, он раздувает ложноположительные результаты до 30%.

Чем заменить Google Optimize в 2026?

Varioqub встроен в Яндекс Метрику, бесплатный, поддерживает визуальный редактор и серверные тесты. Подходит для тестов на лендингах и интернет-магазинах с целями в Метрике.

VWO и AB Tasty — платные международные сервисы с продвинутой статистикой и сегментацией. Цена от 200 USD/мес, оплата из РФ затруднена.

Для тестов поведенческих виджетов — попапов, чек-листов, NPS-опросов — встроенные A/B тесты в продукте обычно удобнее, потому что метрика и эксперимент живут в одном интерфейсе. Так работает Нотифлоу: внутри таргетирования виджетов можно создать два варианта и распределить трафик 50/50.

Как запустить A/B тест попапа в Нотифлоу?

В кабинете откройте виджет → «Варианты» → «Создать вариант B». Скопируйте текст и оффер из варианта A, измените одну переменную — заголовок, картинку или таймер показа.

// Пример: тестируем два разных триггера показа попапа
nw('track', 'cart_abandon', {
  variant: Math.random() < 0.5 ? 'A_offer_5pct' : 'B_offer_free_shipping'
});

Установите цель — например, событие lead_submitted или purchase. Распределение трафика 50/50, длительность — пока выборка не достигнет рассчитанной. Метрики смотрите в дашборде виджета: показы, клики, конверсия, доверительный интервал.

Как анализировать результаты и не делать ложных выводов?

Смотрите на p-value или доверительный интервал, а не на «B на 12% лучше». Если интервал A: [2.1–2.6%], B: [2.4–2.9%] — пересекаются, разницы нет, нужно набирать выборку дальше.

Сегментируйте результат по устройствам и источникам трафика. Бывает, что общий тест выигрывает на десктопе, но проигрывает на мобиле — и среднее значение скрывает оба эффекта. Если выборки в сегменте мало, не делайте вывод по сегменту.

Учитывайте новизну. Первые 3-4 дня после запуска нового варианта пользователи реагируют на «другое» — позже эффект может выровняться. Поэтому короткие тесты обманывают.

Частые ошибки A/B тестирования

Тестируют слишком много изменений сразу — нельзя понять причину. Останавливают тест на «сегодня значимо» — статистика рассыпается. Игнорируют сезонность — запуск под Черную пятницу даст результат, который не воспроизводится в феврале. Не учитывают мобильный сегмент — а он часто главный источник трафика. Делают тест с целью «посмотреть, что получится» — без гипотезы и числа сдвига.

Часто задаваемые вопросы

Готовы запустить первый A/B тест на своих виджетах? Создайте аккаунт Нотифлоу — вариант B настраивается в три клика. Подробнее про настройку триггеров — в статье про таргетирование виджетов, про метрики — в материале метрики чата и KPI. Полный список инструментов аналитики — на странице возможностей платформы.