Недостаточно сделать второй вариант страницы и начать сравнивать (предварительно необходимо проверить аудиторию на качество). A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов. (Источник)

А/А тесты

В данном случае идея теста заключается в подтверждении правильности (валидации) предварительных настроек. При показе одного и того же варианта лендинга 2 контрольным группам пользователей в течение достаточного длительного периода времени вы должны получить примерно одинаковые значения конверсии от каждой группы. Таким образом вы определяете соотношение «сигнал/шум» (полезные/бесполезные данные) в массиве получаемой информации. Если обратиться к известному примеру с подбрасыванием монетки («орел или решка»), вы должны подбрасывать ее до тех пор, пока количество выпавших «орлов» не сравнится с числом выпавших «решек».

Проблема в том, что это действие занимает время, которое, как правило, используется для полноценного сплит-теста. Если у вас большой трафик, вы можете применить А/А-тесты, если вам так угодно, но разумнее будет перед запуском сплит-тестирования предпринять следующие шаги:

• кроссбраузерное тестирование лендинга
• тестирование на различных типах устройств
• показ посадочной страницы друзьям и семье («мама-тест»)
• интеграция инструментов аналитики в процесс теста
• подробное пошаговое рассмотрение гипотезы и плана тестирования

Этот комплексный метод работает быстрее и лучше, чем запуск А/А-тестов. Используйте триангуляцию, пристально наблюдайте за происходящими процессами и продолжайте тестирование до достижения порога статистической значимости, чтобы минимизировать влияние инструментария, волатильности трафика и проблем несовместимости браузеров/устройств на результаты тестов.

Маркетологи редко задумываются над тем, что именно ошибки, связанные с волатильностью трафика и некорректным отображением идентичных посадочных страниц на различных типах устройств и в разных браузерах, являются самой распространенной причиной искажения результатов A/B-теста.

Примечание: иногда проводятся A/A/B/B тесты (25%), а также A/A/A/B/B/B-тесты, но они приводят к сильному искажению результатов («эффект перекоса»). Вообще, смысл всех этих предварительных приготовлений сводится не к определению того, как результаты тестов, полученные от идентичных выборок, отклоняются от среднего значения (такие отклонения называются флуктуацией) — речь идет о том, как флуктуация коррелирует с уровнем сегментации трафика.

A/B/A — тест

Этот метод имеет следующие преимущества: он позволяет выявить проблемы маркетингового инструментария (как обычный A/A) с меньшими затратами времени. Правда, у него есть тот же недостаток, что и у A/A/B/B-теста: 2 одинаковые выборки (A) будут получать пропорционально в 2 раза меньше трафика на каждую, следовательно, показатель ошибок для них будет выше.

И, разумеется, поскольку 2 выборки А будут небольшими, тестирование до достижения статистически значимых результатов займет больше времени, чем в случае обычного A/B-теста.

Тем не менее, перед нами — лучший способ валидации теста. Хотя без этой стадии подготовки к основному сплит-тестированию вполне можно обойтись.

Почему маркетологи проводят А/А-тесты?

Иногда они делают это потому, что в кругах маркетологов A/A-тесты считаются чем-то вроде «визитной карточки» хорошего специалиста по оптимизации, залогом того, что основной тест будет проведен максимально тщательно и непредвзято.

A/A-тест также рассматривается как «генеральная репетиция» перед главным действием — это удобный способ запустить процесс с предварительной отладкой: понятно, что ремонт автомобиля «на ходу» обойдется гораздо дороже, чем его техническое обслуживание в гараже.

Однако в отличие от качественного предстартового техобслуживания A/A-тест не может удалить все дефекты, содержащиеся в гипотезе, сценарии и средствах практического сплит-тестирования. Возможно, что A/A-тест стоит использовать в случаях, когда вы проверяете какой-то сложный алгоритм основного тестирования, который вы намерены применять в дальнейшем. Но предварять каждый сплит-тест предварительным A/A-тестированием совсем не обязательно.

Проблемы и ошибки А/А-тестирования

Проблема прежде всего заключается в том, что вы тратите реальный платный трафик и драгоценное тестовое время на предварительную операцию (собственно A/A-тест), никак напрямую не способствующую ни оптимизации конверсии, ни росту доходов.

Другая проблема кроется в том, что почти 80% A/A-тестов в какой-то момент достигнут порога статистической значимости. Другими словами, тестовая система констатирует, что с высокой степенью достоверности оригинальный вариант лендинга лучше, чем оригинальный вариант лендинга. Почему? Потому что такова величина тестовой выборки, и потому что вы воспринимаете тест неправильно.

А если вы используете маленькую выборку, вы можете прийти к ложному умозаключению, что у вас что-то не в порядке — не хватает трафика, плохие инструменты аналитики и т. д., хотя это, возможно, далеко не так.

Еще одна проблема: когда вы проводите A/A-тестирование, вы сравниваете конверсионную производительность двух идентичных целевых страниц. Размер выборки и количество данных, что потребуются вам для того, чтобы убедиться в отсутствии значимого искажения результатов, будут огромными по сравнению с A/B-тестом.

Именно поэтому опытные маркетологи никогда не проводят сплит-тесты с очень похожими целевыми страницами — обнаружить предельно мелкие преимущества одного варианта лендинга над другим очень трудно. В случае идентичной страницы эта задача становится практически невыполнимой: вы можете проводить A/A-тест на несколько недель дольше, чем непосредственно сам A/B-тест и не получить никакой ценной информации — либо потому, что «сломались» настройки теста, либо потому, что «сломалась» ваша способность понимать статистические выборки. (Источник)