Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней (но это пока только ориентир новичкам).

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если (сколько бы вы не ждали) показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. (Источник)

Варианты MVT: полноразмерный и частичный

Если вы остановили свой выбор на многомерном тестировании, то теперь надо определить его конкретный вариант. Наиболее распространенными вариантами являются: полноразмерный и частичный. Прежде чем разобраться в этих терминах, давайте разберем какой-нибудь абстрактный пример. Например, мы хотим испытать влияние трех различных факторов, каждый из которых имеет два варианта:

Три фактора в двух различных вариантах в итоге дают (23) 8 групп. В полноразмерном многомерном тестировании будут использованы все 8 комбинаций. Это означает, что необходимо будет создать 8 вариантов страницы и равномерно распределить между ними посетителей. В приведенной ниже таблице +1 означает первый вариант, а -1 – второй вариант каждого фактора.

Полноразмерное тестирование можно относительно легко реализовать, если у нас три фактора, каждый из которых имеет два варианта. Но если, скажем, будет 4 фактора и каждый из них в 4 вариантах, то получится (44) 256 групп. А если 10 факторов, имеющих два варианта – (210) 1024 группы. Для того чтобы получить достоверные результаты, нам потребуется огромный трафик. Для Google или Twitter это не является проблемой, но если мы хотим продавать пиццу в небольшом городке? Продолжительность подобного тестирования можно посчитать с помощью Google Calculator или VisualWebsiteOptimizers Calculator. Эти калькуляторы дают приближенную оценку, так как информации о разнице в конверсии между вариантами у нас пока нет. Именно ее мы и хотим определить в готовящемся эксперименте.

Частичная многомерная схема получила распространение благодаря работам Геничи Тагучи, поэтому ее иногда так и называют – метод Тагучи. Как это и понятно из названия, в частичной многомерной схеме для анализа отбирается только часть от общего количества всевозможных комбинаций. Сокращая количество вариантов, мы можем получить более достоверные результаты для оставшихся.

В приведенном выше примере достаточно протестировать четыре комбинации. Информация о взаимодействии между факторами, включенными в экспериментальные группы, позволит оценить эффективность тех комбинаций, которые были исключены из тестирования.

Остановимся на этом немного подробнее. Вместо того чтобы испытывать фактор A три раза, он будет испытан только однажды, при неизменном значении факторов B и C. Аналогично, фактор B будет также испытан один раз, при неизменных значениях A и C, то же самое и в отношении фактора C. Тут мы не будем глубоко разбираться в статистических методах анализа, так как все необходимые расчеты за нас сделает специальная программа.

Частичная многомерная схема предполагает, что каждый фактор, попавший в испытание, не зависит от других. Если же существует взаимодействие между факторами (например, изображение и подпись под ним), то это скажется на достоверности полученного результата. В случае частичного взаимодействия между факторами мы не сможем с уверенностью сказать о роли каждого из них в изменении конверсии. Например, если существует взаимодействие между B и C, то мы не можем быть уверены, получен ли результат от изменения фактора A или взаимодействия между B и C. В связи с этим, если имеется возможность организации полного многомерного тестирования, лучше остановить свой выбор на нем, чтобы избежать ошибок, вызванных взаимодействием между факторами. (Источник)