Многовариантное тестирование: делайте больше за меньшее время

Многовариантное тестирование (MVT) — еще один «помощник в принятии решений», доступный в SAS® Customer Intelligence 360. Он поможет специалистам по цифровому маркетингу эффективно выполнять повседневные задачи. Многовариантное тестирование позволяет понять, как именно взаимодействуют различные элементы на веб-странице, влияя на целевой уровень преобразования. Веб-страница — это сложный и многоуровневый набор разнообразного контента, и мы чисто интуитивно рассчитываем, что итоговый результат окажется чем-то большим, чем просто суммой составляющих. Но в таком случае возникает вопрос: почему многовариантное тестирование занимает столь незавидное положение среди прочих инструментов, доступных специалистам по веб-маркетингу?

Одна из главных причин — высокая стоимость. Так, в отношении уникальных версий страницы наблюдается настоящий комбинаторный взрыв, поскольку количество элементов и связанных с ними уровней возрастает, и это влияет на расходы, обслуживание трафика и стоимость упущенных возможностей. Например, для страницы с четырьмя блоками контента, каждый из которых содержит четыре потенциальных креативных элемента, создаются 256 отдельных версий, подлежащих тестированию.

Для полной уверенности в результатах тестирования потребуется продемонстрировать каждую комбинацию или вариант репрезентативной выборке посетителей. Давайте предположим, что каждый вариант увидят 10 000 посетителей, то есть в общей сложности в тестировании примут участие 2,5 миллиона человек. На веб-сайте с высокой посещаемостью на это потребуется не менее 100 дней. Однако к тому времени не только специалист по веб-маркетингу потеряет интерес — сами результаты тестирования, скорее всего, вообще утратят какой-либо смысл.

A/B-тестирование: существующий стандарт

Сегодня, исходя из соображений практической целесообразности, специалисты по веб-маркетингу зачастую выбирают более простые последовательные A/B-тесты. Такой тест дает представление о влиянии только одного элемента и его вариаций. Поэтому решение о том, с какого элемента начать последовательное тестирование, принимается в большинстве случаев интуитивно.

Для проведения качественного A/B-тестирования необходимо учитывать взаимно сталкивающиеся факторы, способные повлиять на результаты. Например, если кто-то изменит элемент на странице во время выполнения серии последовательных A/B-тестов, это может полностью дискредитировать результаты. При изменении исходных условий надежность одного или нескольких тестов в последовательности также может снизиться.

Методология SAS Customer Intelligence 360

Компания SAS разработала подход, полностью противоположный описанному выше. Сначала проводится многовариантный анализ для набора блоков на странице. Каждый из блоков содержит не менее двух потенциальных креативных элементов. Затем необходимо определить небольшое количество наиболее эффективных вариантов. Они будут использоваться для последующего A/B-тестирования, по результатам которых будет выбран самый эффективный вариант. Преимущества данного подхода заключаются в том, что исходные факторы учитываются во всей их полноте, а также можно измерить влияние взаимодействия факторов, что наиболее важно.

Тем не менее, проблема комбинаторного взрыва еще не решена. И она не нова: история экспериментальных проектов насчитывает уже более 100 лет, и за этот срок разработано множество различных методов для решения данной проблемы. Самым известным является метод инжиниринга качества Тагути. Есть и другие способы, и большинство из них предъявляют строгие требования к типу проекта и безопасности.

В SAS Customer Intelligence 360 доступен интерфейс для бизнес-пользователей, с помощью которого маркетологи могут:

• настроить многовариантный тест;
• определить правила включения и исключения для отдельных вариантов;
• оптимизировать проект;
• отправить его в производство;
• изучить результаты и принять соответствующие меры.

Самая сложная часть аналитики выполняется незаметно, и специалисту по маркетингу остается только выбрать подходящие параметры.

Многовариантное тестирование стало проще

Самое важное — теперь многовариантное тестирование стало технически осуществимым. На схеме внизу показано, как уменьшается размер выборки для тестирования на странице с четырьмя блоками. Красной линией обозначено количество вариантов, необходимых для стандартного теста, и показано, как оно экспоненциально возрастает согласно количеству элементов контента в каждом блоке.

Синей линией обозначается количество вариантов, необходимых для оптимизированной версии теста. Даже при наличии трех элементов контента в блоке число уникальных вариантов уменьшается на 50 %, а по мере увеличения числа элементов это значение в процентах также увеличивается. На основании данных значений можно рассчитать примерную длительность теста, если принять за исходное значение необходимый размер выборки для каждого варианта (10 000 посетителей) и объем трафика для страницы (50 000 посетителей в день). Результаты приведены ниже.

Благодаря технологии оптимизированного многовариантного тестирования SAS, тест, на который раньше пришлось бы потратить 50 дней, теперь можно провести всего за 18 дней. И еще более впечатляющие цифры: 25 дней на тест, для которого раньше потребовалось бы целых 120 дней.

Как же обойтись без этих недостающих вариантов?

Если отображается только набор комбинаций, как маркетолог сможет оценить поведение варианта, который не тестировался? Все очень просто. SAS Customer Intelligence 360 создает модель на основе результатов тестирования отдельных вариантов и использует ее, чтобы в теории спрогнозировать результаты для комбинаций, которые не тестировались. Можно сымитировать многовариантное тестирование целиком и в процессе сделать достоверные выводы.

Отчет о максимальной эффективности варианта в верхней части сводки результатов, приведенной выше, демонстрирует увеличение числа эффективных вариантов в сравнении с вариантом-«победителем» (как правило, это стандартная бизнес-версия страницы). В нижней части сводки результатов (показатели по вариантам) каждый из вариантов представлен как точка, расположение которой определяется согласно измеренному или спрогнозированному уровню преобразования. Каждая точка имеет доверительный интервал, связанный с измеренным показателем. Легко заметить, что в приведенном выше примере теста нет явного варианта-«победителя». Собственно говоря, пять максимально эффективных вариантов практически не различимы. В этом случае маркетологи могут использовать результаты многовариантного тестирования для автоматической настройки A/B-тестирования. В отличие от методологии, которая полагается в основном на A/B-тестирование, сужение поля выборки с использованием оптимизированного многовариантного тестирования позволяет вычленить наилучшие варианты, учитывая при этом влияние взаимодействия факторов.

Внедрение многовариантного тестирования в повседневную работу

До сих пор применение многовариантного тестирования ограничивалось робкими экспериментами с веб-сайтами, которые не могли похвастаться высокой посещаемостью. SAS Customer Intelligence 360 позволяет практически каждому эффективно использовать возможности многовариантного тестирования, и при этом необязательно быть экспертом в теории планирования экспериментов. Для многовариантного тестирования всегда будут нужны выборки большего размера, чем для простого A/B-теста. Но приведенные выше примеры наглядно демонстрируют, какие широкие возможности для практического использования открывает такое тестирование.

Об авторе

Малькольм Лайтбоди

Старший менеджер по продуктам (клиентская аналитика)

Уже более 20 лет Малькольм работает с различными компаниями, обучая их максимально эффективно использовать данные о клиентах. Он стремится сделать аналитику доступной для всех и считает, что каждый может и должен уметь пользоваться инструментами аналитики. В настоящее время Малькольм отвечает за разработку решений для прикладной аналитики, доступных в рамках Customer Intelligence 360.