QA Expert Day Дмитрий Подымов , Senior QA/Lead в Live Nation project (Provectus) : «A/B testing или реинкарнация Библейского змея...»

1. А/В testing
или реинкарнация библейского змея…
Дмитрий Подымов

2. Кому это надо?
 Маркетологам для определения правильного
расположения товара на сайте
 Рекламным компаниям для определения
правильного мотивирования потенциального
покупателя
 Third-party провайдерам для определения
Conversion Rate их контента в различных
вариациях
 ВАМ, если Вы владеете сайтом и хотите
увеличить его рентабельность (и тот же
Conversion Rate)
Другими словами, мы искушаем пользователя, заставляем его тратить
те ресурсы (деньги, время и т.п.), которые он не планировал тратить!
Или из всего многообразия предложений выбрать именно наш вариант,
что суть более благородная цель 
2

3. 3
Теория
A/B testing (Split testing) — метод маркетингового исследования, суть которого
заключается в том, что контрольная группа элементов сравнивается с набором
тестовых групп, в которых один или несколько показателей были изменены, для
того, чтобы выяснить, какие из изменений улучшают целевой показатель.
Примером может служить исследование влияния цветовой схемы, расположения и
размера элементов интерфейса на конверсию сайта.
Тестируются 2 очень похожие страницы (страница А и страница В), которые
различаются лишь одним элементом или несколькими элементами (тогда метод
называют A/B/N Testing). Страницы А и В показываются пользователям в равных
пропорциях, при этом посетители, как правило, не знают об этом. При достижении
определённого статистически значимого числа показов, сравниваются числовые
показатели цели и определяется наиболее подходящий вариант страницы.

4. Как все происходит на самом деле
4
Создаем макет страницы А:
Создаем макет страницы В:

5. Как все происходит на самом деле
Инжектируем на целевую страницу JScript провайдера A/B теста. Это может быть
Optimizely, Maxymiser, Google Analytics и т.д.
Пример инжекта JScript на www.ticketmaster.co.uk:
5
</script> <!-- Optimizely script start -->
<script type="text/javascript" src="http://media.ticketmaster.co.uk/en-gb/
js/b05ffe54f503388f9605196957b3052f/OptimizelyFn.js"></script>
<script type="text/javascript" src="//cdn.optimizely.com/js/592400258.js"></script>
<!-- Optimizely script end -->
<script type="text/javascript"></script>

6. Как все происходит на самом деле
Провайдер должен иметь обе копии
дизайна страницы. При попадании на
страницу пользователю показывается тот
или иной дизайн страницы и снимается
установленная статиcтика.
Упрощенно алгоритм показан на схеме
(на примере провайдера Optimizely).
6

7. Как все происходит на самом деле
По достижению оговоренного количества экспериментов анализируем результаты
7

8. Как выбрать стратегию A/B тестинга
Тестирование только одного элемента за раз даст лучший результат.
Всегда тестируйте одновременно: проведение тестирования двух вариантов в
одно и то же время жизненно необходимо для предотвращения искажения
результатов с течением времени.
Проводите тесты только на новых пользователях: не используйте
существующих клиентов в качестве подопытных кроликов при тестировании
сайта. Их предвзятое мнение может исказить результаты и привести к
неточностям.
Важно решить, что вы будете тестировать и что для Вас будет считаться
успехом.
8

9. Как НЕ надо тестировать
9

10. Questions?
10