среда, 11 июня 2014 г.

А/B тестирование... Как, кто и где?

Недавно пришлось столкнуться с таким видом тестирования как А/В.
Для тех, кто вдруг не в курсе, как и я была не так давно, определение из wiki : 


A/B-тестирование  (англ. A/B testing, Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. 

Метод часто используется при оптимизации веб-страниц в соответствии с заданной целью. Тестируются 2 очень похожие страницы (страница А и страница В),которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям поочерёдно в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определенного времени или при достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. К числу компаний, использующих данный метод, относятся Amazon и Zynga.

 От себя могу сказать, что такой метод тестирования в основном используется в мобильных приложениях. И все, кто связан с тестированием этих девайсов, о таком тестировании наверняка знают и слышали.


Но когда  мне довелось с этим столкнуться на паре проектов - начались споры.
В одном данное тестирование проводил отдел маркетинга, в другом - отдел аналитики.
Причем, сложно их разделить между собой, так что скорее, они проводили его вместе.
И надо сказать - успешно.

Мне это показалось даже правильно.

Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования.

ммм... я пока не определилась на какой стороне зла нахожусь я.  А вы?

О том, как создавать  лендинги и во сколько вам это обойдется, рассказывается неплохо вот в этой статье,  там же, в целом, и о опыте проведения этого тестирования.

У меня есть шкурный вопрос.
Кто проводил аналогичное тестирование в социальных сетях?

У кого есть опыт - поделитесь в комментариях.
Какие инструменты использовали ( цену, если не затруднит), сложности и , ну совсем в идеале, итог был положительный, или же все ушло к чертям?
Из социалочек особо волнует ВКонтакте.