среда, 11 июня 2014 г.

А/B тестирование... Как, кто и где?

Недавно пришлось столкнуться с таким видом тестирования как А/В.
Для тех, кто вдруг не в курсе, как и я была не так давно, определение из wiki : 


A/B-тестирование  (англ. A/B testing, Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. 

Метод часто используется при оптимизации веб-страниц в соответствии с заданной целью. Тестируются 2 очень похожие страницы (страница А и страница В),которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям поочерёдно в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определенного времени или при достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. К числу компаний, использующих данный метод, относятся Amazon и Zynga.

 От себя могу сказать, что такой метод тестирования в основном используется в мобильных приложениях. И все, кто связан с тестированием этих девайсов, о таком тестировании наверняка знают и слышали.


Но когда  мне довелось с этим столкнуться на паре проектов - начались споры.
В одном данное тестирование проводил отдел маркетинга, в другом - отдел аналитики.
Причем, сложно их разделить между собой, так что скорее, они проводили его вместе.
И надо сказать - успешно.

Мне это показалось даже правильно.

Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования.

ммм... я пока не определилась на какой стороне зла нахожусь я.  А вы?

О том, как создавать  лендинги и во сколько вам это обойдется, рассказывается неплохо вот в этой статье,  там же, в целом, и о опыте проведения этого тестирования.

У меня есть шкурный вопрос.
Кто проводил аналогичное тестирование в социальных сетях?

У кого есть опыт - поделитесь в комментариях.
Какие инструменты использовали ( цену, если не затруднит), сложности и , ну совсем в идеале, итог был положительный, или же все ушло к чертям?
Из социалочек особо волнует ВКонтакте.




5 комментариев :

Алексей Лупан комментирует...

Сообщи этим чувакам, что слово "тестирование" такое же объемное, как и слово "дружба" или "женская дружба".

И не всё то, что имеет в слове корень "тест", относится к отделу тестирования.

Рина комментирует...

Это все итак понимают. Но, собственно, моего вопроса о социалках не отменяет. (

Unknown комментирует...

"Кто проводил аналогичное тестирование в социальных сетях? У кого есть опыт - поделитесь в комментариях."
О, люблю эту тему. У меня скорее история "как я был нубом и совал во все нос", чем туториал или инструкция.

1. В нашей младокомпании ABN тестирование гоняли маркетологи, в контексте выбора лендинг пейджа. Использовали Google Analytics, это бесплатно и довольно просто.

2. У более матерых партнеров - геймдизайнеры, в контексте "какую цену поставить айтему". Делали 2 одинаковых айтема с разным id и ценой, делили пользователей - каждый видел в магазине один из вариантов, сравнивали стату объем продаж при одинаковых размерах выборки.

У вас же всяко есть стата по продажам и воронкам конверсий, мне кажется достаточно "зашить" в приложение разброс пользователей по разным "веткам" эксперимента, и сравнивать их показатели в стате. Не понимаю какое особое ПО тут нужно. Если оно есть, тем лучше, если нет - все равно реально все сделать.

Например, шаг тутора существует в двух версиях, с разницей в объеме груди NPC. Конверсия у них отличается? And so on.

Неплохо помнить про стат значимость (см вики). Если конверсия тутора с большой грудью в 2 раз выше - это еще не обязательно успех, может рандом, или мало данных. Капитаню, но видела в геймдеве богатую традицию говноаналитики, так что не удержалась ))
В Google Analitycs вроде встроена какая-то метрика достоверности результата. Себе находила калькулятор, да просто на уровне житейской логике помнить - и то хлеб.

3. Да что уж там, каждый запуск рекламы в мейл ру таргете в N вариантами банеров можно считать ABN тестированием :)

"Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования. ммм... я пока не определилась на какой стороне зла нахожусь я. А вы?"

Определилась. Никак. Отдел тестирования проектирует интерфейсы и особенности игры - то что является сабжем ABN теста? Нет же. Это для вот тех ребят инструмент. Самопроверки, обучения, изучения пользователя.

Тестировщик, как любой новичок, может долго и бестолково дрочить. И в лучшем случае экспериментально подтвердить банальное "tits make clicks". А в худшем найти 1000 факторов которые никак не влияют на KPI. Если у вас все новички, и кому-то все равно надо, и хочется... то можно взять задачу себе. Нескучный способ начать копить экспертизу в чужой области, чо ) Но в целом выглядит как тревожный симптом.

Unknown комментирует...

PS вот еще интересная статья по сабжу: http://www.shopolog.ru/metodichka/analytics/tri-oshibki-pri-a-b-testakh

PPS забавно, при том насколько AB-тестирование не наша задача, у одной возникает вопрос как бы его провести, а у другой есть кул стори. Что это значит? Тестировщицы брюнетки из геймдева охотно берутся за все подряд? Oh shit, не могу оценить стат значимость ^_^

Рина комментирует...

Cкорее просто желание "все знать", что творится вокруг.
Я скорей рассматриваю для себя A|B тесты, как один из критериев юзабилити.
Я себе удобненько это подогнала, под критерий "зачем мне это" и вот собираюсь чуток провести. Не думаю что мне или компании тут что-то повредит.

За кул-стори отдельное спасибо!)