Для тех, кто вдруг не в курсе, как и я была не так давно, определение из wiki :
A/B-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования,
суть которого заключается в том, что контрольная группа элементов
сравнивается с набором тестовых групп, в которых один или несколько
показателей были изменены, для того, чтобы выяснить, какие из изменений
улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта.
От себя могу сказать, что такой метод тестирования в основном используется в мобильных приложениях. И все, кто связан с тестированием этих девайсов, о таком тестировании наверняка знают и слышали.
Но когда мне довелось с этим столкнуться на паре проектов - начались споры.
В одном данное тестирование проводил отдел маркетинга, в другом - отдел аналитики.
Причем, сложно их разделить между собой, так что скорее, они проводили его вместе.
И надо сказать - успешно.
Мне это показалось даже правильно.
Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования.
ммм... я пока не определилась на какой стороне зла нахожусь я. А вы?

У меня есть шкурный вопрос.
Кто проводил аналогичное тестирование в социальных сетях?
У кого есть опыт - поделитесь в комментариях.
Какие инструменты использовали ( цену, если не затруднит), сложности и , ну совсем в идеале, итог был положительный, или же все ушло к чертям?
Из социалочек особо волнует ВКонтакте.
5 комментариев :
Сообщи этим чувакам, что слово "тестирование" такое же объемное, как и слово "дружба" или "женская дружба".
И не всё то, что имеет в слове корень "тест", относится к отделу тестирования.
Это все итак понимают. Но, собственно, моего вопроса о социалках не отменяет. (
"Кто проводил аналогичное тестирование в социальных сетях? У кого есть опыт - поделитесь в комментариях."
О, люблю эту тему. У меня скорее история "как я был нубом и совал во все нос", чем туториал или инструкция.
1. В нашей младокомпании ABN тестирование гоняли маркетологи, в контексте выбора лендинг пейджа. Использовали Google Analytics, это бесплатно и довольно просто.
2. У более матерых партнеров - геймдизайнеры, в контексте "какую цену поставить айтему". Делали 2 одинаковых айтема с разным id и ценой, делили пользователей - каждый видел в магазине один из вариантов, сравнивали стату объем продаж при одинаковых размерах выборки.
У вас же всяко есть стата по продажам и воронкам конверсий, мне кажется достаточно "зашить" в приложение разброс пользователей по разным "веткам" эксперимента, и сравнивать их показатели в стате. Не понимаю какое особое ПО тут нужно. Если оно есть, тем лучше, если нет - все равно реально все сделать.
Например, шаг тутора существует в двух версиях, с разницей в объеме груди NPC. Конверсия у них отличается? And so on.
Неплохо помнить про стат значимость (см вики). Если конверсия тутора с большой грудью в 2 раз выше - это еще не обязательно успех, может рандом, или мало данных. Капитаню, но видела в геймдеве богатую традицию говноаналитики, так что не удержалась ))
В Google Analitycs вроде встроена какая-то метрика достоверности результата. Себе находила калькулятор, да просто на уровне житейской логике помнить - и то хлеб.
3. Да что уж там, каждый запуск рекламы в мейл ру таргете в N вариантами банеров можно считать ABN тестированием :)
"Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования. ммм... я пока не определилась на какой стороне зла нахожусь я. А вы?"
Определилась. Никак. Отдел тестирования проектирует интерфейсы и особенности игры - то что является сабжем ABN теста? Нет же. Это для вот тех ребят инструмент. Самопроверки, обучения, изучения пользователя.
Тестировщик, как любой новичок, может долго и бестолково дрочить. И в лучшем случае экспериментально подтвердить банальное "tits make clicks". А в худшем найти 1000 факторов которые никак не влияют на KPI. Если у вас все новички, и кому-то все равно надо, и хочется... то можно взять задачу себе. Нескучный способ начать копить экспертизу в чужой области, чо ) Но в целом выглядит как тревожный симптом.
PS вот еще интересная статья по сабжу: http://www.shopolog.ru/metodichka/analytics/tri-oshibki-pri-a-b-testakh
PPS забавно, при том насколько AB-тестирование не наша задача, у одной возникает вопрос как бы его провести, а у другой есть кул стори. Что это значит? Тестировщицы брюнетки из геймдева охотно берутся за все подряд? Oh shit, не могу оценить стат значимость ^_^
Cкорее просто желание "все знать", что творится вокруг.
Я скорей рассматриваю для себя A|B тесты, как один из критериев юзабилити.
Я себе удобненько это подогнала, под критерий "зачем мне это" и вот собираюсь чуток провести. Не думаю что мне или компании тут что-то повредит.
За кул-стори отдельное спасибо!)
Отправить комментарий