Отчет о встрече MSTC (20 июня)

В прошлую пятницу прошла очереднfя встреча нашего клуба.
Мы снова провели ее в антикафе  Clever Club  и рискнули, назначив встречу на  пятницу. Ибо в антикафе народу много, соответственно, места маловато – шума многовато.
Но, т.к. в пятницу немногие смогли прийти (хотя и было 23 человека) мы все довольно удачно влезли.

Леша Пименов в этот раз (честь ему и хвала) пришел с “набором докладчика”, что позволило нам сделать аудио записи докладов. Которые Леша уже выложил на vimeo.

Собственно, о чем были доклады и в чем их соль, отлично описал Макс Цепков в своем отзыве о посиделках. Повторяться не будем.

После докладов, небольшой компанией мы до ночи просидели в баре Самбреро, о чем не жалеем. Было весело, интересно и познавательно.

В следующий раз попробуем проводить опрос -кто пойдет продолжать вечер- дабы бронировать столики под это дело.

Ну и пользуясь случаем, мы снова ищем докладчиков на следующую встречу, которая пройдет в конце июля.
Также, мы ищем помещение, в котором нас смогут приютить.
Если помещения не найдем, поедем снова в  Clever. (по всем вопросам встреч и докладов пишите на почту rina.skzk@gmail.com)

Ну и в конце – доклады:

Доклад Алексея Пименова  “Ослепленные чужой удачей”

Доклад Натальи Казаковой ” Ищем виноватого и побеждаем страхи”

Доклад Андрея Мясникова появится как только появится возможность.

За фото и деталями встреч следите на нашей страничке в facebook

Всем приятной рабочей недели, и до встречи  на наших милых посиделках!

Встреча MSTC в июне!

Друзья и коллеги!
В эту пятницу состоится встреча тестировщиков в антикафе Clever Club!
Напоминаю, что нахождение в кафе платное. После нашей предыдущей встречи организаторы внесли ряд правок и сделали нам небольшой сюрприз:
- Большому экрану – быть
- Микрофону – быть
И все участники встречи получают скидку!
( за 3 часа нахождения в антикафе вы заплатите 300 рублей, вместо 360)
(Скидка действует только на встрече нашего клуба, в остальное время сумма оплаты 100%)

Итак. О встрече:

Когда:  20 числа (в эту пятницу)
Время: 18-30 ч. (просьба  явиться всем хотя бы мин на 10 раньше)
Где: антикафе Clever club
Стоимость: бесплатно
Как добраться смотри на сайте  http://clever-c.com/ (Метро Октябрьская или Полянка)

Докладчики:

Алексей Пименов

Наталья Казакова

Андрей Мясников

Доклады:

Ослепленные чужой удачей 

Нам присуще искать легкие решения ведь мы всегда хотим готовых рецептов и это НОРМА.
Но слишком часто бывает так, что успех одних не становится успехом других. В итоге, под сомнения ставятся и подходы и методологии.
(Вспомним хотя бы чего стоит набор неудачных внедрений скрама!)
Давайте поговорим с вами о том, почему же готовые рецепты не работают?
И как вырабатывать в себе управленческие решения, которые принесут необходимый вам результат.

Ищем виноватого и побеждаем страхи 

Еще раз поговорим о…нет, не о самих конфликтах (об этом сказано уже достаточно и даже чуть больше), а об очень полезной практике, которую я называю «А что, если виноват именно я».
Как остановиться и допустить в свою голову эту «дикую» мысль.
Мы не пытаемся поставить себя на место разработчика/аналитика/кого_бы_то_ни_было, не пробуем понять его логику, не ищем подтверждения своей правоты в интернете. Наоборот, копаемся в себе, рассматриваем свое мнение с точки зрения настоящего тестировщика и ищем в нем баги.
А так же вспомним о том как, порой, наше неравнодушие становится нашим злейшим врагом.
Немного поднимем тему о способах обмануть свои защитные рефлексы и о том, как не жаловаться на других, при этом не умалчивая о возникающих трудностях.

Github Flow в вёб-разработке: больно и приятно

Давным давно я поделил для себя все доклады на две части.
1. Сферическая методология в вакууме
2. Смотрите как это реализовано у нас.
Я решил сделать свой доклад по второму варианту.
Учитывая формат встречи – доклад и затронутые темы будут довольно неформальными.
В своём докладе я познакомлю вас с одним из возможных способов ведения разработки и тестирования вёб-интерфейсов.
Покажу что такое git issues, расскажу о реализованной схеме деплоев и интеграционного тестирования.
Этот доклад – своеобразный отчет о проделанной работе.
Не обойдётся и без животрепещущих капитанских вопросов:
Как припеваючи жить без баг-трекера и зачем нужно дружить с проектировщиками? Преимущества обработки пулл-реквестов через L.I.F.O.?
Что такое L.I.F.O.?
Как избежать накопления реликтового фекалита из пулл-рекветов по методике “ПВО”?
CI руками тестера – зло или благо?
Нужно ли кормить программистов по ночам? Если да, то зачем?
Сисадмины-экстраверты – добро или зло?

Примернай тайминг встречи:

18:30 вступительное слово организаторов (и ждем опоздавших)
18:35 Доклад Алексея Пименова
19:05 вопросы
19:20 доклад Натальи Казаковой
20:35 вопросы
20:45 доклад Андрея Мясникова
21:15 вопросы
21:30 окончание встречи

(время указано примерное!)

После напряжения мозга, желающие могут остаться играть в игры, другие же могут пойти в  кафе/бар  для приятного окончания вечера в уютной ламповой  атмосфере за бокалом чего-то крепкого или за чашкой чая.

Ждем всех желающих делать этот мир качественней.
Регистрация на страничке в фейсбуке  (не является обязательной, но желательной)

Впечатления - Software Testing World Cup 2014 (Европа)

Вчера прошло соревнование на "Кубок тестировщика" , как мы его прозвали, а именно Software Testing World Cup 2014!

Наша небольшая, но крутая команда приняла в ней участие.





Банда

Назвались мы  - QAtro.
Ну хотя бы потому что нас 4, ну и сами понимаете.
Состав у нас скромный:
- нелюбитель английского языка -  я
- крутой Андрей Мясников
- суровый Алексей Виноградов
- и обаятельная Юля Малышева
Команда у нас интернациональная, - Германия, Украина и Россия. (Россию мы пытались поделить на 2 страны - страна Москва и страна Саратов ;) )

Подготовка

ч.1.
К вопросу мы подошли серьезно.
Сначала был софт букмекерской конторы, который мы тестировали с командой, которая с нами была в параллели. 
Мы выделяли себе ровно столько же времени, сколько будет отведено на соревновании, и разносили вдробадан все, что только успевали и видели. Попутно чуть не навернули Леше комп, на котором он развернул для тренировки редмайн.

ч.2 
После этого дела, мы разбились на 2 команды по 4 человека, и зарегистрировавшись, решили провести еще одну тренировку.
К этому времени мы получили волшебные письма с багтрекинговой системой, которая будет на соревновании.

И мы решили протестить еще что-то уже только нашей командой распределив роли.
Леша у нас был отвественным за тест-рипорт, ну а мы втроем за отдельные куски софта и багрепорты.
Перед тренировкой мы связались с Таней Писчасовой, у них соревнование должно было быть раньше нас (Азия) и мы хотели на примере сравнения протестированного сайта нашими двумя командами сравнить результаты, и понять свои слабые места, дабы подтянуть их.
Вобщем, нам это удалось, подкорректировав чуть чуть направление своих целей, для равновесия покрытия, мы начали тренировку.
И тут случилось ой, у Андрюхи дома произошло чп и их квартал остался без света. Мы продолжили тренировку втроем. Но в итоге справились. Правда не уложились во время на 30 минут. (Леша это время писал тест отчет)
Вобщем, если не рухнет метеорит - мы были готовы.



Отдельною строкой.
Ребята. Скажу вам честно, я повидала довольно много *** софта. И думала,  что хуже багтрекинга чем Джира и тимлаб (простите Стас и Оля) я в жизни не увижу. Как же я ошибалась!  
Когда я увидела этот  HP Agile Manager мне реально стало плохо. Нет, серьезно, вы не представляете, что это за адова колесница. Это жуть. 

Хватит одного того, что во время прохождения соревнования НАС ВЗЛОМАЛИ!!!

ч.3
 Узнали, что будут нужны мобильные устройства.
Андрюха насобирал девайсов с работы. 
Мы нахапили и пособирали все, что есть у себя и у друзей. Ноуты, планшеты, смартфоны, обычные ПК - и всем этим каждый обложился.
Написали в доку шаблон для оформления багов, ибо в  HP Agile Manager можно быть делать как хочешь. Договорились о основном функционале, прикинув какой он может быть, разделили его между собой. Написали заготовку тест-отчета. И много чего еще, о чем, пожалуй я умолчу.
А еще у  некоторых были мороженки, орешки, мишки, пиво, квас, кофе, для поддержки духа.

А еще мы накануне использовали пару систем для связи, чтоб понять, на какой нам удобней будет общаться. Ведь хоть мы и втроем находимся в Москве, мы находились в разных местах города, а Леша вообще в Германии. Поэтому попробовав счастья в рейдкеле, тимспике, в гугле и скайпе, выбор был остановлен всеже на последнем.

Т.к. я не очень знаю английский, попросила переводчицу мне помогать переводить багрепорты, дабы не отвлекалась основная команда на правку моих багрепортов.

Итак, мы были  готовы.

 Ожидания

Я ждала реально крутой софт, в котором будут "спрятаны" крутые баги, готовилась их выискивать, ковырять. Представлялось, что там будет много-много функциональностей, которые мы всей командой будем не успевать покрывать. А накануне пришло письмо о том, что упор в тестировании нужно делать на мобильных приложениях!
 Я прикинула, что будет еще мобильная версия или даже мобильное приложение, отдельное, которое надо будет успеть протестировать на разных девайсах, ОС, на разных экранах.
Решила, что все, трындец, мы точно будем не успевать, и надо будет расставлять ацкие приоритеты, идти на риски и пропускать какие-то куски сайта вообще.
Ночь прошла неспокойно.


Час пик  

Часа в 2 ночи (по мск) мы все кричали дружно, что идем спать, и завтра появимся часов в 7 вечера (соревнование в 8)... какой там. в 2 дня уже все были в сети, и периодически посматривал почту.
в 19-30 мск пришло заветное письмо.
Мы, конечно же, сразу открыли сайт.... я сначала решила, что попала не туда. Или что с нами реально пошутили и тут есть скрытые кнопочки функционала. 
Ребята были в таких же непонятках. Особенно, когда на видео в ютубе нам сказали еще и половину из того, что есть - не трогать, это в тестах не учтется.
Дальше у меня была немного истерика.  Я все соревнование ждала подвоха, что вот сейчас скажут, что письмо ошибочное, или что надо тестировать еще что-то. Но нет. 
То ли увы, то ли к счастью.

Вобщем, сайт был довольно несложный.
Помимо всего прочего - крики про мобильные девайсы показались нам шуткой, ибо открыв сайт и посмотрев код - мы поняли, что на самом деле никакой мобильной версии сайта нет. Это тот же сайт и ... разница в багах там будет весьма минимальна, поэтому  пошли на риски и отбросили кучу девайсов, оставив самые популярные.

Я испытала секундное разочарование, но затем ринулась во все тяжкие. Думая, что где-то есть подвох я таки отрыла парочку багов, которые были довольно интересные в том числе и кроссбраузерности. Юля впоймала еще довольно симпатичный баг. Потом я нашла багу которая ломала авторизацию к чертям, Андрюха жег исследования и багами в консольке. Леша пытался попасть в кнопочки сайта с айфончика. 

Сайт мы поделили на части. Мне достался Settings и Login, Андрею Accounts, Юля с Лешей тестировали непосредственное добавление Адресов, формирование и отправку отчетов и прочее.
Мы решили так : сначала каждый тестирует только свой кусок - пока не закончит или 2 часа. В том числе и на разных девайсах. Затем 1 час просматривает остальные куски функционала во всех девайсах.

Итогом нашей адской работы  стало 20+ багов.  
Из которых  3 critical, 9 high , 7 Medium, остальные low

Мы использовали для тестов:

• iPhone 5s, Safari (iOS 7.1.1)
• iPhone 4s, Safari (iOS 7.1.1)
• HTC One, 4.7“ (Androis 4.2.2)
• iPad 4, Safari (iOS 7.1.1) 
• Lenovo IdeaPad A3000 7“ (Android 4.3)
• Galaxy Tab 2, 7“ (Android 4.2.2)

Еще мы написали мега крутой тест-план (Леша - молодец), а Андрюха добавил баг с котиком.

Итог.

Всего было создано 3169 багов от 250 команд, которые участвовали в соревновании. (Прикидываете какая у нас конкуренция?)
И нам нужно занять 1 место.
Мы надеемя... нет, мы уверены, что победим.
Ведь даже если мы не займем 1 место - это все равно победа!

Ну а теперь мы ждем итогов. 

То ли мы сможем пожать друг -другу руку и отметить это все, через недельку и забыть. То ли мы через недельку будем праздновать и готовится к финалу кубка уже в Германии.

Держите за нас кулаки!

А/B тестирование... Как, кто и где?

Недавно пришлось столкнуться с таким видом тестирования как А/В.
Для тех, кто вдруг не в курсе, как и я была не так давно, определение из wiki : 

A/B-тестирование  (англ. A/B testing, Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта. 

Метод часто используется при оптимизации веб-страниц в соответствии с заданной целью. Тестируются 2 очень похожие страницы (страница А и страница В),которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/N Testing). Страницы А и В показываются пользователям поочерёдно в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определенного времени или при достижении определённого статистически значимого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. К числу компаний, использующих данный метод, относятся Amazon и Zynga.

 От себя могу сказать, что такой метод тестирования в основном используется в мобильных приложениях. И все, кто связан с тестированием этих девайсов, о таком тестировании наверняка знают и слышали.

Но когда  мне довелось с этим столкнуться на паре проектов - начались споры.
В одном данное тестирование проводил отдел маркетинга, в другом - отдел аналитики.
Причем, сложно их разделить между собой, так что скорее, они проводили его вместе.
И надо сказать - успешно.

Мне это показалось даже правильно.

Теперь же идет спор, что все, что имеет в слове корень "тест" относится к отделу тестирования.

ммм... я пока не определилась на какой стороне зла нахожусь я.  А вы?
О том, как создавать  лендинги и во сколько вам это обойдется, рассказывается неплохо вот в этой статье,  там же, в целом, и о опыте проведения этого тестирования.

У меня есть шкурный вопрос.
Кто проводил аналогичное тестирование в социальных сетях?
У кого есть опыт - поделитесь в комментариях.
Какие инструменты использовали ( цену, если не затруднит), сложности и , ну совсем в идеале, итог был положительный, или же все ушло к чертям?
Из социалочек особо волнует ВКонтакте.