Впечатления - Software Testing World Cup 2014 (Европа)

Вчера прошло соревнование на "Кубок тестировщика" , как мы его прозвали, а именно Software Testing World Cup 2014!

Наша небольшая, но крутая команда приняла в ней участие.





Банда

Назвались мы  - QAtro.
Ну хотя бы потому что нас 4, ну и сами понимаете.
Состав у нас скромный:
- нелюбитель английского языка -  я
- крутой Андрей Мясников
- суровый Алексей Виноградов
- и обаятельная Юля Малышева
Команда у нас интернациональная, - Германия, Украина и Россия. (Россию мы пытались поделить на 2 страны - страна Москва и страна Саратов ;) )

Подготовка

ч.1.
К вопросу мы подошли серьезно.
Сначала был софт букмекерской конторы, который мы тестировали с командой, которая с нами была в параллели. 
Мы выделяли себе ровно столько же времени, сколько будет отведено на соревновании, и разносили вдробадан все, что только успевали и видели. Попутно чуть не навернули Леше комп, на котором он развернул для тренировки редмайн.

ч.2 
После этого дела, мы разбились на 2 команды по 4 человека, и зарегистрировавшись, решили провести еще одну тренировку.
К этому времени мы получили волшебные письма с багтрекинговой системой, которая будет на соревновании.

И мы решили протестить еще что-то уже только нашей командой распределив роли.
Леша у нас был отвественным за тест-рипорт, ну а мы втроем за отдельные куски софта и багрепорты.
Перед тренировкой мы связались с Таней Писчасовой, у них соревнование должно было быть раньше нас (Азия) и мы хотели на примере сравнения протестированного сайта нашими двумя командами сравнить результаты, и понять свои слабые места, дабы подтянуть их.
Вобщем, нам это удалось, подкорректировав чуть чуть направление своих целей, для равновесия покрытия, мы начали тренировку.
И тут случилось ой, у Андрюхи дома произошло чп и их квартал остался без света. Мы продолжили тренировку втроем. Но в итоге справились. Правда не уложились во время на 30 минут. (Леша это время писал тест отчет)
Вобщем, если не рухнет метеорит - мы были готовы.



Отдельною строкой.
Ребята. Скажу вам честно, я повидала довольно много *** софта. И думала,  что хуже багтрекинга чем Джира и тимлаб (простите Стас и Оля) я в жизни не увижу. Как же я ошибалась!  
Когда я увидела этот  HP Agile Manager мне реально стало плохо. Нет, серьезно, вы не представляете, что это за адова колесница. Это жуть. 

Хватит одного того, что во время прохождения соревнования НАС ВЗЛОМАЛИ!!!

ч.3
 Узнали, что будут нужны мобильные устройства.
Андрюха насобирал девайсов с работы. 
Мы нахапили и пособирали все, что есть у себя и у друзей. Ноуты, планшеты, смартфоны, обычные ПК - и всем этим каждый обложился.
Написали в доку шаблон для оформления багов, ибо в  HP Agile Manager можно быть делать как хочешь. Договорились о основном функционале, прикинув какой он может быть, разделили его между собой. Написали заготовку тест-отчета. И много чего еще, о чем, пожалуй я умолчу.
А еще у  некоторых были мороженки, орешки, мишки, пиво, квас, кофе, для поддержки духа.

А еще мы накануне использовали пару систем для связи, чтоб понять, на какой нам удобней будет общаться. Ведь хоть мы и втроем находимся в Москве, мы находились в разных местах города, а Леша вообще в Германии. Поэтому попробовав счастья в рейдкеле, тимспике, в гугле и скайпе, выбор был остановлен всеже на последнем.

Т.к. я не очень знаю английский, попросила переводчицу мне помогать переводить багрепорты, дабы не отвлекалась основная команда на правку моих багрепортов.

Итак, мы были  готовы.

 Ожидания

Я ждала реально крутой софт, в котором будут "спрятаны" крутые баги, готовилась их выискивать, ковырять. Представлялось, что там будет много-много функциональностей, которые мы всей командой будем не успевать покрывать. А накануне пришло письмо о том, что упор в тестировании нужно делать на мобильных приложениях!
 Я прикинула, что будет еще мобильная версия или даже мобильное приложение, отдельное, которое надо будет успеть протестировать на разных девайсах, ОС, на разных экранах.
Решила, что все, трындец, мы точно будем не успевать, и надо будет расставлять ацкие приоритеты, идти на риски и пропускать какие-то куски сайта вообще.
Ночь прошла неспокойно.


Час пик  

Часа в 2 ночи (по мск) мы все кричали дружно, что идем спать, и завтра появимся часов в 7 вечера (соревнование в 8)... какой там. в 2 дня уже все были в сети, и периодически посматривал почту.
в 19-30 мск пришло заветное письмо.
Мы, конечно же, сразу открыли сайт.... я сначала решила, что попала не туда. Или что с нами реально пошутили и тут есть скрытые кнопочки функционала. 
Ребята были в таких же непонятках. Особенно, когда на видео в ютубе нам сказали еще и половину из того, что есть - не трогать, это в тестах не учтется.
Дальше у меня была немного истерика.  Я все соревнование ждала подвоха, что вот сейчас скажут, что письмо ошибочное, или что надо тестировать еще что-то. Но нет. 
То ли увы, то ли к счастью.

Вобщем, сайт был довольно несложный.
Помимо всего прочего - крики про мобильные девайсы показались нам шуткой, ибо открыв сайт и посмотрев код - мы поняли, что на самом деле никакой мобильной версии сайта нет. Это тот же сайт и ... разница в багах там будет весьма минимальна, поэтому  пошли на риски и отбросили кучу девайсов, оставив самые популярные.

Я испытала секундное разочарование, но затем ринулась во все тяжкие. Думая, что где-то есть подвох я таки отрыла парочку багов, которые были довольно интересные в том числе и кроссбраузерности. Юля впоймала еще довольно симпатичный баг. Потом я нашла багу которая ломала авторизацию к чертям, Андрюха жег исследования и багами в консольке. Леша пытался попасть в кнопочки сайта с айфончика. 

Сайт мы поделили на части. Мне достался Settings и Login, Андрею Accounts, Юля с Лешей тестировали непосредственное добавление Адресов, формирование и отправку отчетов и прочее.
Мы решили так : сначала каждый тестирует только свой кусок - пока не закончит или 2 часа. В том числе и на разных девайсах. Затем 1 час просматривает остальные куски функционала во всех девайсах.

Итогом нашей адской работы  стало 20+ багов.  
Из которых  3 critical, 9 high , 7 Medium, остальные low

Мы использовали для тестов:

• iPhone 5s, Safari (iOS 7.1.1)
• iPhone 4s, Safari (iOS 7.1.1)
• HTC One, 4.7“ (Androis 4.2.2)
• iPad 4, Safari (iOS 7.1.1) 
• Lenovo IdeaPad A3000 7“ (Android 4.3)
• Galaxy Tab 2, 7“ (Android 4.2.2)

Еще мы написали мега крутой тест-план (Леша - молодец), а Андрюха добавил баг с котиком.

Итог.

Всего было создано 3169 багов от 250 команд, которые участвовали в соревновании. (Прикидываете какая у нас конкуренция?)
И нам нужно занять 1 место.
Мы надеемя... нет, мы уверены, что победим.
Ведь даже если мы не займем 1 место - это все равно победа!

Ну а теперь мы ждем итогов. 

То ли мы сможем пожать друг -другу руку и отметить это все, через недельку и забыть. То ли мы через недельку будем праздновать и готовится к финалу кубка уже в Германии.

Держите за нас кулаки!