вторник, 16 сентября 2014 г.

День тестировщика. Обещанные ответы на вопросы

9 сентября прошла онлайн-встреча качественных мира сего. Нас поздравили самые известные и грамотные тестировщики - Наташа Руколь и Алексей Баранцев.
Вела наш междусобойчик  не менее известная Татьяна Зинченко. 
Она же и открыла встречу своим докладом про тестирование безопасности.
А после мы слушали самого известного фрилансера Ирину Винокурову с докладом про тестирование мобилок.
Ну и для самых стойких доклад про тестирование игр рассказывала ваша покорная геймерша. Как я уже говорила, доклад очень схож с моим докладом на Agile days, но более раскрыт и обширен.  При записи видео немного обрезалось неправильно, поэтому кому нужно - вот тут лежат слайды к нему.

Я обещала ответить на все вопросы, которые были заданы.
Собственно, к этому и приступим.

Q: Пиште ли вы тест-кейсты перед тестирование игр или же ограничиваетесь чек-листом?

Ответ: тест -кейсы пишутся редко. Чек-листов обычно достаточно. По причине того, что тест-кейсы обычно требуются для заказчиков, у нас нет заказчика, поэтому мы обходимся чек-листом и майнд-картами.

Q: а когда нашли перекос - то как определить в чем проблема - шмот сильный или расса имбовая? и как и на сколько кого нерфить?

Ответ: раса сама по себе просто визуал. Вы, наверное, о классах.  Проверить очень просто - достаточно провести тест без экипировки, чтоб понять, в параметрах класса перекос или в экипировке. А на сколько и как - это уже не тестировщик считает, а геймдизайнер.

Q: все таки большие арены есть смысл тестировать. Компаниия CCP  этом походу пренебрегла. когда в одной системе встретились 4к кораблей. Серверы не выдерживают

Ответ: дело не в тестировании арены, а в тестировании нагрузки в вашем конкретном случае.
В нашей игре нахождение 4 к игроков на одном сервере технически невозможно. Переход на сервер ограничен количество людей, для комфортной игры. То, что компания ССР этим пренебрегла, яркий пример того, что так рисковать не стоит.
Но - подстраиваться и ориентироваться под свой продукт - очень важно. И если у вас на сервере должны участвовать 4к игроков - то тестировать нагрузку очень важно. А вот баланс в этом случае не проверить.

Q: всегда ли есть спеки?

Ответ: спеки есть не всегда. Зачастую их я же и пишу. Ведя вики. Спеки от гд есть всегда при создании нового контента, расы, класса.
Но общие параметры и значения имеются всегда. В каком-то виде.)

Q: как вы планируете время на тестироание?

Ответ: исходя из опыта. На квест Х требуется столько времени, квестов в игре всего столько-то штук, - значит на их тест потребуется сумарно ХХ времени. Предметов такого-то типа столько-то на тест 1 -  к примеру 10 минут, умножаем на количество. Таким образом поступаем со всем функционалом. Затем добавляем какое-то количество времени  на форс-мажоры, типа недоступного сервера или еще чего-то.

Q: твоя команда не идеальна?о_О

Ответ: команда не может быть идеальна, потому что все мы люди, а значит- ошибаемся. А раз ошибаемся, мы не идеальны. У меня замечательная команда, которой можно гордиться, но нам есть к чему стремится.

Q: Как часто у вас происходят релизы? Как долго на вашем проекте делается смок тест?

Ответ: крупные релизы 1 раз в месяц. И 4-6 менее масштабных. Т.е. раз в неделю стабильно, иногда 2.
Смок тест делают программисты и геймдизайнеры. Программистами перед передачей на тестирование, Геймдизайнеры после создания каждого куска конфигов. Т.е. создал предметы - зашел их проверил. 

Q: Переносите ли вы релизы, если много критически багов  в поставке?[

Ответ: решение о релизе принимает продюсер на основе предоставленной информации. Но если в билде есть критические баги, которые находятся на стадии фикса - то релиз переносится. Такое бывает редко, ибо у меня каждые билды разделены на части по критическому функционалу - поэтому критичные баги выявляются в первые дня два тестирования. Зачастую  просто не успеваем проверить какие-то части типа графики - анимаций-локализации  и риск о том, что там могут быть ошибки на себя берет продюсер уже.

Q: Делаете ли вы нагрузочное тестирование? Если да, то как?

Ответ: делаем. Либо запускаем на тестовый сервер реальных пользователей, и заставяем их "юзать все, что можете" ( это кстати их любимый тест), либо банальными запросами в базу.

Q: все-таки перефразирую вопрос свой про смерть) Итак: костюм НЕ спадает во время смерти. Как проверить смерть, если в бою этот костюм не применяется, то есть во время боя персонаж в другом костюме? Вот и как проверить, что костюм не спадет после смерти?

Ответ: костюм нельзя "одеть" в бою, но можно одеть до боя, и вступить в сражение в нем. После воскрешения проверить, что костюм остался. )

Q: а можно ссылки с презентации?

Ответ:   чек-лист 
статья о кроссбраузерности и кроссплатформенности
Про сайт журнала Tester's life - сайт реанимируют. Поправят в ближайшее время.

Дополнительно: ответы на вопросы о тестировании игр и не только в комментариях

Обсуждение доклада можно вести в данном топике, или же на форуме портала Software Testing.

вторник, 9 сентября 2014 г.

Нappy tester's day!




Вы ищете ошибки и огрехи
И радуетесь, если не нашли
И вас чужие радуют успехи:
Сумели, значит! Сделали!Смогли!

И труд ваш далеко других не проще:
Ведь главное -себя не потерять...

Позвольте вас поздравить, тестировщик!
Пусть будет вам всегда, что проверять!



 В честь сегодняшнего праздника, как вы уже наверняка знаете, пройдет онлайн встреча качественных мира сего.
Я также приму участие в баговом сумасшествии, расскажу про то, как мы тестируем игры.
Заранее прошу извинить меня тех, кто был/видел доклад с Аджайл конфы, ибо на 90% я повторю сегодня информацию, т.к. с подготовкой конференции SQA Days просто фатально не успеваю. Но новая информация будет! =)

Всем заранее чумовой пятницы!