Вела наш междусобойчик не менее известная Татьяна Зинченко.
Она же и открыла встречу своим докладом про тестирование безопасности.
А после мы слушали самого известного фрилансера Ирину Винокурову с докладом про тестирование мобилок.
Ну и для самых стойких доклад про тестирование игр рассказывала ваша покорная геймерша. Как я уже говорила, доклад очень схож с моим докладом на Agile days, но более раскрыт и обширен. При записи видео немного обрезалось неправильно, поэтому кому нужно - вот тут лежат слайды к нему.
Собственно, к этому и приступим.
Q: Пиште ли вы тест-кейсты перед тестирование игр или же ограничиваетесь чек-листом?
Ответ: тест -кейсы пишутся редко. Чек-листов обычно достаточно. По причине того, что тест-кейсы обычно требуются для заказчиков, у нас нет заказчика, поэтому мы обходимся чек-листом и майнд-картами.
Q: а когда нашли перекос - то как определить в чем проблема - шмот сильный или расса имбовая? и как и на сколько кого нерфить?
Ответ: раса сама по себе просто визуал. Вы, наверное, о классах. Проверить очень просто - достаточно провести тест без экипировки, чтоб понять, в параметрах класса перекос или в экипировке. А на сколько и как - это уже не тестировщик считает, а геймдизайнер.
Q: все таки большие арены есть смысл тестировать. Компаниия CCP этом походу пренебрегла. когда в одной системе встретились 4к кораблей. Серверы не выдерживают
Ответ: дело не в тестировании арены, а в тестировании нагрузки в вашем конкретном случае.
В нашей игре нахождение 4 к игроков на одном сервере технически невозможно. Переход на сервер ограничен количество людей, для комфортной игры. То, что компания ССР этим пренебрегла, яркий пример того, что так рисковать не стоит.
Но - подстраиваться и ориентироваться под свой продукт - очень важно. И если у вас на сервере должны участвовать 4к игроков - то тестировать нагрузку очень важно. А вот баланс в этом случае не проверить.
Q: всегда ли есть спеки?
Ответ: спеки есть не всегда. Зачастую их я же и пишу. Ведя вики. Спеки от гд есть всегда при создании нового контента, расы, класса.
Но общие параметры и значения имеются всегда. В каком-то виде.)
Q: как вы планируете время на тестироание?
Ответ: исходя из опыта. На квест Х требуется столько времени, квестов в игре всего столько-то штук, - значит на их тест потребуется сумарно ХХ времени. Предметов такого-то типа столько-то на тест 1 - к примеру 10 минут, умножаем на количество. Таким образом поступаем со всем функционалом. Затем добавляем какое-то количество времени на форс-мажоры, типа недоступного сервера или еще чего-то.
Q: твоя команда не идеальна?о_О
Ответ: команда не может быть идеальна, потому что все мы люди, а значит- ошибаемся. А раз ошибаемся, мы не идеальны. У меня замечательная команда, которой можно гордиться, но нам есть к чему стремится.
Q: Как часто у вас происходят релизы? Как долго на вашем проекте делается смок тест?
Ответ: крупные релизы 1 раз в месяц. И 4-6 менее масштабных. Т.е. раз в неделю стабильно, иногда 2.
Смок тест делают программисты и геймдизайнеры. Программистами перед передачей на тестирование, Геймдизайнеры после создания каждого куска конфигов. Т.е. создал предметы - зашел их проверил.
Q: Переносите ли вы релизы, если много критически багов в поставке?[
Ответ: решение о релизе принимает продюсер на основе предоставленной информации. Но если в билде есть критические баги, которые находятся на стадии фикса - то релиз переносится. Такое бывает редко, ибо у меня каждые билды разделены на части по критическому функционалу - поэтому критичные баги выявляются в первые дня два тестирования. Зачастую просто не успеваем проверить какие-то части типа графики - анимаций-локализации и риск о том, что там могут быть ошибки на себя берет продюсер уже.
Q: Делаете ли вы нагрузочное тестирование? Если да, то как?
Ответ: делаем. Либо запускаем на тестовый сервер реальных пользователей, и заставяем их "юзать все, что можете" ( это кстати их любимый тест), либо банальными запросами в базу.
Q: все-таки перефразирую вопрос свой про смерть) Итак: костюм НЕ спадает во время смерти. Как проверить смерть, если в бою этот костюм не применяется, то есть во время боя персонаж в другом костюме? Вот и как проверить, что костюм не спадет после смерти?
Ответ: костюм нельзя "одеть" в бою, но можно одеть до боя, и вступить в сражение в нем. После воскрешения проверить, что костюм остался. )
Q: а можно ссылки с презентации?
Ответ: чек-лист
статья о кроссбраузерности и кроссплатформенности
Про сайт журнала Tester's life - сайт реанимируют. Поправят в ближайшее время.
Дополнительно: ответы на вопросы о тестировании игр и не только в комментариях
Обсуждение доклада можно вести в данном топике, или же на форуме портала Software Testing.
