Решила пойти по стопам популярной практики - отвечаю на вопросы о тестировании.В чем суть?
Вы задаете любые вопросы о тестировании и играх, которые вас интересуют - я стараюсь на них отвечать.
Куда писать?
Вопросы можно задавать прям в посте, или через форму связи (на емейл)
Когда будет ответ?
Зависит от обьема вопросов. Раз в сутки постараюсь точно отвечать.
Сроки?
Начиная с 1 апреля по 6 апреля включительно.
Денег не беру, в нос не бью, анонимность гарантирую (в случае необходимости)
Жду вопросов) Поехали.
15 комментариев :
Привет! Классная идея :)
1. Какие инструменты используете для автоматизации?
2. Сколько в среднем в день получается играть в те игры, которые разрабатываете?
3. Играете ли в другие игры в нерабочее время? Какие больше нравятся?
4. Какие есть задачи кроме собственно тестирования (кто, например, устанавливает и настраивает игру перед тестами?)
5. Какую документацию ведёте? Что прикладываете к описанию багов?
6. Какие типы багов попадаются чаще всего? Какие самые интересные баги?
7. Сколько сохранений держите в запасе? Или у вас есть чит коды чтобы попадать в нужную локацию/уровень?
8. Как тестируете полное прохождение игры?
9. Тестируете ли на пользователях? Как обрабатываете дефекты, полученные от пользователей? Что помогает воспроизвести такие дефекты?
10. Тестируете ли производительность и как?
6. Чаще всего ошибки в описаниях. Типа отсутствия сроков годности, или грамматические-орфографические ошибки.
Самые интересные... хм... Ну вот буквально вчера - игроку питомец не давал баф. Этот же питомец другому игроку баф давал. На персонаже никаких видимых бафов нет.
Беру проперти перса, накатываю себе - бафа нет. Беру из проперти айди пета - даю другому персу - баф есть. Чудес не бывает.
Смотрю группы бафов в проперти, все вроде бы ок. Бафы с текущего евента дня патрика, баф пета. Привлекаю гд.И тут оказывается, что при создании бафов для евента патрика, игроки которые были в игре на момент апдейта, каким -то чудом получили багу с двойной группой бафов, которые остались "невидимкой" и блочили персу баф. Пришлось всем править проперти. ) А так, в геймдеве интересные баги встречаются часто.Жаль, не все из них можно оглашать)
7. У нас читы, да. Бекапы есть, иногда откаты проводим. Но очень редко
8. Ну если нужно - то стараемся придерживаться максимальной реалистичности пользователя. Но пользуемся читами. Типа бешеного ускорения, прыжка в нужную точку к мобам, выбить 1 -2 предмета с моба, а остальные взять читом /купить за реал, и прочее.
Ботов не создаем (исключение социалки), чаще привлекаем пользователей на тестовый. Они проходят.
9. Да, на тестовом. Дефекты от пользователей идут в гугл док по гугл. форме, если они сомнительные - воспроизвожу сама, затем передаю на фиксы. Списком в ексельке/гугл доке. Помогает пониманию в основном опыт. Ты знаешь где такое реально может быть, а где это особенность тестового сервера, а где вообще фича.)
10. Тестировали на стадии бета. Нагрузка реальными пользователями, сбор аналитики, прогнозы, определили средне -комфортное количество пользователей на сервере, умножили на кол-во игроков которое имелось, добавили + 3 - сделали 4-5 копий локации (на отдельных серверах)
Сейчас в целом поступаем также - запускаем на тестовый Х пользователей и даем старт - игроки должны одновременно например отправлять запросы НПС -у для вызова квеста. Или начать вызывать кучу питомцев - бафов и прочих предметов с "тяжелой" анимацией. Смотрим скорость проявления отображения, анализируем, собираем, делаем выводы.
Ну и как я уже говорила, есть чит-предметы ускоряющие персонажа, смотрим на прогрузку графики обьектов и окружения при таком беге. И пр.
Второй вариант - запускаю нечто типа "автокликера" и заставляю его работать. В целом для сравнения результатов.
Так складывается, что опыта пары проектов хватает для того, чтоб при создании сл. проекта тестирование производительности можно было пропустить.
Из стрессов тестировали сохранение персонажа. Гасили комп, роняли сервера, банили перса, убивали интернет. Стандартный набор по сути.
По стабильности... мммм... смотрим на реальных пользователях, пожалуй. Сколько сервер будет работать без ребута, чтоб не отваливалась логика игры. Сначала этот же тест делается на тестовом, на котором тусят разработчики и тестировщики одновременно. Делаем прогнозы, потом на боевом тестим.
1. у нас нет автоматизации. Игра флеш в браузере автоматизировать себе дороже. Игра социальная в вк - там да, был бот, который проверял позитивное тестирование а-ля пробегал все квесты по сюжету. В браузере это сложно ибо у игрока слишком много отдельных заданий , ну и флеш с нашими количествами изменений апгрейдов в месяц автоматизировать слишком затратно. По крайней мере на данный момент.
2. играть или работать? просто играть - нисколько. Иногда "заигрываюсь" в процессе работы. Работаю над этим. =)
Новые люди, которые приходят на проект, играют по 2-4 часа в сутки в течении минимум 3 месяцев. Чаще это пол года. Мне немного проще, до работы в данной фирме я играла в этот проект 2 года. Поэтому надобности нет.
При создании новых проектов... ммм.. играю.. час в сутки примерно в течении месяца, пока игра не стабилизируется.
3. конечно. я сторонник MMORPG, если о тех, что нравятся. В остальные также играю но без фанатизма. Ну и играю конечно в "убивашки времени", новинки что выходят в стадии бета стараюсь отслеживать для общего понимания, что творится вокруг.
Последнее во что играла это ArchAge и Newerwinter. На мобилках - миньоны и ледниковый период, бегущая тень. В фейсбуке candy crash saga. Инди кот.
4. Это прерогатива отдела геймдизайна. Кроме тестирования - аналитика, техподдержка, генерируем идеи по созданию нового функционала от арт отдела до геймдизайна, ну и я по совместительству директор отдела мониторинга, так что тесно связана с техработами, перезапусками, наблюдениями за графиками, начислениями зарплат и прочее.)
5. Документация .. гугл доки, екселька. К описанию - скриншоты-видео. все как у всех)
Если что - уточняйте. Постаралась ответить как можно короче.)
Спасибо за вопросы) не ожидала правда, что они будут направлены строго на меня и наши проекты)
1. Где грань между тестированием на предмет багов и аналитикой проекта?
2. Какую работу вы проводите в команде, если в проекте не было найдено несколько критичных багов?
3. Как вы оцениваете полезность своей работы в деньгах перед потенциальным заказчиком?
4. Как убеждаете параноидального заказчика дать вам доступ к проекту?
5. Тестер который делает свое дело за зарплату и тестер которому нравится его работа во вред срокам - кого как правильно использовать в тестировании?
Прошу прощения, разумеется, день добрый и спасибо за внимание к вопросам.
Добрый день!
Буду благодарен, за напутствие начинающему тестеру, как устроиться на первую работу? Как Вы устраивались на первую работу? Судя по всем объявления работодателей, джуниорам идти не куда, все хотят спецов. Посоветуйте пожалуйста, если бы у Вас сейчас была необходимость получить работу для начинающего, по какому бы Вы пути пошли. опираясь на полученный опыт?
Привет. Спасибо за вопросы.)
по 1.
немного странно для меня звучит, отвечу как поняла, в идеале бы иметь конкретный от вас пример, конечно.)
Аналитика и тестирование это пропорционально разные вещи, как мне кажется.
Изучая, например, логи боя - вы делаете это с разной целью - это а) сбор статистики, (например - сколько в среднем раз за бой у игрока сработал крит. урон) б) что-то было не так (например - почему же за весь бой крит. урон не сработал?)
Если коротко - то аналитика отвечает на вопрос сколько, как, а тестирование на вопрос - что и почему.
2. А зачем ее проводить? Если вы не нашли багов в билде вообще - это не говорит о том, что ваша команда что-то не протестировала. Бывают билды без багов, а без критичных багов - тем более бывают. Другое дело, если вы не нашли багов, а пользователи - нашли.
Но даже в таком случае, я не сторонник "искать виноватого", главное - быстрей исправить, а сделать выводы по своей ошибке команда умеет сама. Если это будет повторяться - тогда будем применять меры. А до этого - все хорошо.)
3. По критериям.
Начинаем с " если мы не тестируем этот билд, то"
а) пользователи наткнутся на баги и :
1) вы потеряете лояльность
2) вы можете потерять платящих пользователей
3) вы можете потерять на этом много денег
Приводим пример с прошлого тестирования (если не на этом проекте, то с прошлой своей работы)
Например.
Вот баг, с клоном предметов. Когда игрок при выставлении предмета на аукцион, жал кнопку "обновить страницу" в итоге у него на аукционе было 2 предмета. Таким образом игрок получил лишние 80 золотых монет. Что является 40 рубинам (реальной валюты) Таких пользователей может быть Х умножаем на Х рубинов, конвертируем в доллары, получаем сумму убытков, которую вы понесете за месяц.
Хотя в целом, доказывать полезность работы тестировщика, это за гранью моего понимания. Особенно, если проект далек от идеальности. Тестировщик - человек, который дает информацию о качестве вашего продукта. Это как налоговая, которая нагрянула внезапно проверять вашу бухгалтерию, только с одним НО - в случае ошибки вы можете все безболезненно устранить, а не загреметь по статье Х на пару десятков лет.
4. Имеется в виду на продакшн? Или на тестовый сервер?
Если на продакшн - то статистикой. Всегда хорошо аргументировать статистикой. Например - приведите пример сколько багов вылезло на проде при апдейте. (интеграционное тестирование) + добейте фактами - что вы можете поломать максимально критичное - и что будет. Ну т.е. все это решается, например, мануалом - манки -бланки (как я называю) - это список того, куда не надо лезть лапками под страхом смертной казни. Например, если заюзать чит начисления реальной валюты может умереть сервак.Значит - мы никогда не начисляем себе читом валюту. И все.
Регламент - фореве.
5. Использовать по назначению.
Тестировщик который не любит (не заинтересован) в продукте, но тестирует - плохой тестировщик. Я таких не беру на работу. Если у тебя глаза не горят - встал и вышел. (хотя глаза могут гореть от зарплаты - тут срабатывает другое - НО, в порядке исключения, если тестировщик инициативен, делает свою работу хорошо, заинтересован в своем обучении - пусть работает. Почему нет. )
Я бы выбрала его, если тестировщик -фанатик делает работу хуже.
Если же, тестировщик -фанатик, влюблен в проект, работает хорошо, успевает все не хуже того, кто за зарплату - выберу его.
Хотя бы потому, что такие люди редки, и они создают в коллективе здоровую атмосферу. )
Вроде как ответила, но лучше задавать с примерами. Тогда ответы будут более полноценны )
Привет.
Я бы начала (как и когда-то) с самообучения.
Прочла бы книги, попыталась бы взять любой сайт и его протестировать (пусть на уровне пользователя). Просмотрела бы доклады (благо их огромная куча с той же sqadays), выписала бы для себя интересные моменты, по-возможности пошла бы на курсы -тренинги (большинство не дешевые, но наличие сертификата об окончании -может сыграть роль в особо рьяных к бюрократии компаний )
Далее бы искала по вакансиям.
Причем есть несколько правил:
1. для начала не смотрела бы на требования -опыт работы- смотрела бы на требования- что должен уметь- делала бы себе пометочки (что могу - что смогла бы- что не могу). Под эту вакансию бы писала резюме. И отсылала. Так со всеми вакансиями, которые бы видела.
2. Мотивация. Любой начальник не против халявы. Пытайтесь делать упор на том, что вы очень сильно хотите работать в их компании, (в идеале заготовьте пару идей по их продуктам и обязательно их озвучьте), и да, честно говорите, что опыта работы у вас нет, но вы знаете 1,2,3 ... умеете а,б,с... и готовы делать I, II, III...
3. Морально будьте готовы к ХХХ отказам.
4. Будьте готовы работать "за еду"
5. Не брезгуйте "удаленкой", "фрилансом" и прочим.
Постоянно "качайте" теоритическую и практическую часть
Посетите скайп чатик skype:?chat&blob=7vAxiprH812JqOPWVw8EfbtkoYSAZ5QRObZQmiC2XMj3nhfgj5zGiRftsaIo61zYUfbVZW96NUuVKg03mKkbGBkWwbZoULNhvvO0dvuEPL91T6KREnejRwkff3cOpcvJ7LCNXzQntS8vYfMYvvQKvT30MSsRLZZPHJJgvfrroeeMisLlPlnwlIrMSzPGSSqCt130KG0cMTRAzv7JUsPQiMXN7ChVbEXr9Iu1DOU
Зайдите на сайт dtf.ru
Посмотрите вакансии в яндексе, на jobs, на hh
Вакансии пишутся по правилу - проси все самое лучшее, получишь человека, который хотя бы готов к тому, чтоб с этим всем работать и к этому стремится.
Это не незыблемые истины поиска работы, но я бы пошла по этому пути.
Удачи вам!
Добрый день Рина!
Благодарю Вас за ответ, мне они очень ценны !!!!
Привет!
Заранее благодарю за ответы! ;)
1) Как вы тестируете игры под ios/android?
2) Как вы тестируете игры в социальных сетях и в каких сетях?
3) Как проводить тестирование безопасности игр?
4) Как тестировщику оценить полезность своей работы?
5) В чём отличие QA от тестирования? И в чём должна заключаться работа именно QA?
6) Какими навыками и знаниями должен обладать мидл и синьёр тестер?
7) Используете ли вы исследовательское тестирование? Если да, то расскажите как именно?
8) Какие вы сами используете инструменты и какие можете порекомендовать для тестировщика любого уровня?
9) Какие инструменты и знания должны быть у тест-менеджера? И как вы считаете в чём заключается работа тест-менеджера?
10) Как оптимизировать работу отдела тестирования? С чего начать и т.д.?
11) Какие тесты обязательно нужно включить в смоук тест для тестирования любой игры?
12) Будет ли ещё такая же возможность задать вам вопросы? ;)
P.S. У меня время по Киеву 6 апреля, 23:30, надеюсь я ещё успел . ;))))
9. Знания тестирования. В первую очередь. Умение оценивать задачи. Быть психологом. Надо уметь понимать, что у человека что-то произошло и эту задачу он сделает менее внимательно или дольше обычного. Уметь создать настроение в коллективе. Для этго на собеседовании подбирать не только специалистов, но и понимать как этот человек впишется в команду. Уметь прогнозировать и просчитывать сроки, стаивть задачи, мотивировать, вобщем быть и другом, и клевым чуваком и крутым начальником одновременно. тест- менеджер это тот чувак, который тебе прямо выскажет что ты сделал не так, где ты накосячил и при этом пойдет и скажет пм-у что ты офигенный тестировщик.
Инструменты в принципе входят в пул описанных выше. Ну еще можно добавить Ситечко, или какой-то инструмент построения графиков, если вы делаете отчеты для Заказчика и вам нужно это показать. Плюс - презентации. Как для заказчика, так и для обучения команды внутри компании. и пр.
10. Оптимизировать? А можно детальней, на примере? Что сейчас не так? Рассуждать о мнимой ситуации с виртуальными проблемами как -то не просто. Уйду дебри.
11.Вообще смоук выполняется самим программистом. Это наиболее критический пул тестов для выявления очевидных ошибок только что созданного функционала. Например, при создании /фиксе акции - зайти проверить что оно вообще есть. Для любой игры важно, чтоб программисты это понимали и выполняли. Если совсем кратко - то смоук это проверка наличия того, что хотя бы должно быть в таком или ином виде. Если это делают тестировщики - то минимальная проверка - это зайти проверить наличие данного функционала в игре при апдейте.
12. Такая - может быть. Другая тоже. Вообще, кому надо те всегда находят меня и задают вопросы) Без наличия постов.)
Надеюсь, ответы соответствуют вашим ожиданиям)
4. Просто. Если тестировщик отдал верную информацию о качестве продукта. Т.е. если вы сказали, что по каким-то причинам у нас остаются риски вот тут и вот тут и после апдейта там всплыли баги, все хорошо. Если вы не сказали и баги всплыли - все плохо. Тестировщик должен быть честным. Или все тестировать и допускать мелкие баги ( о чем сообщать пм-у) или тестировать критичный функционал и допускать риски(которые лучше заранее обговорить с пм-ом)
5.задача QC (Quality Control) это качество продуктов, или промежуточных и конечных результатов работы.
QA отвечает за качество процессов, которые в свою очередь применяются для создания артефактов (продуктов). ( правда в своем ответе я уравняла QA с QM (Quality Management) потому что такое разделение иерархие встречается не часто, чаще всего это либо позиция QA Lead, либо TM lead.
Детальней, что кто делает можно посмотреть вот тут в табличке http://manishrathi.com/2009/09/11/qa-tester-vs-qa-engineer-vs-qa-architect/
6. На эту тему также есть куча статей. Вот, например, одна из многих http://www.dataart.ru/blog/2013/02/junior-middle-senior-lead-etc-v-chem-raznitsa/
7. Я не знаю ни одного тестировщика, который бы его не использовал. Сама же, я фактичеки, всегда его использую. Давайте для начала разберемся в чем отличия исследовательского тестирования от сценарного и от тестирования методом свободного поиска?
Исследовательское - это вы берете функциона, пишите какую то часть тетс-кейса. Прходите ее, и на основе ее пишете следующую. и так последовательно проходите весь функционал.
Сценарное - подразумевает под собой, что вы берете функционал- пишите вагон тест-кейсов - а потом их все тестируете.
Свободный поиск - это вы не пишите тест-кейсов (максимум заменяете их чек-листами) и тестируете как душа ляжет. Внося или не внося это в чек-лист.
Надо сказать, что все эти 3 типа прекрасно уживаются вместе. Сценарное я использую редко, а вот 1 и 3 всегда на грани похожести друг с другом. Собственно, так и тестирую) Беру док от геймдизайнеров ( создание функционала), и делю на части - критическое ( для игроков- для проекта), основное, и некритичное. Дальше намечаю первый тест ( сейчас я проверю магазины - отображение- нахождение-стоимость-закрытость-наличие предметов которые должны быть - записываю в док - и иду тестирую. Дальше могу отвлечься на что-то другое , могу придумать еще пару тестов и дописать их и так далее.
Кстати, статья об исследовательском тестировании, которая сожа с моим пониманием http://habrahabr.ru/post/148479/
8. Святое и незыблемое - google dooks, excel, notepad++,
Сохранение паролей и ведение "заметок на полях" evernote,
Скриншоты , видео - выложить , закрыть паролем - clip2net, обработка скриншотов , работа с сзданием нового идеального интерфейса или с целью показать, как это сделать наглядно -
FastStone Imige Viewer,
Ведение багов readmine,
описание функционала media wiki,
Ведение и учет задач или readmine или teamviever, или devprom,
Для тестирования я использую Mozilla, поэтому в ней стоит ряд дополнений - firebug, FlashFirebug, FireShot ,Google Translator for Firefox
вроде все из того, что использую либо последние пол года, либо постоянно.
А ну еще в телефоне стоит ряд программ для ведения задач, напоминаний. Чаще это встроенные заранее.
Привет.
1. Скажу сразу -тестирование игр на мобильных у меня довольно мелкий опыт. Главные части тестирования - это кроссплатформенность и юзабилити. + функциональность.
Тестирование игр на мбильных устройствах практически ничем не отличается от любых других (как по мне), функционал - тип игры - их тысячи и вне мобильных. Самое сложное и неудобное - это кроссплатформенность. Куча девайсов, функции поворота экрана, размеры-расположение кнопок, сжирание батареи, наличие интернета - вот основные части в мобилках.
Монетизации, балансы, и прочее тестируются как везде и всегда.
2. Социальные игры. Ну я в принципе рассказала большую часть на докладе http://vimeo.com/41518095 Будут вопросы конкретней, спрашивайте.)
3. Тестирование безопасности игр это отдельная история и каждый вид игры (отличия по платформе) имеет свои особенности. В моей практике тестирование безпасности осуществлялось серверным программистом, сисадмином и мной в одной команде. Привести наглядный пример, не могу, на то она и безопасность, но вот о безопасности есть хорошая статья тут http://www.protesting.ru/testing/types/security.html и если ее изучить, можно понять что необходимо тестировать. Могу сказать, что нужно много допускать рисков. Например, в одной из игр, у нас "хакеры" могут до сих пор взламывать аккаунты юзеров (но - взламывается электронная почта, а не аккаунт у нас на сайте ), или у нас умудряются заюзать автокликкер (правда мы найдем и забаним), умудряются войти с двух окон (тоже найдем забаним), или пишут код, который им ввизуально в клиенте "рисует" какие-либо достижения. Этим хвастаются а-ля какой я крутой, или пытаются выманить у вас лог-пароль, типа тебе сделаем также. И прочее. Это вот вы никак не протестируете ( что пользователь сам не даст данные своего персонажа, его взломают и потом начнется крик). А к серверам и прочему за 7 лет пока никто добраться не смог. тьфу-тьфу тьфу
Пожалуйста. Рада, если что-то поможет)
Отправить комментарий