что можно тестировать в играх
Тестирование игр 101: основные советы и стратегии
Этапы основного процесса тестирования игр
Чтобы успешно выявить ошибки в игре, тестировщики выполняют несколько основных шагов.
Планирование и разработка теста. Это первый шаг в процессе тестирования игры.
СОВЕТ: для завершения этого шага вы можете помочь себе такими вопросами, как: Что изменилось в спецификации дизайна с момента последней сборки? Какие новые конфигурации будет поддерживать игра? Какие дополнительные тестовые случаи были добавлены? Какие функции были сокращены?
Подготовьтесь к тестированию. Владельцы или издатели игры подготавливают документы и тестовые среды, необходимые тестировщикам, чтобы можно было начать проверку игры.
Проведите тестирование. Наборы тестов запускаются с новой сборкой. Если обнаружена ошибка, проведите как можно больше тестов в ее окружении, чтобы узнать про все детали, которые потом будут занесены в отчет.
Сообщить о результатах. На этом этапе составляется отчет со всеми найденными ошибками и недочетами.
Исправление ошибки. Найденная ошибка обсуждается всей командой тестирования вместе с командой разработчиков игры, и находится правильное решение.
Вернитесь к шагу 1 и проведите повторное тестирование.
СОВЕТ: Чтобы процесс тестирования игры прошел легко и с успешным результатом, действуйте следующим образом: делайте записи, не спешите, следуйте процедуре, всегда проверяйте правильность тестируемой версии и не отвлекайтесь от игры.
Планирование стратегии
Как и любой другой этап процесса разработки игры, тестирование требует определенного планирования, чтобы полученные результаты оказались наилучшими. Роль стратегического планирования заключается в определении вероятных проблем в процессе тестирования игры и возможных сценариев борьбы с ними, чтобы положительные результаты были получены как можно легче. Кроме того, на этапе планирования стратегии тестирования игр определяются роли членов команды, инструменты и документация, которые будут использоваться.
СОВЕТ: Для того чтобы результаты были как можно лучше, постарайтесь сделать планирование более подробным и тщательным, насколько это возможно.
Методы и стратегии тестирования игр
Процесс тестирования игр может осуществляться несколькими способами, и эти методы можно назвать стратегиями. Наиболее распространенными стратегиями, используемыми тестировщиками игр, являются:
1. Ad-Hoc тестирование
» Ad-hoc тестирование очень важно для тех типов игр, которые выпускает Obsidian. Я заметил, что использование планов тестирования и контрольных списков позволяет выявить очевидные ошибки на поверхности игры, но самые отвратительные ошибки, похоже, обнаруживаются во время ad-hoc сессий«. Брэндон Адлер (Ведущий тестировщик (QA Lead), Obsidian Entertainment)
2. Тестирование функциональности
Роль этой методики заключается в том, чтобы показать, работает ли финальная игра в соответствии с первоначальными спецификациями. Как правило, отслеживаются общие ошибки графики и пользовательского интерфейса, звук или механические проблемы. На этом этапе не принимается во внимание, увлекательна игра или нет, а делается акцент на основных элементах, которые должны быть функциональными.
Пример ошибки в видеоигре.
3. Тестирование на совместимость
Этот метод тестирования игр показывает, оптимизирована ли игра для всех различных размеров экрана, а также соответствует ли конечный продукт основным требованиям программного обеспечения, аппаратного обеспечения и графики.
4. Прогрессионое тестирование (Тест на прохождение)
При использовании этой техники стараются дойти до конца игры без каких-либо перерывов. Тестировщики игр ищут сбои и зависания во время линейного прохождения игры. Примерно в 99% случаев перерывы в проходке вызваны проблемами со сценариями. Оставшийся 1% вызван особенно неприятными местами, где можно застрять.
5. Регрессионное тестирование
Для эффективного тестирования игр сотрудничайте с лучшими профессионалами
Если вы хотите, чтобы тестирование вашей видеоигры было действительно эффективным, сотрудничайте с настоящими профессионалами в этой области. Имея более чем 10-летний опыт работы в индустрии видеоигр, Starloop Studios предоставляет услуги по QA-тестированию мультиплатформенных игр во время создания прототипов, разработки, мягкого запуска и после выпуска. Очень важно убедиться, что ваша игра максимально очищена от ошибок перед запуском, поэтому если вам нужны услуги QA-тестирования, превосходящие все ожидания, смело обращайтесь к нам.
Перевод статьи подготовлен в преддверии старта курса «Game QA Engineer».
Тестирование игр
Мобильная игра
Для начала разобьем любую игру на 4 основных составных части:
Жанры и механики
Благодаря условному разбиению на 4 основных составляющих любой игры (геймплей, управление, графика и производительность) появились устоявшиеся на данный момент жанры. Каждый из них отличается смещенным балансом к определенному составляющему. Кто-то делает упор на глубокий геймплей, кто-то старается сделать простую игру с посредственной графикой, но отличным управлением. А некоторые пытаются вытянуть все 4 составляющих равномерно.
На данный момент могу выделить следующие жанры мобильных игр:
Соответственно существуют особенные механики, которые могут использоваться в мобильных играх:
Touch / Swipe / Multi Touch – основные механики управления на мобильных устройствах, которые приводят к похожим простейшим механикам с ПК индустрии (click, drag and drop). Чаще всего данные механики встречаются в настольных играх, в некоторых адаптированных RPG, аркадах, Match 3 и Hidden object.
Виртуальные геймпады – данная механика управления в корне отличается от механики обычного геймпада, с которой можно познакомиться на консолях или ПК. Поскольку она создается из отдельных активных элементов, с огромной вероятностью механика может конфликтовать с другими элементами интерфейса. Кроме того, в большинстве реализаций виртуальные геймпады имеют широкую кастомизацию, что может только увеличить риски создания дефекта. Данная механика универсальна и может быть применена в таких жанрах как RPG, Adventure, Аркады, Гонки, Платформеры.
Механики, основанные на гироскопическом датчике. Реализациями могут быть как и обычный автоповорот, который влияет на расположение элементов интерфейса, так и полноценная механика помощи прицеливания в некоторых шутерах.
Специфика тестирования мобильных игр
Для тестирования любого продукта на мобильной платформе можно выделить следующие особенности:
Первая особенность мобильных платформ – размер экрана.
Если у iOS есть четкая тенденция у увеличению экрана с сохранением отличного качества картинки, то у Android мы имеем огромный разброс как по диагоналям экрана, так и по разрешениям.
iPhone последних поколений обзавелись системной шторкой, которая зачастую перекрывает важные UI элементы.Когда решится проблема с версткой UI игры, поднимается вопрос поддержки планшетов. И здесь нас снова радует Android, который так же имеет огромные палитры из всевозможных планшетов. Немалая часть тестирования отдается именно на проверку корректного отображения UI и самой игры на различных экранах и разрешениях.
Вторая особенность мобильных игр – инпуты или способ взаимодействия с игрой.
Если консольные и ПК игры имеют специально выделенные устройства ввода, вроде геймпада или клавиатуры, то мобильные устройства используют тапы, свайпы и мультитач. Изначально управление строится на тапах на интерактивные элементы. Затем управление усложняется поддержкой свайпов для переключения по экранам UI. Ну и затем подтягивается поддержка MultiTouch для одновременного нажатия на различные элементы экрана.
Третья особенность мобильных игр – поддержка прерываний.
Для каждого мобильного продукта характерна поддержка целой системы прерываний. Входящий звонок, пуш уведомление, входящая смс, сигнал о низком заряде батареи, сворот/разворот и так далее. Игра должна корректно вести себя во время таких прерываний, не сбрасывать прогресс игрока и позволять ему вернуться в любой момент.
Четвертая особенность мобильных игр – способ связи с интернет.
Пользователь априори не может всегда быть онлайн. Мобильность подразумевает, что игрок может находиться где угодно: в метро, в лесу, дома с WiFi, на прогулке с 4g. Поэтому игры должны корректно вести себя при переключении между основными состояниями связи: мобильная связь (2-3-4g, пугающая многих скорость Е), WiFi, отключение связи (режим полета, потеря сигнала). Часть геймплея должна позволять играть в игру и без интернета, чтобы позже загрузить свой прогресс при восстановлении сигнала. При нестабильном подключении можно выдавать сообщения о качестве соединения.Нестабильное подключение или слабый сигнал приводит к разномастным багам:- “телепортации” модели игрока в командных шутерах. Игрок со слабым интернетом реже отдает пакетные данные и остальные получают лишь промежуточные данные о его перемещениях по системе координат- высокий ping, что делает невозможным нормальную игру в играх на реакцию и сетевой составляющей- потеря прогресса игрока
Пятая особенность – производительность. Один из самых важных параметров для любой игры. Игроку не будет нравиться, если на его любимом телефоне игра будет тормозить и выглядеть как слайд-шоу вместо нормальной плавной картинки. При поддержке слабых девайсов разработчики стараются занижать размер текстур, чтобы игра могла корректно работать на минимальных 30 fps.
Тестировщикам необходимо условно разделять таргет-девайсы для своей игры:
минимальная планка, самые слабые девайсы. На них по умолчанию выставляется самое низкое разрешение текстур и количество кадров в секунду не должно падать ниже 30
Требования к тестированию мобильных игр
Тестовое устройство должно быть нужной версии ОС для проверки на разных операционных системах. Особенно это касается Android устройств, которые допускают установки всевозможных прошивок.
Начать тестирование стоит с проверки установки билда и его корректного запуска. Проверяются основные экрана игры: загрузочный экран, наличие всех основных иконок и UI. Загрузка стартовой или главной сцены.
Далее проверяется основной (core) геймплей. Для этого помощником служит заранее составленный чек-лист всех проверок по геймплей.
Проверяется работа всех игровых механик, которые так же занесены в чек-листы.
Проверяются общемобильные кейсы: работа с прерываниями, сворот/разворот на основных экранах, работа с системными кнопками.
Отдельным пунктом всегда идет проверка работы с соединением. Отключение интернета, имитация плохого соединения (throttling), активное переключение между режимами мобильной связи и wifi.
Тестирование игр: лучшие практики и новые тренды
Тестирование игр — неотъемлемая часть процесса разработки видеоигр. Этап тестирования включает в себя выявление ошибок и предоставление игрокам возможных путей реакции на игру. При создании видеоигр процесс тестирования может присутствовать как во время прототипирования, разработки и софтланча, так и после релиза. Роль тестирования игры заключается в анализе, выявлении, документировании и исправлении всех дефектов программного обеспечения, которые могут негативно повлиять на конечный игровой опыт. Это фактор, который определяет, сможет ли ваша игра стать успешной, что напрямую зависит от опыта ваших игроков.
Типы тестирования игр
1. Комбинаторное тестирование
Этот тип тестирования игр помогает повысить эффективность приложений и выполнения тестов, предполагая, что степень обнаружение ошибок повышается посредством перебора комбинаций различных параметров. Этот метод тестирования выделяет уникальные атрибуты и старается охватить все возможные комбинации параметров.
2. Функциональное тестирование
Этот метод направлен на решение проблем, связанных с игровым контентом и графикой, и его цель — подтвердить, соответствует ли получившаяся игра исходным спецификациям. Функциональное тестирование — это сложный этап, требующий времени для выявления проблем с графикой, аудиовизуальными проблемами и т. д.
3. Произвольное (специальное) тестирование
Для этого метода тестирования игры не требуется какой-либо изначальной документации или процесса планирования — оно выполняется чисто интуитивным образом. Целью специального тестирования является обеспечение полноты тестирования и обнаружение неочевидных ошибок или багов.
4. Тестирование совместимости
Это когда вы хотите, например, проверить, оптимизирован ли пользовательский интерфейс для различных размеров экранов различных устройств, таких как мобильные телефоны, ПК и консоли. Также с помощью данной методики проверяется совместимость игры на тех же самых разных игровых платформах. Своевременное обнаружение и устранение неполадок графики, программного обеспечения или оборудования делает пользователя удовлетворенным вашим продуктом благодаря хорошему игровому процессу.
5. Регрессионное тестирование
Этот метод тестирования игр можно охарактеризовать как повторное тестирование функциональности игровых фич. Регрессионным тестированием проверяется, не появились ли после новых изменений игры баги или ошибки в старых, уже проверенных компонентах. Таким образом, качество игры поддерживается на высоком уровне.
Несколько советов по тестированию игр
На всех трех этапах тестирования игры (планирование, выполнение и результаты) порой возникают различные проблемы, и разработчики игры могут быть не до конца уверены, что им делать — останавливать игровой процесс или продолжать тестирование.
Не пренебрегайте стратегией тестирования. Чтобы избежать проблемы, описанной выше, и сделать свою игру намного качественнее, вам необходимо подготовить стратегию тестирования игры, которая должна содержать такие элементы, как временная шкала, тестировщики, количество циклов тестирования, типы проводимого тестирования, анализ тестирования на основе рисков, соглашения об уровне обслуживания, процесс регистрации дефектов и процесс отчетности. Полноценная стратегия увеличивает шансы на то, что тестирование вашей игры будет максимально эффективным.
Продумывайте и выполняйте тест-кейсы. Чтобы обнаружить как можно больше ошибок и багов, вы должны создавать как положительные, так и отрицательные тест-кейсы. Разрабатывать тест-кейсы максимально эффективно вам могут помочь такие методы, как тестирование критического пути, тестирование пути к исключениям и традиционные методы тестирования черного ящика. Чтобы выявить больше дефектов, тест-кейсы игры должны выполняться в идентифицируемых средах с разными конфигурациями программного и аппаратного обеспечения.
Запись результатов тестирования. Подробная запись тестов может помочь лучше понять обнаруженные дефекты и более эффективно их анализировать. Результаты тестирования могут быть записаны посредством скриншотов или видео.
Новые тренды в тестировании игр
Совершенная игровая функциональность. Любая ошибка в игре может негативно сказаться на пользователях. Некоторые из наиболее распространенных дефектов, которые обнаруживают тестеры игр, — это блокирование прогресса, зависание игры и системные краши. Безупречная функциональность — это один из важных технических аспектов, который отличает посредственную игру от популярной.
Удобный интерфейс. Если вы хорошо знаете свою целевую аудиторию, найти удобные для пользователя способы взаимодействия будет намного проще. Навигация в игре должна быть интуитивно понятной, но в то же время она должна предлагать игроку различные эмоциональные переживания и сохранять его интерес как можно дольше.
Многопользовательская производительность. Очень важный аспект, который необходимо проверить и учесть во время игровых тестов, — это многопользовательская производительность. Определяющей фичей этого типа игр является множество игроков, которые присутствуют в игре и взаимодействуют в режиме реального времени. Здесь необходимо уделить особое внимание скорости загрузки во время игры и другими рисками, которые могут помешать игровому опыту.
Почему большинство разработчиков игр предпочитают делегировать тестирование игр сторонней компании, предоставляющей услуги по тестированию?
Аутсорсинг процесса тестирования игр стал очень востребованным решением в отрасли из-за опыта, который предлагает сторонняя компания по производству видеоигр, а также благодаря имеющимся у них технологиям тестирования.
Все больше и больше компаний выбирают этот вариант, потому что он экономит им много ресурсов, таких как время и деньги. Таким образом, больше нет необходимости создавать внутреннюю команду для тестирования игр, что избавляет от дополнительных затрат на инфраструктуру и позволяет сосредоточиться на других процессах разработки видеоигр.
Приглашаем всех желающих на бесплатный двухдневный интенсив «Теория тестирования игр. Практикуемся в Unity 3D и на эмуляторах». Узнать подробности и зарегистрироваться можно здесь.
Как тестировать мобильные игры: на что обратить внимание, если вы это никогда не делали
Всем привет, я Женя, QA Engineer в компании OBRIO, которая входит в экосистему бизнесов Genesis. Компания существует с мая сейчас команда развивает четыре продуктовых направления: Mobile, Web, GameDev, SaaS.
Я занимаюсь тестированием игры Factory Empire в GameDev-команде. До этого работала с web- и mobile-приложениями. В статье мы сосредоточимся на тестировании мобильных игр. Материал будет полезен начинающим QA, а также тем, кто ранее тестировал web и mobile, но хотел бы попробовать себя в разработке игр.
Поиграйте в игру, отметьте свои впечатления
Когда приступите к тестированию игры, у вас может сразу возникнуть желание просмотреть документацию и доску в Jira, однако лучше это отложить на некоторое время.
Воспользуйтесь тем, что вы ещё не знакомы с продуктом, и поиграйте как любой другой пользователь. При этом обратите внимание на следующее:
Таким образом вы сможете дать ценный фидбэк команде, которая уже привыкла к игре и может что-то упустить. Главное — не критиковать игру, а предлагать улучшения.
Познакомьтесь с командой
Если вы привыкли работать в командах web и mobile, можете удивиться, насколько большими и разноплановыми бывают команды GameDev. Над игрой могут работать Unity-разработчики (если движок Unity, как в моем случае) и Back-end разработчики, Tech Artist, Game Designer, Game Economist, 2D/3D Artists, Project Manager, Creative Writer, UI/UX Designer, аналитики и маркетологи. И вам, QA Engineer, нужно будет взаимодействовать с каждым из членов команды.
Что нужно сделать, когда вы присоединитесь к проекту:
Говорите с командой на одном языке
Как QA Engineer, вам придется общаться практически с каждым специалистом в команде, и коллеги будут использовать специфические термины. Вы тоже будете их употреблять в баг-репортах. Чтобы понимать суть всего происходящего лучше, просите объяснять вам термины, гуглите их, ну и, конечно, хорошо почитать статьи на популярных ресурсах GameDev (например, DTF и gdcuffs.com).
А для того, чтобы вы были во всеоружии сразу, опишу ниже понятия, которые были новыми для меня после перехода в игровую сферу. Возможно, что-то пригодится и вам.
Core gameplay — ядро игры, набор базовых правил и механик, с которыми игрок будет взаимодействовать большую часть времени.
Meta gameplay — активности вне core gameplay, но которые влияют на игровой процесс. Созданные для увеличения вовлечения в игру.
Tutorial — пошаговая инструкция, с помощью которой пользователь обучается игре.
Cheat — код, написанный разработчиками, для более быстрого прохождения неких модулей игры.
HUD (Heads-up display) — часть графического интерфейса пользователя, которая видна ему постоянно, обычно содержит информацию о прогрессе игрока, количестве жизней, инвентаре и так далее.
Assets — компоненты, которые представляют собой все ресурсы проекта, например, графику, звуковое сопровождение и скрипты. Они прикрепляются к объектам и составляют важную часть игры.
Addressable Asset System — система доставки контента, позволяющая вызывать ассет по его адресу. С помощью неё можно значительно повысить производительность игры путем выгрузки части контента на CDN и обращения к этому контенту в нужный момент через адреса.
Sprite — 2D-изображение, которое может содержать как одиночное изображение, так и множество изображений для анимации.
Sorting Layers — система сортировки спрайтов для отображения одних объектов поверх других.
Mask — выделение части изображения для изменения ее свойства отдельно от остального изображения.
Spine — программа для создания скелетной анимации. Аниматоры и разработчики называют анимацию, сделанную в этой программе, тоже спайном.
Prefab — игровой объект, который используется более одного раза, шаблон.
Playtest — процесс тестирования новой игры на наличие проблем и на реакцию пользователя на геймплей. Такие тесты часто проводят с участием целевой аудитории.
Retention — метрика, показывающая, сколько пользователей возвращаются в приложение (в нашем случае — игру) через определенный промежуток времени. Это один из ключевых показателей для игр, так как он помогает понять, насколько процесс увлекательный.
DAU (Daily Active Users) — метрика, обозначающая количество активных уникальных пользователей приложения в течение суток.
MAU (Monthly Active Users) — метрика, обозначающая количество активных уникальных пользователей приложения в течение месяца.
Помните, кто ваша целевая аудитория
Практически невозможно производить игры, которые бы нравились всем, независимо от возраста, пола и профессии, поэтому каждый продукт стремится занять свою нишу. Чтобы правильно планировать поведение игроков, приоритизировать задачи и предлагать какие-либо улучшения, важно знать целевую аудиторию. Вам могут понадобиться такие знания о пользователях:
Приготовьтесь быть требовательными к визуалу
Иногда визуальный баг может показаться не таким уж критичным для релиза, ведь главное, что логика работает. Однако при тестировании игр нужно понимать, что ошибки в визуальной части приводят к ухудшению игрового опыта. Визуал — это важно. Поэтому при тестировании игр проверяйте:
Чтобы лучше понимать, достаточно ли органичны арт и анимации в тестируемом продукте, окунитесь в топовые игры вашего жанра. В этом деле ценен богатый игровой опыт. Поэтому играйте, делайте заметки о том, что нравится в других играх, что драйвит вас вернуться к ним снова.
Правило «золотого треугольника». В каком случае точно не стоит релизиться
В период активной разработки игры и ее проверки на целевой аудитории мы можем пропускать в релиз некритичные ошибки. Однако то, что вам кажется некритичным, может оказаться критичным для бизнеса. Поэтому в спорных ситуациях всегда лучше советоваться с Team Lead и Product Owner.
Есть и случаи, когда релизиться точно не стоит. Согласно правилу «золотого треугольника», баги, блокирующие самые важные модули игры, не должны проходить в релиз. Этими модулями являются:
Например, к баге в core gameplay можно отнести засчитывание неправильного количества баллов за определенное действие игрока, в результате чего пользователь может застрять на одном уровне. Или если ваша игра предполагает взаимодействие между друзьями, а у вас есть ошибки, связанные с авторизацией через Facebook, то это тоже повод отложить релиз.
Работа с аналитикой. Почему это важно
В разработке игры важно анализировать поведение игрока, влияние изменений, которые вы внедряете. Даже если на проекте есть люди, которые непосредственно занимаются аналитикой, вы, как тестировщик, тоже должны ознакомиться с инструментом аналитики. Он полезен для следующего:
Для анализа игр часто используют такую платформу, как devtodev. На этом сайте есть вкладка Education, которая предлагает большое количество бесплатных курсов и статей на GameDev-темы. Что-то из этого ресурса может быть полезным и вам.
Читы — наши помощники или источники проблем
QA в GameDev активно пользуются читами, иначе тестирование занимало бы очень много времени. (Если на вашем проекте читов пока нет или их недостаточно для более быстрого и удобного теста, просите разработчиков их добавить.) Примером может быть чит ASPIRINE из GTA Vice City, который восстанавливает здоровье персонажа до максимума и чинит транспорт, в котором находится игрок.
Нужно понимать, что читы, кроме того, что делают жизнь игровых тестировщиков немного проще, ломают игру в какой-то степени. Поэтому ваша задача — знать, к каким ошибкам читы могут привести, чтобы не заводить багов, которые не воспроизводятся без их применения.
Размер игры. Когда бить тревогу
Мобильные игры предполагают много контента, и с каждым добавлением функционала его становится всё больше. В какой-то момент размер игры может настолько увеличиться, что у разработчиков возникнут проблемы с загрузкой игры на магазин, что отложит долгожданный релиз. Либо игра будет занимать много места на девайсах пользователей, что может повлечь за собой снижение производительности игры и дальнейшее ее удаление.
Чтобы избежать этого, QA Engineer должен быть всегда начеку и обращать внимание команды на размер игры ещё до того, как он станет критичным.
Сложность состоит в том, что для одной игры определенный вес — это много, для другой нормально. Чтобы узнать оптимальный вес вашего продукта:
Наша команда принимает во внимание такие цифры: установочный файл на Android не должен весить больше 150 MB, иначе он просто не загрузится на стор. Что же касается iOS, то установочный файл должен быть в пределах 250 MB.
Вывод
В этой статье я постаралась раскрыть нюансы тестирования мобильных игр, то, что было новым для меня. Я не упоминала особенности тестирования мобильных приложений, так как это уже другая история, требующая отдельного внимания. Надеюсь, мои заметки помогут вам настроиться на игровой проект либо переосмыслить то, что вы уже делаете. Буду также рада вашим дополнениям и мыслям в комментариях.