测试图像“monarch”_腾讯IEG开源GAMEAISDK：自动化测试吃鸡、MOBA类游戏

近日&＃xff0c;腾讯互娱&＃xff08;IEG&＃xff09;开源了一款名为 GAME AI SDK 的自动化测试平台&＃xff0c;该平台封装好了多种工具供开发者使用&＃xff0c;目前支持的游戏类型有跑酷类、吃鸡类、射击类、MOBA 类等。

项目地址&＃xff1a;https://github.com/Tencent/GameAISDK

SDK&＃xff08;软件开发工具包&＃xff09;一般是软件工程师为特定的软件包、软件框架、硬件平台、操作系统等创建应用软件时可使用的开发工具集合。

似乎有些抽象。在实际项目中&＃xff0c;我们只需记住&＃xff0c;SDK 是手游渠道提供的&＃xff0c;集成了用户登录、社区功能、社交分享功能、数据后台统计功能的功能模块。接入 SDK 后&＃xff0c;游戏厂商和渠道都要对 SDK 包进行测试&＃xff0c;测试通过才能上线。

看了上文展示的酷跑动图效果&＃xff0c;是不是想上手试试吃鸡类、射击类的游戏体验呢&＃xff1f;这个开源项目可以满足你的需求&＃xff0c;它支持使用者进行项目接入以及二次开发。

AI SDK 平台

AI SDK 平台是一个基于游戏图像来开发游戏 AI 的开源工具包。工具包主要完成了 UI 检测、游戏内元素识别、AI 算法&＃xff08;DQN、IM&＃xff09;等功能。开发者可以基于此工具包完成游戏自动化测试。

目前该平台已支持的游戏类型有跑酷类、吃鸡类、射击类、MOBA 类等。特定场景下它可以代替人工进行游戏场景的自动化&＃xff0c;减少游戏场景测试的人力投入。

该工具包主要包括 AI SDK、AI Client、SDKTool&＃xff08;配置文件工具&＃xff09;这几部分。

SDKTool 帮助我们生成跟具体游戏相关的 AI SDK 所需配置文件。如在游戏运行过程中&＃xff0c;整个流程中需要动作交互的 UI、需要识别的游戏元素等。AI 开发过程中用到的信息可来自于游戏图像&＃xff08;AI Client 获取&＃xff09;或其他数据。AI SDK 能够自动化完成游戏 UI 操作并进入游戏场景&＃xff0c;像玩家一样操作手机玩游戏。

功能简介

GAME AI SDK 平台具备以下功能&＃xff1a;

• 提供多种图像识别算法&＃xff0c;识别游戏场景中的关键特征数据&＃xff0c;如游戏场景中的技能状态、按钮位置、目标物位置等。
• 提供模仿学习和强化学习 AI 算法&＃xff0c;可直接用于训练游戏场景 AI。
• 提供了配套的样本采集、图像标注工具。

AI SDK 模块简介

AI SDK 主要包括 AI Client 模块、MC 模块、IO 模块、UI 模块、GameReg 模块、AI 模块。

• AI Client 主要与手机端交互&＃xff0c;获取游戏图像&＃xff0c;并执行 UI 或 AI 输出的动作&＃xff1b;
• IO 模块与 AI Client 交互&＃xff0c;作为 AI SDK 的数据输入输出控制&＃xff1b;
• MC 模块与 IO 模块交互&＃xff0c;将数据分发至 AI SDK 后端的 UI 和 AI 模块&＃xff0c;并做一些业务逻辑的管理控制&＃xff1b;
• UI 模块根据游戏图像&＃xff0c;识别出需要进行的 UI 操作&＃xff1b;
• GameReg 模块根据游戏图像&＃xff0c;识别出游戏场景内的数字、血条、目标物等元素&＃xff1b;
• AI 模块根据识别到的游戏元素&＃xff0c;依照 AI 算法执行业务逻辑。

环境部署

运行 AI SDK 中的 demo&＃xff0c;首先需要安装依赖&＃xff0c;然后将本地 PC 机连接手机&＃xff08;或手机模拟器&＃xff09;&＃xff0c;通过 AI Client 实时采集手机&＃xff08;或手机模拟器&＃xff09;的游戏画面&＃xff0c;并传给 AI 服务进行处理。把 AI 服务处理的动作结果反馈到连接 PC 的手机上&＃xff0c;完成动作的交互。

部署依赖环境

部署依赖环境主要是安装 AI SDK、SDKTool&＃xff08;配置文件生成工具&＃xff09;、AI Client 的环境依赖。

该项目提供了两种操作系统的部署过程。

Ubuntu&＃xff1a;目前 SDK 工具包运行在 16.04 的 64 位 Ubuntu 系统上&＃xff0c;使用的深度学习框架为 TensorFlow&＃xff0c;所以使用前需要安装依赖的 ubuntu 系统和相应的依赖第三方工具包&＃xff0c;如 TensorFlow、OpenCV、protobuf 等。

环境主要依赖 nvdia-cuda 9.0、cudnn 7.0、opencv 3.4.2、protobuf 3.2.0、android adb、poster 工具集等依赖包。具体请参考&＃xff1a;https://github.com/Tencent/GameAISDK/blob/master/doc/environment/InstallStepByStep.md。

Windows&＃xff1a;SDK 包下自带要安装的依赖包文件「requirements.txt」&＃xff0c;所以 windows 下只需要安装「requirements.txt」中的依赖。具体请参考&＃xff1a;https://github.com/Tencent/GameAISDK/blob/master/doc/environment/SDKToolEnv.md。

此外&＃xff0c;该项目还介绍了配置文件工具 SDK Tool、项目接入、二次开发以及调试技巧&＃xff0c;详情请参考项目链接。

参考链接&＃xff1a;https://ieg.tencent.com/https://github.com/Tencent/GameAISDK

https://mp.weixin.qq.com/s/b8YXnZni0wBzoHZjzdRwGQ