Page 80 - 《软件学报》2025年第12期

虞圣呈 等: 基于大模型语义匹配的跨平台移动应用测试脚本录制回放 5461

法, 基于深度学习模型分析 GUI 截图中的视觉信息, 能够检测存在显示问题的 GUI, 并精确定位问题区域, 帮助开
发人员修复错误. 脚本在自动化 GUI 测试中具有重要作用. 鉴于传统的 GUI 测试工具需要在脚本中预先配置所有
操作和指令, 对 GUI 环境的变化敏感且需要手动重新配置, Fang 等人 [33] 提出了一种基于图像识别的 GUI 测试方
法, 创新性地改进了 SIFT 和 Random Fern 等算法, 以检索最有效的特征并排除无效部分. Wu 等人 [34] 提出了一种
基于图像识别技术的自动化 GUI 测试方法, 通过结合 OCR (光学字符识别) 图像识别技术和图像比对技术, 开发
了一个能够自动识别和更新测试脚本的工具. 此外, GUI 的迭代更新增加了测试的复杂性. Chen 等人 [35] 提出了一
种将传统的 CV 方法用于非文本元素区域检测, 同时与深度学习模型相结合, 充分发挥二者的优势的方法, 取得了
优异的检测效果. Xie 等人 [36] 也提出了一个结合了两种传统计算机视觉方法 (Xianyu 和 REMAUI) 和 3 种深度学
习模型 (Faster-RCNN、YOLOv3 和 CenterNet) 的新型 GUI 元素检测工具 UIED 来实现对复杂 GUI 图像的精确检
测, 获得了更加优秀的检测结果. Feiz 等人 [37] 训练了一个结合 UI 对象检测器和 Transformer 模型架构的屏幕相似
性模型识别同一应用中截图集合中的相同屏幕实例, 还训练了一个使用孪生网络架构的屏幕转换模型识别相似性
并检测交互过程中出现的特定事件, 解决了自动应用爬取、自动化宏回放和大规模应用数据集分析中的存在的挑
战. Zhang 等人 [38] 所提出的 MigratePro 方法通过综合各来源的测试脚本以实现测试迁移的增强, 然而该方法依然
忽略了脚本之间由于功能细微差异引起的流程差异, 从而在特定场景下可能会失去作用. MigratePro 作为当前代
表性的 GUI 测试录制回放方法, 依然以比对-搜索的方法来完成测试脚本回放时目标控件的缺乏, 但其通过更完善
的对比信息收集有效提升了录制回放的成功率. 然而, 现有应用设计间存在较多差异, 尤其是在跨平台版本间. 针
对上述信息, MigratePro 可能会通过已有脚本中相关情况完成部分录制回放工作, 但其并未在方法根本上对上述
情况进行处理. 本文通过大语言模型提示引导进行冗余步骤的理解与识别, 并完成测试的回放. 在处理多对多事件
映射情况时, 本方法深入理解 GUI 控件所包含的丰富的与功能业务逻辑紧密关联的语义信息, 以及部分 GUI 控件
的进入路径所强烈依赖的对功能业务逻辑, 从而实现多对多事件映射. 一些研究还关注于使用自然语言描述屏幕
截图中描述的用户界面, 以促进理解 UI 的主要目的. Kirinuki 等人 [39] 便利用自然语言处理技术理解网页元素的语
义, 并创建启发式搜索算法探索网页和寻找有效的测试过程, 自动化 Web 应用测试. 此外, 跨平台测试长期以来一
直是测试人员关注的重点. 为解决移动设备碎片化导致的自动化视觉 GUI 测试工具在不同设备上运行时结果不
一致的问题, Ardito 等人 [40] 使用了如 SIFT、SURF 和 AKAZE 等的特征匹配算法提高了视觉图形用户界面测试的
鲁棒性.
综上, 基于视觉的 GUI 分析在 GUI 测试中扮演着关键的角色, 它为测试人员提供了识别、定位和理解 GUI
元素的强大工具. 这些研究不仅提高了 GUI 测试的效率和准确性, 而且还扩大了它们的适用性, 以解决特殊场景
的测试需求, 有可能为更广泛的移动应用测试任务提供强大的支持.
2.2 鸿蒙生态质量保障
鸿蒙操作系统是一款由华为开发的基于微内核的、面向全场景的开放分布式操作系统, 自问世以来便始终受
到业内外广泛关注. 截至 2023 年 8 月, 鸿蒙已经成为除安卓和 iOS 外的第 3 大手机操作系统. 目前, 包含社交、旅
游、游戏等多个领域的开发者已经展开鸿蒙原生应用的开发. 高质量的应用是建立用户信任和满意度的基石, 对
于鸿蒙应用而言, 优良的应用体验直接关系到用户对鸿蒙系统整体印象的形成, 因此, 针对鸿蒙系统的软件测试具
有十分重要的意义.
首先, 鸿蒙操作系统的稳定性和安全性直接关系到用户的使用体验和个人信息安全, 因此必须经过充分的软
件测试来确保其质量. 其次, 鸿蒙操作系统面向全场景, 若想要合理应对多种终端设备, 则还需要经过严格的兼容
性测试, 来确保在各种不同的硬件平台上都能够正常运行. 另外, 鸿蒙操作系统还需要针对不同的应用场景进行测
试, 以验证其在智能家居、车载系统等领域的适用性. 在这样的背景之下, 鸿蒙开发者研发了一套全新的自动化测
试框架——Hypium, 用以支持鸿蒙系统应用测试. 该框架提供了单元测试框架和 UI 测试框架两个子框架, 分别用
于程序的内部功能逻辑测试和 UI 界面测试, 并针对鸿蒙应用的多端部署、多语言开发等特点做了相应的优化. 它
支持以插件形式集成到 DevEco Studio 中, 集成开发环境将自动生成测试目录、测试类和测试用例模板等, 让开发
者在应用开发的过程中可以快速编写和执行测试用例, 实现应用的高效验证.