Page 77 - 《软件学报》2025年第12期

5458 软件学报 2025 年第 36 卷第 12 期

平台脚本迁移或跨平台脚本迁移中无测试动作序列差异的情况, 通过对测试动作“一对一”的映射分析, 完成录制
回放. 而对于更复杂的跨平台测试事件迁移, 即存在测试动作序列差异的情况时, 测试动作往往无法进行“一对一”
映射分析, 而是需要灵活地处理不同平台间的业务逻辑流程差异和控件差异, 解决“多对多”事件映射, 即若干个录
制步骤可能对应多个不等数量的回放步骤. 为了解决上述问题, 需要开发更加智能化和通用的测试工具和方法, 以
适应不同平台的特性, 自动调整测试脚本的动作序列, 减少人为干预, 提高测试效率和准确性.
随着大语言模型 (large language model, LLM) 的发展, 对 GUI 测试脚本实现深度语义理解成为可能. 大语言
模型能够有效理解文本信息. 其通过学习文本数据中的模式、关系和上下文信息, 具备处理复杂语言任务的能力.
测试脚本代码及 GUI 界面所呈现相关语义信息能够通过精心设计的提示词, 被大语言模型理解, 并一直为上下文
基础将测试事件在新的回放设备中进行映射. 基于大语言模型的强大文本信息理解能力, 本文提出了一种基于大
模型语义匹配的跨平台移动应用测试脚本录制回放方法, 旨在解决不同平台操作流程差异带来的挑战. 该方法主
要包括录制阶段和回放阶段. 在录制阶段, 系统通过图像分割算法将页面分割成控件区, 记录用户操作信息, 包括
当前页面截图、被操作控件截图、操作坐标和操作类型等. 这些信息会被整理并保存为录制测试脚本. 在回放阶
段, 系统读取录制信息, 并通过图像匹配模块和文本匹配模块在回放页面上找到对应的控件, 执行相应操作. 当遇
到无法匹配的情况时, 调用大模型语义匹配模块进行语义匹配, 跳过冗余步骤继续操作.
与传统方法所解决的“一对一”事件映射不同 [4] , 本方法着力解决“多对多”事件映射, 即若干个录制步骤可能
对应多个不等数量的回放步骤. 这种多对多映射模式能够更灵活地处理不同平台间的流程差异和控件差异, 提高
了测试脚本的通用性和适应性. 大语言模型在实现“多对多”映射中起到了关键作用, 特别是在语义匹配方面. 通过
引入大语言模型, 系统能够理解和处理复杂的跨平台流程差异. 当录制步骤在回放页面上无法找到对应控件时, 系
统会将录制信息和回放页面信息输入大语言模型. 大语言模型通过语义匹配, 分析和理解录制和回放过程中的操
作意图和控件信息, 推理出可能的操作路径, 并提供跳过冗余步骤或添加必要步骤的建议. 这种基于语义匹配的推
理能力极大地提高了跨平台测试的智能化程度, 确保了测试脚本在不同平台上的高效运行. 总的来说, 该方法通过
引入大模型语义匹配模块成功解决了不同平台间的操作流程差异问题, 提高了测试脚本的适应性和通用性, 为移
动应用的跨平台测试提供了一种高效、智能的解决方案.
本文的主要研究贡献如下.
(1) 提出了一种基于大模型语义匹配的跨平台移动应用测试脚本录制回放方法, 可适用于不同平台间脚本
迁移.
(2) 提出了一种基于大语言模型的测试时间序列多对多语义匹配方法, 实现了跨平台测试脚本录制回放时测
试动作语义匹配.
(3) 针对国产鸿蒙应用生态平台进行测试脚本录制回放方法的探索, 并通过大规模实证评估, 表明了所提出方
法在回放成功率上与现有最先进基线方法对比有较大提升.
本文第 1 节介绍 GUI 测试脚本录制回放相关工作及研究现状. 第 2 节介绍相关背景知识, 包括移动应用 GUI
测试和鸿蒙应用测试. 第 3 节介绍本文所开展研究的动机实例. 第 4 节介绍本文所构建的基于大模型语义匹配的
跨平台移动应用测试脚本录制回放方法. 第 5 节通过实验验证了本文所提出方法的有效性. 第 6 节展示了本文所
提出方法的相关讨论, 包括优势与局限性分析、有效性威胁分析、性能开销分析以及未来工作展望. 最后对全文
进行总结. 本文的代码与相关数据已在 GitLink 平台开源, 以供对本文所提出算法的复现, 也为后续研究提供了实
现基础: https://gitlink.org.cn/yusc/LLMRR.
1 GUI 测试脚本录制回放相关工作

测试脚本录制回放方法作为一种经典的自动化测试技术, 因其操作简便直观, 逐渐被广泛应用于软件测试领
域. 录制回放技术的基本原理是通过录制用户在软件上的实际操作生成测试脚本, 然后在需要时回放这些脚本以
重现用户操作, 从而实现测试自动化 [3] . 与传统的脚本编写方法相比, 录制与回放技术具有显著优势: 首先, 它降低