Page 75 - 《软件学报》2025年第12期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(12):5456−5479 [doi: 10.13328/j.cnki.jos.007414] [CSTR: 32375.14.jos.007414] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
基于大模型语义匹配的跨平台移动应用测试脚本录制回放

虞圣呈 1,2 , 房春荣 1,2 , 钟 葉 1,2 , 张犬俊 1,2 , 刘 钦 1,2 , 刘 嘉 1,2 , 郑 滔 1,2 , 陈振宇 1,2

1
(计算机软件新技术全国重点实验室 (南京大学), 江苏 南京 210093)
2
(南京大学 软件学院, 江苏 南京 210093)
通信作者: 房春荣, E-mail: fangchunrong@nju.edu.cn

摘 要: GUI 测试是移动应用质量保障的重要手段之一. 随着移动生态的不断发展, 尤其是国产移动应用 (如鸿蒙
等) 生态的强势崛起, GUI 测试脚本跨平台录制回放成为了当前 GUI 测试的主要挑战之一. 开发者需将传统平台
中 GUI 测试脚本迁移至新兴环境中, 以保证应用质量可靠性与多平台用户体验一致性. 然而, 不同平台间的底层实
现差异导致了移动应用测试跨平台迁移的重大障碍, 这一挑战在面向新兴国产移动生态平台的测试迁移方面尤为
突出. 移动应用的跨平台测试脚本录制回放是确保应用在不同操作系统和设备上保持一致性和高质量用户体验的
关键. 现有技术仅解决了“一对一”事件匹配的情况, 而由于平台间 GUI 开发实践的不一致性, 测试事件的回放并非
完全一对一映射, 而存在普遍的“多对多”映射情况, 即若干测试事件所对应的业务流程在不同平台上对应数量不
等的测试事件. 为解决上述问题与挑战, 提出了一种基于大模型语义匹配的跨平台移动应用测试脚本录制回放方
法 (LLMRR). LLMRR 方法结合图像匹配、文本匹配和大语言模型语义匹配技术, 在录制阶段通过图像分割算法
记录用户操作信息, 并保存为录制测试脚本; 在回放阶段, 通过图像匹配和文本匹配模块在回放页面上找到对应的
控件, 执行操作, 当无法匹配时, 调用大模型语义匹配模块进行语义匹配, 确保在不同平台上的高效运行. 对国产鸿
蒙应用的测试进行了探索, 选择了 20 个应用共 100 个测试脚本, 在 iOS、安卓和鸿蒙平台之间进行迁移测试, 并与
当前最先进跨平台测试脚本录制回放方法 LIRAT 和 MAPIT 进行有效性对比. 结果表明, LLMRR 方法在测试脚本
录制回放中均表现出显著优势.
关键词: GUI 测试; 鸿蒙应用测试; 测试脚本; 录制回放; 大语言模型
中图法分类号: TP311

中文引用格式: 虞圣呈, 房春荣, 钟葉, 张犬俊, 刘钦, 刘嘉, 郑滔, 陈振宇. 基于大模型语义匹配的跨平台移动应用测试脚本录制回
放. 软件学报, 2025, 36(12): 5456–5479. http://www.jos.org.cn/1000-9825/7414.htm
英文引用格式: Yu SC, Fang CR, Zhong Y, Zhang QJ, Liu Q, Liu J, Zheng T, Chen ZY. Semantic Matching-based Cross-platform
Mobile App Test Script Record and Replay via Large Language Models. Ruan Jian Xue Bao/Journal of Software, 2025, 36(12): 5456–
5479 (in Chinese). http://www.jos.org.cn/1000-9825/7414.htm

Semantic Matching-based Cross-platform Mobile App Test Script Record and Replay via
Large Language Models
1,2
1,2
1,2
1,2
1,2
1,2
YU Sheng-Cheng , FANG Chun-Rong , ZHONG Ye , ZHANG Quan-Jun , LIU Qin , LIU Jia ,
1,2
ZHENG Tao , CHEN Zhen-Yu 1,2
1
(State Key Laboratory for Novel Software Technology (Nanjing University), Nanjing 210093, China)
2
(Software Institute, Nanjing University, Nanjing 210093, China)
Abstract: GUI testing is one of the most important measures to ensure mobile application (App) quality. With the continuous development
of the mobile ecosystem, especially the strong rise of the domestic mobile ecosystem, e.g., HarmonyOS, GUI test script recording and

* 基金项目: 国家自然科学基金 (62272220, 62372228); 中央高校基本科研业务费专项资金 (14380029)
收稿时间: 2024-08-30; 修改时间: 2024-11-19, 2025-01-17; 采用时间: 2025-02-18; jos 在线出版时间: 2025-08-27
CNKI 网络首发时间: 2025-09-05