Page 95 - 《软件学报》2025年第12期

5476 软件学报 2025 年第 36 卷第 12 期

和一致的响应. 此外, 由于大模型的局限性, 我们还可以进一步融合大模型的场景理解能力和知识图谱等技术的知
识归纳能力, 不断提升方法对于应用状态及测试脚本业务逻辑的理解.
其次, 可引入多模态融合技术. 目前的方法主要依赖于图像和文本信息进行匹配和判断. 未来, 多模态融合技
术的发展将使得系统能够结合更多类型的数据, 如语音、手势等, 以实现更全面的跨平台测试. 通过整合多种模态
的数据, 系统将能够更好地理解和模拟用户的操作, 提高测试的覆盖面和准确性.
第三, 本文采用了若干图像匹配与文本匹配算法. 这些算法在我们的任务中表现出了较好的效果, 也在效率开
销方面与效果达到了一定的平衡. 在未来工作中, 我们也将尝试更先进的方法与技术, 例如深度学习模型等, 以处
理本文中涉及文本与图像匹配的部分, 从而提升本文匹配的有效性.
7 总 结

复杂的操作流程和多样的设备差异使得移动应用测试脚本跨平台录制回放测试面临巨大的挑战. 本文提出了
一种基于大模型语义匹配的跨平台移动应用测试脚本录制回放方法 (LLMRR), 提供了针对不同平台操作流程差
异带来的问题的解决方案. 该方法提供了一个基于大模型语义匹配的跨平台测试脚本录制回放框架, 能够适用于
不同平台间的脚本迁移. 通过综合使用图像匹配、文本匹配和大模型语义匹配, LLMRR 实现了高效、准确的跨
平台测试脚本录制和回放. 与此同时, 本文针对国产鸿蒙应用生态平台进行了测试脚本录制回放方法的探索, 并通
过大规模实证评估, 表明了所提出方法在回放成功率上与现有最先进基线方法对比有较大提升. 实验结果显示,
LLMRR 方法在鸿蒙系统的跨平台测试中, 成功匹配数和回放成功率显著高于传统的 LIRAT 和 MAPIT 方法, 失
败匹配数和不适用匹配数明显减少. 未来, 通过进一步优化大模型语义匹配模块, LLMRR 方法有望成为跨平台移
动应用测试中更强大、更高效的工具, 帮助开发者提升应用质量和用户体验.

References:
[1] Mei H, Cao DG, Xie T. Ubiquitous operating system: Toward the blue ocean of human-cyber-physical ternary ubiquitous computing.
Bulletin of Chinese Academy of Sciences, 2022, 37(1): 30–37 (in Chinese with English abstract). [doi: 10.16418/j.issn.1000-3045.
20211117009]
[2] Li XD, Wang J, Zhan NJ. Greeting the era of human-cyber-physical ternary ubiquitous computing and boosting innovation and supply
capacity of key software and technologies. Science and Technology Foresight, 2023, 2(1): 5–6 (in Chinese with English abstract).
[3] Li C, Jiang YY, Xu C. GUI event-based record and replay technologies for Android Apps: A survey. Ruan Jian Xue Bao/Journal of
Software, 2022, 33(5): 1612–1634 (in Chinese with English abstract). http://www.jos.org.cn/1000-9825/6551.htm [doi: 10.13328/j.cnki.
jos.006551]
[4] Zhang GL, Wan Y. Overview of mobile application GUI testing technology. Modern Computer, 2019(10): 44–48 (in Chinese with
English abstract). [doi: 10.3969/j.issn.1007-1423.2019.10.010]
[5] Zhang SK, Li YC, Lei HW, Jiang P, Li D, Guo Y, Chen XQ. GUI fuzzing framework for mobile Apps based on multi-modal
representation. Ruan Jian Xue Bao/Journal of Software, 2024, 35(7): 3162–3179 (in Chinese with English abstract). http://www.jos.org.cn/
1000-9825/7106.htm [doi: 10.13328/j.cnki.jos.007106]
[6] Yeh T, Chang TH, Miller RC. Sikuli: Using GUI screenshots for search and automation. In: Proc. of the 22nd Annual ACM Symp. on
User Interface Software and Technology. Victoria: ACM, 2009. 183–192. [doi: 10.1145/1622176.1622213]
[7] Li C, Jiang YY, Xu C. Cross-device record and replay for Android Apps. In: Proc. of the 30th ACM Joint European Software Engineering
Conf. and Symp. on the Foundations of Software Engineering. Singapore: ACM, 2022. 395–407. [doi: 10.1145/3540250.3549083]
[8] Havranek M, Bernal-Cárdenas C, Cooper N, Chaparro O, Poshyvanyk D, Moran K. V2S: A tool for translating video recordings of
mobile App usages into replayable scenarios. In: Proc. of the 43rd Int’l Conf. on Software Engineering: Companion Proc. (ICSE-
Companion). Madrid: IEEE, 2021. 65–68. [doi: 10.1109/ICSE-Companion52605.2021.00037]
[9] Bernal-Cárdenas C, Cooper N, Havranek M, Moran K, Chaparro O, Poshyvanyk D, Marcus A. Translating video recordings of complex
mobile App UI gestures into replayable scenarios. IEEE Trans. on Software Engineering, 2023, 49(4): 1782–1803. [doi: 10.1109/TSE.
2022.3192279]
[10] Fazzini M, Freitas ENDA, Choudhary SR, Orso A. Barista: A technique for recording, encoding, and running platform independent
Android tests. In: Proc. of the 2017 IEEE Int’l Conf. on Software Testing, Verification and Validation (ICST). Tokyo: IEEE, 2017.