Page 86 - 《软件学报》2026年第1期

吉品 等: 面向智能软件系统的测试用例生成方法综述 83

7 多模态数据处理应用

模态被定义为不同的存在形式或信息来源, 例如人类的不同感官 (嗅觉、触觉、视觉等)、信息的载体 (语音、
视频、文字等) 以及各种类型的传感器 (雷达、点云、红外线等), 上述每一种都可以被称为一种模态. 由两种或两
种以上模态组成的数据称为多模态数据, 如何充分运用多模态数据以提升软件性能, 已成为多个研究领域的重点
方向. 自动驾驶系统是当前多模态数据应用成功的典型代表, 其集成的多种传感器能够提供环境及车辆自身的多
模态信息. 通过调研发现, 现有面向多模态数据处理应用的测试方法主要围绕自动驾驶系统, 或是用于自动驾驶等
任务的感知模块展开. 自动驾驶系统通过融合多模态数据来充分挖掘信息, 提高目标检测和其他组件的性能. 在自
动驾驶测试领域, 研究人员通常将被测对象视为黑盒, 通过生成仿真测试场景模拟现实世界中的应用情境, 以全方
位评估自动驾驶汽车的安全性、智能性等测试属性 [105] . 在测试过程中, 自动驾驶系统可从仿真场景中捕获多模态
数据, 作为完成各项任务的基础. 如表 9 所示, 本节重点关注自动驾驶仿真测试中的测试场景生成方法与多传感器
融合感知系统的测试用例生成方法.

表 9 现有面向多模态数据处理应用的测试用例生成方法总结

应用 发表 文献 方法 测试用例生成
领域 年份 来源 类型
利用数据集学习交通行为的基本分布, 并通过模仿学习来训练环境车辆行为的模型和描
2018 [106] 交通仿真 述人类驾驶策略的模型, 再通过控制标准交通行为的基本分布以估计事故概率, 并将学
习到的概率值分配给环境状态和代理行为
采用字符串结构和关联规则的语义语言, 分解定义场景的因素, 包括道路、参与者和交
2019 [107] 交通仿真
通逻辑, 再使用一个基于矩阵的系统以概括场景特征
将混合交通流中每个道路使用者的详细行为进行建模, 然后基于每个道路使用者给定的
2019 [108] 交通仿真
初始状态 (位置和速度), 重建各种道路使用者及其相互作用的复杂行为
使用可满足性模理论求解器来自动生成路径, 使用时间自动机的形式开发基于模型检查
2019 [109] 交通仿真
的动态对象运行生成
2020 [110] 数字孪生 构造随机感知消息, 包含许多不同类型、大小和位置的静态障碍
在模拟器中生成真实世界赛道测试区域的数字孪生, 之后通过使用Scenic语言及VERIFAI
2020 [111] 数字孪生
工具包在此数字孪生的基础上生成仿真场景
2021 [112] 交通仿真 通过代码描述具有特定特征的复杂驾驶情况
2021 [113] 数字孪生 利用几何信息识别地图包含的交叉路口以生成带有交叉路口的抽象场景
首先通过组合测试生成抽象场景, 再通过查询地图和模拟器从一个合成的抽象场景中生
2022 [114] 交通仿真
成一个具体的场景
2
自动 2022 [115] 数字孪生 基于UE4引擎和CARLA仿真平台, 生成了总面积10.8 km 的中国城市风格地图的数字孪
驾驶 生, 并设计了29种模拟交通事件用于生成场景
2022 [116] 交通仿真 使用场景分布模型来预测无信号交叉口车辆-行人互动的场景的分布
2022 [117] 交通仿真 基于遗传算法去模拟具有挑战性的切入事件和跟车事件
2022 [118] 使用基于真实世界的交通法规覆盖引导的模糊算法, 通过搜索违反交通法规的不同方式
交通法规
2023 [119] 以生成测试场景
2023 [120] 交通法规 利用遗传算法生成具有多辆自动驾驶车辆的交通控制场景
使用带标签的有向图来模拟互通立交的拓扑结构, 并利用 k 路组合覆盖和差分进化生成
2023 [121] 数字孪生
具体的互通式立交
使用全景分割模型去从图片和视频中提取真实事故的有效信息, 将不同交通参与者的独
2023 [122] 事故报告
立个体分离出来, 为场景恢复提供基础
2022 [123] 事故报告 使用自然语言处理技术实现现实生活中的文本事故报告到测试场景描述语言的转换
2022 [124] 交通仿真 从真实交通轨迹中挖掘出有影响力的行为模式以生成安全关键测试场景
2023 [125] 交通仿真 使用强化学习生成“自杀式”行人的智能体, 以生成涉及行人的安全关键场景
运用基于模型的领域特定语言描述场景规范, 涵盖参数、参与者和约束这3部分, 再利用
2024 [126] 交通仿真
搜索算法生成具体场景
使用大语言模型从文本车祸报告中提取交互行为, 再转换为逻辑场景, 最后基于搜索算
2024 [127] 事故报告
法将逻辑场景转换为具体场景