Page 71 - 《软件学报》2026年第1期

68 软件学报 2026 年第 37 卷第 1 期

性. 之后, 应用软件会使用卷积神经网络等人工智能模型对预处理的图片进行特征提取、预测分类等操作, 最终输
出一张新的图像或包含有效信息的分析结果 [48] . 其中所集成的人工智能模型的类别及功能与该应用需要完成的
图像处理任务密切相关.
在图像处理领域, 测试用例生成主要面临以下挑战: (1) 目标动态变化的模拟: 为了验证被测对象对不同空间
布局的理解能力以及对视角和形状变化的鲁棒性, 测试用例需模拟出包含多种空间布局的场景动态变化过程, 同
时确保变异输入的语义不失真; (2) 复杂场景图像的多样化仿真: 为了评估被测对象在噪声或背景干扰条件下的准
确性, 测试用例需仿真不同复杂程度与质量等级的图像场景, 并确保生成场景在语义上相关, 且变异幅度合理可控;
(3) 基于图像语义特征的测试预言构建: 由于图像处理任务的结果与图像语义特性密切相关, 构建测试预言需精确
定位输入变化与预期输出之间的映射关系, 特别是在动态场景和复杂变异条件下的测试验证中.
当前, 测试领域的研究人员主要关注的两个图像处理任务是图像识别和目标检测. 这两个任务是计算机视觉
领域的核心任务, 也是许多图像处理应用的基础. 为解决上述挑战, 研究者们基于这两个图像处理任务的特性提出
了多种测试用例生成方法 (如表 1 所示). 图 6 展示了面向图像处理应用的测试用例生成方法研究框架. 针对现有
测试挑战, 研究者们设计了基于神经网络内部行为覆盖分析与基于图像特征或领域知识变异的技术路径, 以生成
涵盖多种场景和语义特征的输入图像数据, 此外, 通过测试预言的构建, 精准验证输入变异对神经元行为或输出语
义的影响, 从而评估图像处理系统的可靠性和稳健性. 接下来, 本文将按照图像处理任务对现有方法进行详细分析.

表 1 现有面向图像处理应用的测试用例生成方法总结

应用 发表 文献 测试输入生成 测试预言构建
任务 年份 来源
2020 [49] (1) 分割变异; (2) 融合变异 蜕变关系: 图像变异前后的识别结果不发生变化
图像
混淆错误: 混淆分数小于设定阈值
识别 2020 [50] 获取测试输入对应的神经元激活向量
偏差错误: 偏差分数大于设定阈值
工具可获取到生成图像中包含的对象, 并根据设
2017 [51] 排列基本对象, 调整图像参数, 保留物体纵横比
定的指标提供测试结果
(1) 改变亮度和对比度; (2) 平移缩放、水平剪切、旋转;
2018 [52] 蜕变关系: 图像变异前后的检测结果不发生变化
(3) 模糊; (4) 模拟雾效果和雨效果
目标 2020 [53] 将给定的真实图像作为背景, 再将对象实例插入背景 蜕变关系: 在不考虑插入对象的检测结果时, 原始
检测 图像和合成图像的目标检测结果是等价的
蜕变关系: 在原始图像中被检测到的目标应该在
2021 [54] 将背景图像进行三维建模, 采用启发式方法插入新对象
新合成的图像中仍然被检测到
从图像中移除对象, 再使用随机像素噪声填充被移除的 蜕变关系: 随机移除原始图像中检测到的对象之
2022 [55]
位置 一并不应该改变剩余对象的检测结果

测试挑战 技术路径 测试目标
验证被测系统在不同空
目标动态变化的模拟 间结构和排列变化场景
基于神经网络内部行为的覆盖分析
基于图像输入特征的变异生成 下的适应能力
基于场景特性的领域知识驱动变异
验证被测系统在复杂场
复杂场景图像的 景及低质量图像输入条
多样化仿真 件下的准确性
构建基于神经元行为分析和输出结果
映射的预言规则
利用变异策略构建语义一致性或者 构建能够准确验证图像
基于图像语义特征的 输入变化与输出语义关
测试预言构建 不一致性的预言, 验证变异前后的
输出是否符合预期 系的测试预言
图 6 面向图像处理应用的测试用例生成方法研究框架
3.1 图像识别
图像识别是指利用计算机自动识别图像中物体、场景、人物、文字及动作等内容, 并对图像进行处理、分析
与理解的过程. 该任务通常分为两个步骤, 图像特征提取和图像分类预测. 随着计算机技术及硬件的发展, 图片分