Page 198 - 《软件学报》2020年第9期

张策 等:可靠性模型中故障检测率研究述评 2819

上发生预测失真现象),大部分模型的预测曲线随着测试的进行都逐渐趋向于 0,表明效果较为理想;
(2) 模型本身的建模合理性对预测效果存在着较大影响,但预测依然会受到模型参数个数、数据集本身
的数量大小等因素的影响,例如在测试前半程,预测曲线的剧烈起伏变化,表明模型正在进行对数据
的拟合适应;
(3) 具有(弯曲)S 型 FDR 函数的模型能够较快地趋于 0 水平线,表明其预测能力较好,这包括 M-4,M-5.同
时,结合上述针对于图 7、图 8 的讨论可得,具有优秀适应能力的 S 型 FDR 能够帮助模型呈现更为强
大的拟合与预测能力;
(4) M-10 在 DS 5 上的预测性能并不理想,这与其在 DS 5 上的拟合曲线所显示的拟合性能不理想相一致.
从而可以得出,任何一个模型不能在所有的数据集上表现良好(包括拟合性能和预测性能),这种现象
是数据集本身或模型参数数量过多等因素造成的;
(5) 呈现 S 型变化趋势的 () = b ,在多个数据集的多个模型上保持良好的性能,表明实际测试环境
bt
1 β e − bt
+
存在移动点/拐点 CP,而并非平滑进行,因此,包含 CP 的模型能够具有更好的性能.
5.4 讨 论
基于前述 11 个模型在 12 个真实失效数据集上的大量实验结果分析,特作如下讨论.
(1) 整体上,可靠性模型不能适应于所有的数据集,且根据实验结果可观察出,其拟合度量与预测具有相
对的一致性.这两点与 FDR 的关联并不大,从本文大量的实验结果中没有得到明显关联支撑:① 可靠
性模型的有效性具有较大的局限性,模型在一部分数据集上表现优秀的同时,在另外一些数据集上效
果一般甚至较差,适用性受到较大限制;② 此外,模型的拟合性能与预测性能具有基本统一性;
(2) FDR 对模型的影响,特别是同一框架中不同的 FDR 对性能的影响存在较大差异:① 框架模型具有较
强的柔韧性,如本文提出的一样,不同的 FDR 使得框架模型衍生为具体的模型,这为区分 FDR 的性能
差异带来可能;② 同一 FDR 在不同可靠性模型中的性能通过模型的整体性能来反映,由于不同模型
是研究人员基于不同的假设建模得到,因而难以进行有效衡量;
(3) FDR 建模具有客观性与主观性两个方面:由于 FDR 与整体测试过程紧密相关,而测试过程是测试人
员按照测试策略进行测试工作不断发现软件故障的过程,是多个随机因素叠加在一起的随机过程,具
有很强的随机性.因此,测试过程的随机性会直接为 FDR 的建模带来困难:① 对于具有较强测试规划,
呈现一定规律的测试过程,FDR 往往具有明显的变化规律,这为 FDR 建模提供依据;② 测试过程的复
杂性解释了本文给出的当前研究中存在多种类型 FDR 形式的主要原因,具有符合多种实际的真实性;
(4) 包含更多测试信息的发布将为 FDR 的建模与研究带来直接帮助,也为深入研究可靠性的增长与变动
提供有效支持.
特别指出:FDR 受到多种因素影响,具有典型的随机性,例如不同测试策略、测试工具与方法等都会对其带
来扰动影响.因此,现有研究中提出了多种不同形式的 FDR,且相互之间的差异性较大,但在特定的测试环境下
还是具有合理性的.在实际测试过程中,由于测试都是在预定或已知的条件下主动实施的,此时完全可以根据测
试整体安排来选择和确定 FDR.

6 研究挑战与趋势分析

6.1 面临的挑战
6.1.1 描述软件测试过程长期变化规律的 FDR 函数
FDR 是 SRGM 中最为重要的参变量,其描述了单位时间内被检测到的故障数量的变化情况,因而其在本质
上刻画了整个测试过程中测试效率的演变,对于可靠性模型的演变尤其是增长至关重要.
从本文前述介绍中可以看出:FDR 实际上涉及到 SRGM 中的故障检测率函数 b(t),当考虑测试工作量时,就