Page 270 - 《软件学报》2025年第10期
P. 270
丁世飞 等: 面向二分类问题的直觉模糊深度随机配置网络 4667
了巨大的挑战. 我们混合采用了普通二分类数据集和不平衡二分类数据集, 以期对模型的二分类精度有一个更加
全面的评估.
表 1 数据集详细信息
数据集 样本数 负样本数 正样本数 特征数
ecoli2 335 283 52 7
ecoli-0-1-4-7_vs_2-3-5-6 336 308 28 7
ecoli3 335 300 35 7
wpbc 198 151 98 33
heart 270 150 120 14
pima 768 268 500 8
vehicle1 845 628 217 18
abalone918 730 688 42 8
3.3 实验结果分析
[1]
我们选取了 KRR [15] 、RVFL 这两种经典的机器学习模型, 以及 IFTWSVM [14] 、IFKRR [16] 这两种结合直觉模
糊理论改进的算法模型, 还有 SCN、DSCN 与本文提出的 IFDSCN (在本实验中, 隐含层数量设为 3) 进行了对比
实验.
由于模型在某一个数据集的优异表现可以弥补其他数据集的差距, 因此采用单一的平均精度衡量标准并不能
很好地体现模型的精度. 本实验对每个数据集的模型进行排序以分析性能. 我们对每一个模型在各个数据集上分
别进行排序, 性能越低的模型秩越大, 而性能越高的模型秩越小, 故秩最小的模型精度最优. 设在 N 个数据集上评
∑
N
i
i j i j R j = (1/N) r .
估模型, 并设 r 是第 个模型在第 个数据集上的秩. 则第 个模型的平均秩为 j
j i=1
从表 2 的实验结果中可以看到, 我们提出的 IFDSCN 模型的二分类精度在 8 个数据集上有 7 个领先于其他模
型, 平均秩最高. 这表明 IFDSCN 在二分类任务上有着较大的精度优势. 除此之外, IFDSCN 在全部数据集上的二
分类精度都优于 DSCN, 这证明了本文提出方法对 DSCN 改进的有效性.
表 2 基准数据集实验结果 (ACC)
数据集 IFTWSVM KRR IFKRR RVFL SCN DSCN IFSCN IFDSCN
ecoli2 0.857 1 0.696 4 0.808 7 0.807 2 0.943 1 0.945 3 0.945 5 0.950 1
ecoli-0-1-4-7_vs_2-3-5-6 0.917 4 0.9 0.839 1 0.8 0.959 2 0.956 3 0.968 7 0.973 2
ecoli3 0.857 1 0.721 8 0.808 7 0.807 2 0.925 7 0.926 0 0.932 2 0.935 5
wpbc 0.564 0.494 4 0.519 5 0.671 6 0.756 9 0.762 2 0.779 6 0.782 2
heart 0.839 8 0.871 7 0.786 6 0.857 4 0.803 7 0.805 3 0.818 5 0.821 3
pima 0.758 2 0.761 3 0.688 6 0.745 2 0.758 2 0.762 5 0.770 9 0.779 8
vehicle1 0.785 9 0.776 6 0.736 6 0.768 3 0.802 9 0.812 5 0.822 5 0.833 6
abalone918 0.750 2 0.696 4 0.702 2 0.703 5 0.948 9 0.954 7 0.952 8 0.964 4
平均准确率 0.791 2 0.739 8 0.736 2 0.770 0 0.862 3 0.865 6 0.873 8 0.886 1
平均秩 4.93 6.13 7.13 6.12 4.44 3.25 2.62 1.375
我们还采用统计检验 Friedman 对各学习模型的性能差异进行了详尽地分析. Friedman 检验将每个数据集所
用的算法模型分别排序, 若出现平局的则赋予平均排名. 零假设表明所有的算法都有相同的性能. 在拒绝零假设的
k 个学习模型中的性能是否存在显著差异, 我们采用 Nemenyi 后续检验对所有
情况下, 为了判断两种学习模型在
学习模型进行比较. Nemenyi 检验结果如图 2 所示. 较好的模型排名靠后, 较差的模型排名靠前, 因此本文提出的
IFDSCN 的性能最优.
此外, 我们采用配对 win-tie-loss 符号检验来评估模型. win-tie-loss 符号检验评估了每个分类器是赢家、输家
或平局的数据集的数量. 在 win-tie-loss 符号检验中, 原假设认为, 两个模型的表现无显著差异. 当两个模型的胜数
√
N/2+1.96 N/2 时, 称两个模型有显著差异. 如果出现平局, 则在被比较的模型中平均分配数量. 通过简单
至少为
