Page 250 - 《软件学报》2025年第4期

1656 软件学报 2025 年第 36 卷第 4 期

过程中的训练轮次有关, 可由用户权衡选择遗忘的用时.
从可用性来看, 继续训练和参数编辑的方法可用性较高, 具体见“可用性”列. 继续训练方法 DeltaGrad 在某些
轮次计算精确梯度来更新参数, 在其他轮次采用近似方法来计算梯度以减少用时, 通过训练较大程度地保障了模
型的可用性. Unrolling SGD 在对模型进行微调时, 考虑模型在剩余数据集和遗忘数据集上的性能差异来设计损失
函数, 使得模型保有较高的可用性. 实验中使用 CR 和 Sekhari 方法时, 均用 LCODEC 来缩小要编辑的参数范围,
故 CR 和 Sekhari 方法得到的遗忘后模型与原模型在测试集上表现有较高的一致度.
从完成度来看, 继续训练、混合方法和参数编辑的机器遗忘方法完成度较高, 具体见“完成度”列. 完成度比较
DIST outpu 和 t DIST para , 参数编辑的方法 CR 和 Sekhari 均只选择了一部分参数进行更新, DIST par 较小, 但从输出分
a
n
布上看, CR 得到的 M unlear 更接近 M retrain . 在基于训练的方法中, DeltaGrad 基本还原了模型重新训练过程, 与
M retrai 更接近, 而 Finetune 和 Unrolling SGD 均为在 M 0 基础上继续训练, 它们得到的 M unlear 在本文评估的所有
n
n
方法中处于中下水平. 混合方法 SISA 会对涉及遗忘数据集的子模型进行重训练, 在与之相同的数据分块训练模
式下, 其遗忘后的模型与重训练模型理论上一致, 只是因分块时数据分布的随机性而在性能上有细微差异.
结合以上 3 个方面, 继续训练类方法速度较慢, 但可用性和完成度较高, 且表现比较稳定. 输入编辑和输出编
辑类方法可用性与完成度不高. 参数编辑的方法速度较快, 可用性和完成度也属于中上, 适用于需要快速得到
M unlear 而对模型性能要求较低的场景, 与第 2.4 节和第 3.4 节的结论相符.
n

6.2.2 标签总数影响分析
对单个标签进行遗忘时, 数据集标签总数对机器遗忘方法的效果影响如何? 为了探究该问题, 本文在一组标
签遗忘数不变, 标签总数改变的场景下进行了实验 (具体实验设置见第 6.1.4 节), 图 3 为实验结果, 图中所示为各
方法在所有数据集上实验结果的均值.

100
10 5
80 0.3 0.020
10 4
Speedup 10 3 2 ACC test 60 DIST output 0.2 DIST para 0.015
10
40
10 1 0.1
20 ACC remained
10 0 0.010
0
10 -1 0
20 40 60 80 100 20 40 60 80 100 20 40 60 80 100 20 40 60 80 100
标签总数 标签总数 标签总数 标签总数
Finetune Unrolling SGD SISA DeltaGrad Unlearnable Linear Filtration CR Sekhari Chundawat
图 3 标签总数改变时各方法性能表现

为了更准确地探究标签总数与机器遗忘方法性能之间的关系, 本文计算了不同标签总数与不同评价指标间
的 Spearman 相关系数, 结果如表 14 所示. Spearman 相关系数在 [−1, 1] 之间, Spearman 相关系数为负表示负相关,
反之为正相关, 绝对值越大, 则相关性越强. 如对于机器遗忘方法 Finetune, 其 Speedup 和标签总数之间的相关系数
为−1.000 0, 说明两者成明显的负相关关系.

表 14 不同标签总数与不同评价指标间的 Spearman 相关系数

机器遗忘方法 Speedup ACC test ACC deleted DIST output DIST para
Finetune −1.000 0 −0.900 0 −0.700 0 −0.900 0 0.700 0 0.900 0
Unrolling SGD −1.000 0 −0.800 0 −0.300 0 −0.800 0 0.500 0 0.974 7
SISA −0.800 0 −0.900 0 −0.300 0 −0.600 0 0.500 0 －
DeltaGrad −0.800 0 −0.900 0 −0.288 7 −0.900 0 0.000 0 －
Unlearnable −1.000 0 −0.707 1 −1.000 0 −0.707 1 0.400 0 −0.359 1
Linear Filtration −0.300 0 0.000 0 −0.894 4 0.000 0 0.300 0 －
CR −0.300 0 −0.894 4 −0.866 0 −0.894 4 0.600 0 0.410 4
Sekhari 0.600 0 −0.353 6 −0.866 0 −0.353 6 0.600 0 0.410 4
Chundawat −0.300 0 −0.900 0 −0.366 7 −0.259 3 0.400 0 −0.210 8