Page 244 - 《软件学报》2025年第5期
P. 244
2144 软件学报 2025 年第 36 卷第 5 期
6.2 退化实验分析
针对本文关注的两个重点问题, 进行了额外的退化实验来进行验证, 具体如下.
Q1: 利用图注意力网络来融合帖子之间的社会交互关系是否有助于提升社交媒体摘要效果? Q2: 本文设计的
去噪图自编码器模块是否能够有效去除网络中的噪声关系, 从而改善摘要效果? 针对这两个问题, 在两个数据集
上分别进行了退化实验, 退化实验的结果如表 5 与表 6 所示. 其中, w/o denoising 表示移除了模型中的去噪图自编
码器模块, 从而禁止了模型的去噪功能. w/o GAT 则表示移除模型编码器部分的图注意力网络, 从而禁止帖子之间
交互关系的捕捉. 根据实验结果, 可以得到如下观察.
表 5 DSNSum 在 TWEETSUM 数据上的退化实验结果 表 6 DSNSum 在 Weibo 数据上的退化实验结果
模型 R-1 R-2 R-L R-SU* 模型 R-1 R-2 R-L R-SU*
DSNSum 46.506 14.285 44.157 20.757 DSNSum 37.014 10.975 14.224 13.060
w/o denoising 45.020 13.329 42.715 19.825 w/o denoising 35.313 9.757 0 13.430 12.074
w/o GAT 44.142 12.646 41.681 19.097 w/o GAT 34.355 8.929 0 13.293 11.117
(1) 移除任何模块都会导致性能的降低, 该现象证明了 DSNSum 中的每个模块都对模型整体具有促进作用.
(2) 为了验证去噪过程的有效性, 本文移除 DSNSum 中的加噪与去噪过程, 对应的模型记为 w/o denoising. 实
验结果显示, 移除加噪与去噪过程导致性能下降, 这直接证明了本文的假设: 社交关系网络中的噪声关系会引入额
外的偏差并损害摘要性能. 理论上来说, 虚假关系会促使原本不相关的两个节点彼此靠近, 潜在关系会使得原本相
关的节点彼此远离. 通过学习移除这些噪声关系, DSNSum 模型能够对社交关系网络中的噪声关系更加鲁棒, 从而
学习更加可靠的帖子表示, 进而提升摘要的重要性与覆盖性.
(3) 为了探索不同社交关系的重要性, 本文进一步通过移除图注意力编码器模块来禁止相关帖子节点之间的
信息传递, 对应的模型记为 w/o GAT. 实验结果显示, 去掉 GAT 模块导致模型性能大幅下降, 这说明在社交媒体环
境下, 考虑帖子之间的社交关系能够有效促进对帖子内容的分析. 一方面, 图注意力网络能够从邻居节点处聚合相
关的背景信息, 从而为帖子的语义理解提供更丰富的线索, 缓解单个帖子内容不足的问题; 另一方面, 帖子所处网
络的拓扑结构也能够为帖子重要性的识别提供社交关系层面的线索.
6.3 去噪效果分析
另一个重要的问题是, 本文的去噪过程是否真的能够移除网络中的噪声关系, 并进而提升摘要性能? 本节从
两个角度回答该问题: (1) 去噪之后的社交关系网络是否比原始网络包含更少的噪声关系? (2) 去噪图自编码器学
到的帖子表示是否优于原始的帖子内容表示?
对于第一个问题, 为了探索 DGAE 是否真的能够提升网络的质量, 本文使用第 4.2 节得到的帖子初始内容表
示, 并保持帖子的表示不变, 使用去噪前后的帖子级别社交网络结构来分别计算网络中噪声关系的比率. 结果如
表 7 所示. 从结果中可以得到如下观察.
表 7 去噪之后 TWEETSUM 与 Weibo 数据中噪声关系的统计结果 (%)
数据集 虚假关系率 潜在关系率 平均噪声关系率
TWEETSUM 13.60 (↓25.01) 54.93 (↓0.86) 54.50 (↓0.87)
Weibo 45.29 (↓37.88) 49.48 (↓3.18) 46.57 (↓6.1)
注: ↓表示相比去噪之前下降的幅度
(1) 在去噪之后的网络结构中, 整体的噪声比率有所降低, 证明了去噪过程的有效性.
(2) 去噪之后, 在 TWEETSUM 与 Weibo 中的虚假关系的比率分别下降了 25.01% 与 37.88%. 这说明去噪模型
更擅长去除网络中的虚假关系.
(3) 对于潜在关系的移除, 模型取得了相对较低的效果, 主要包含两个方面的原因: a) 社交网络通常具有稀疏
性, 即网络中只有少数用户之间具有社交关系, 而大部分用户之间并没有社交关系. 因此, 未连接的节点对的数量
要远远大于有边相连的节点对的数量, 导致准确识别潜在关系更为困难. b) 数据集中的帖子都是面向话题的, 因此