Page 65 - 《软件学报》2025年第12期

5446 软件学报 2025 年第 36 卷第 12 期

4. d i,j = Softmax(ϖ i,j )
∑
5. Υ i = d i,j · ˜e s i,j
e
j
6. ˆ Υ i = ϑ(Υ i )
e
7. 更新所有样本:
d i,j = Softmax(ϖ i,j + ˜e · ˆ Υ i )
s
8. i,j
9. End Repeat
10. Return ˆ Υ i
3.2.3 关系模块
q
在关系模块中, 使用归纳模块生成的预测结果 ˆ Υ i 和通过编码器模块得到的 e 查询向量来评估每个查询 q 和
类之间的相关性并生成关系得分, 其取值范围在 0–1 之间, 本文加入了神经张量层 [30] 作为交换函数, 并定义了关
系向量的计算公式如下:

q
T
e )
χ( ˆ Υ i ,e ) = f( ˆ Υ M [1:g] q (11)
i
T
g
g
其中, M [1:g] 是神经张量层, M 是指索引 g 下的神经网络层, ˆ Υ 是 ˆ Υ i 的转置, M ∈ R 2u×2u . f(·) 是 ReLU 非线性激活
i
函数, 最终第 i 类和第 q 查询之间的关系最终得分 r iq 由 η 函数激活的全连接层得出:

q
r iq = η(W r χ( ˆ Υ i ,e )+b r ) (12)
神经张量层通过对查询与类之间的时序依赖关系计算, 确保网络能够生成精确的关系得分.
3.2.4 目标函数
本文采用的是均方差损失函数, 该函数不仅计算样本的真实标签预测损失, 还加入了其余标签的预测损失. 均
方差损失函数通常会产生较平滑的梯度, 对偶然样本误差不那么敏感, 更有效地优化模型的预测概率, 使其输入样
本更接近真实的标签分布. 目标函数将关系模块得到的最终得分 r iq 回归到真实得分 y q 进行训练. 在回归过程中,
设定匹配正确的相似度为 1, 匹配错误的相似度为 0, 使得模型能更好地理解样本之间的相似性关系, 模型的目标
损失函数定义为:

n
C ∑∑
Loss(r iq |S,Q) = (r iq −1∗(y q == i)) 2 (13)
i=1 q=1
其中, ∗ 表示逐元素乘, n 为查询集大小, 在算法 1 已定义, y q == i 的取值为 0 或者 1, C 为预测类别总数. 依据元学
习算法, 减少目标函数损失计算神经网络权重梯度, 调整权重让网络更好地学习到数据的时序逻辑特征信息.
本文所提网络结构通过多层次的特征表示和逐层的合成过程, 确保时序特征在每一层都得到保留和强化. 通
过胶囊网络的多维表示和关系模块的高阶交互计算, 网络能够逐步合成出符合时序逻辑的最终分类结果.
3.3 模型增强模块

相较于其他时序语义分类, 数据集中监控语义的自然语言需求数量极少, 这可能导致 FSLNets-TLSA 网络在
训练到足以正确分析监控语义时陷入过拟合, 进而在分析新数据时性能下降. 为了应对这一问题, 本文引入并改良
了 EDA 数据增强 [31,32] 和 PGD 对抗训练 [33] 两个模块, 旨在增强网络模型的性能. EDA 数据增强通过同义词替换、
随机插入、删除和交换等方式提升文本数据的多样性, 而 PGD 对抗训练通过在输入数据上生成对抗扰动来增强
模型的鲁棒性, 从而提高对抗攻击的防御能力. 融入增强模块后, FSLNets-TLSA 扩充形成 FSLNets-MSA (few-shot
learning networks-monitoring semantic analysis) 网络以提升模型对监控语义的识别能力. 具体而言, 本文在输入层
后通过同义词替换和回译方法扩充数据集, 以缓解数据稀缺问题. 在词向量层实施 PGD 对抗训练, 以增强模型的
鲁棒性.
本文采用同义词替换和回译两种 EDA 数据增强策略, 以增加数据的多样性并提升模型的泛化能力. 同义词替
换通过将原始数据中的词语替换为其同义词来生成新句子, 扩大数据集规模同时保持句子原有的语义, 本文使用