Page 266 - 《软件学报》2021年第8期

2548 Journal of Software 软件学报 Vol.32, No.8, August 2021

Fig.1 Model overall framework diagram
图 1 模型整体框架图
2.1 输入层
输入层的主要目的是构建记忆单元,记忆单元的最小组成部分是一个句子以及与该句子对应的 n 个记忆
句子,所以记忆句子的选择是本文需要解决的主要问题.模型的计算时间和空间,随着记忆句子的增大而增大,
但在引入记忆句子的同时,模型的效果也有所提升.
模型的输入包括输入句子 s、句子 s 在训练集中对应的 n 个记忆句子和这 n 个句子对应的标签序列.本文
[5]
使用了两种句子距离的计算方式:第 1 种使用 Guan 等人 提供的计算两个句子词性序列编辑距离的方法,计算
句子 s 和训练集中所有句子的距离,选择前 n 个与句子 s 距离最近的句子和这 n 个句子对应的标签序列存入记
忆单元中;第 2 种针对命名实体识别任务,本文提出一种计算实体类别距离的方法,计算两个句子包含的实体类
别的差异.由于记忆句子需要包含输入句子中的相应的实体类别,本文首先通过文本多标签预测模型预测句子
中可能包含的实体类别,然后将训练集中与输入句子包含的实体类别最相近的句子存储在记忆单元中.具体地,
假如输入句子包含的实体类别集合为 Y s ={y 1 ,y 2 ,…,y k },y k ∈C,训练集中句子中包含的实体类别集合为 Y t ={y 1 ,
y 2 ,…,y n },y n ∈C,其中,C 是所有实体类别的集合,k 和 s 分别表示输入句子和记忆句子包含实体类别的数量,该方法
先计算集合 Y s 和集合 Y t 的差集,以两者差集包含的实体类别数量|Y s −Y t |降序,再以集合 Y t 包含的类别数量|Y t |降
序,对训练集中的句子进行排序.让记忆句子包含输入句子实体类别的同时,记忆句子包含的实体类别最少.本
文通过实验验证:当多标签文本分类模型预测句子中包含的实体类别越准确,模型的命名实体识别的效果越好.
2.2 嵌入层

嵌入层是为了将句子的字符映射到同一个语义空间中,根据上下文的语义将句子中的字符编码成向量.本
文选择 RoBERTa 语言模型 [17] 对句子中的字符进行编码,因为该模型是深度的神经网络模型,并且在大规模的语
料上进行训练,可以更好地归纳自然语言文本中的语义和语法上的特性.但是由于模型参数量大,需要的计算空
间也随之增大.