Page 356 - 《软件学报》2024年第6期

2932 软件学报 2024 年第 35 卷第 6 期

8.3% 和 2.2% 的提升. 其中, “bod”类别实体的 F1 值较之 GlobalPointer 有着 3.7% 的提升. 对比表 2 中所统计不同
类别实体嵌套关系数量可以发现, “bod”类别实体作为其他类型实体的内部嵌套实体的情况明显高于其余实体类
别, 这印证了我们的方法所制定的针对不同实体嵌套模式和实体类型的过滤方式的有效性. 在第 4.5.2 节我们还将
进一步讨论过滤规则的影响.
4.5 系统影响因素分析
在本文中, 我们提出了实体边界识别和嵌套规则过滤两个机制来提升多头选择机制对实体识别的效果. 为了
具体验证系统中不同模块对系统整体性能的影响, 我们进行了消融实验来对每个模块的作用进行具体分析. 我们
对系统模块进行了如下实验: (1) 完整包含实体边界识别联合训练以及实体嵌套规则过滤; (2) 不进行边界识别联
合训练, 只采用编码层中的隐层信息单独训练多头识别模型并进行实体嵌套规则过滤; (3) 进行实体边界识别和多
头识别模型的联合训练但去除实体嵌套规则过滤; (4) 只进行多头识别模型的训练, 去除实体边界识别联合训练以
及实体嵌套规则过滤步骤. 实验结果如表 6 所示. 可以看到, 本文所提出的两种针对实体边界的改进机制都对模型
有着正向的性能影响. 对比于原始的多头选择模型, 加入实体边界识别信息联合训练和加入实体嵌套规则过滤的
模型分别有着 0.4 和 0.7 的 F1 值提升. 接下来我们将对这两个机制进行具体的分析.
span-F1

表 6 MTS-NER 消融实验结果

方法 F1
MTS-NER 0.642
w/o joint training 0.636
w/o span filtering 0.633
w/o joint training + span filtering 0.629

4.5.1 实体边界标注信息影响
在具体的实验中, 我们一共设计了两种针对实体首尾边界的标注方式, 除了第 3.2 节中所提到的“BMEOS”方
式外, 我们还对“BMEOS+type”方式进行了实验, 其标注方式如图 6 所示.

B-pro M M E-sym O B-pro E-pro M M M M M E-sym O
呼 吸 困 难 伴 X 线 心 影 显 著 增 大 。
pro
sym
sym
图 6 “BMEOS+type”方式边界标注示例

在“BMEOS+type”标注方式下, 模型的序列标注模块所识别出的标签同时包含了实体边界信息和实体边界字
所隶属的内层实体类别信息.
表 7 给出了模型在两种边界字标注方式下的 F1 值表现 (未进行实体嵌套规则过滤), 其中“span-F1”和“entity-
F1”分别表示模型的序列标注模块对字边界的识别性能和融合边界信息后模型整体对实体的识别性能. 可以看出,
尽管采用“BMEOS+type”方式进行实体边界字标注可以包含更多的实体类别信息, 但是在最终的 F1 值性能体现
上和“BMEOS”方式具有较大差距. 我们分析造成此种现象的主要原因是, 过多的标签种类造成序列标注的准确率
下降, 继而导致将大量的噪声数据错误传递给了接下来的多头选择模块, 从而使得模型整体性能进一步下降. 因此
我们选择较为简约的“BMEOS”标注方式对实体边界字进行标注并联合训练.

表 7 不同边界字标注方式下的性能表现

标注方式 entity-F1
BMEOS 0.796 0.636
BMEOS+type 0.687 0.556

4.5.2 过滤规则影响
在实验过程中, 我们对中文医疗命名实体抽取数据库 (CMeEE) 的数据所包含的嵌套实体类别数目进行了统