Page 112 - 《软件学报》2020年第12期

3778 Journal of Software 软件学报 Vol.31, No.12, December 2020

着非常重要的作用.而动词+名、动词等结构往往代表了某一动作的发生,在人们对事件描述中有很重要的作用.
所以,蕴含现象往往是在指称某一事物或者描述某一事件中发生的.
4 基于深度学习的中文蕴含类型识别

我们在上文的工作从词汇、句法、常识这 3 个角度归纳了 7 种中文文本蕴含类型.这些蕴含类型概括了中
文蕴含数据的语言特征,将原本笼统的蕴含概念具体化,显示了蕴含现象内部的差异.中文蕴含类型识别就是以
这 7 个蕴含类型作为任务标签,判断一组蕴含句对属于上文提到的哪种蕴含类型的分类任务.
虽然中文蕴含类型识别任务承袭自文本蕴含识别任务,但是两者具有明显不同.
• 文本蕴含识别判断的是两个句子是否具有蕴含关系,以“蕴含-矛盾-中立”为标签的 3 分类任务;
• 而中文蕴含类型识别任务是已知句对具有蕴含关系的情况下,进一步判断该句对属于何种蕴含类型,
以中文文本蕴含类型为标签的 7 分类任务.
中文蕴含类型识别在原本的文本蕴含识别基础上更近一步,提高蕴含推理的解释性.在这一节,我们将用
ESIM [11] 和 BERT [12] 两个模型对中文文本蕴含类型进行分类.

4.1 基于ESIM的中文文本蕴含分类
Chen Q 在英文蕴含识别上提出了 ESIM 模型,采用了双向 LSTM 编码、注意力机制实现软对齐,兼顾句法
信息的影响.ESIM 是文本蕴含领域的经典模型,我们对模型做了适当的调整,探索蕴含句信息和局部语块之间
的语义关系,以便通过全局优化获得更好的语义表示框架.模型主要分为 4 层:输入编码层、局部推理建模层、
推理组合层、池化层.为了验证蕴含语块的位置信息对 ESIM 模型识别蕴含类型的影响,我们设置了一组对照实
验,将不包括蕴含语块位置信息的模型称为 ESIM1,包括蕴含语块位置信息的模型称为 ESIM2.两个模型的结构
基本类似,仅在遮盖部分有所不同.以 ESIM2 为例,模型如图 4 所示.

Fig.4 Structure of ESIM model
图 4 ESIM 模型结构图
在输入编码层,使用 BiLSTM 将蕴含前件 P 和蕴含后件 H 的语义信息表示为 P 和 H .

在局部推理层,使用注意力机制对 P 和 H 的词语及其上下文进行建模,得到局部推理关系 P 和 H .以 P 为

例,将得到的局部推理信息进行增强: P − , P P P× ,与 ,PH 组合得到全局与局部推理关系的组合表征.
同理,我们也对 H 进行了上述操作.