Page 160 - 《软件学报》2021年第9期

2784 Journal of Software 软件学报 Vol.32, No.9, September 2021

随着深度学习技术的发展,基于神经网络的方法成为主流,被广泛地应用于自然语言处理(NLP)领域中.与
传统的机器学习方法相比,深度学习在情感分析上表现得更为优秀,其不需要建立情感词典.深度学习能够自动
捕捉从数据本身到高层更为复杂的语义映射,在性能上体现出比以往方法更好的效果.递归自动编码器 [1,2] 、卷
积神经网络(CNN) [3−5] 和长短期记忆网络(LSTM) [6,7] 是目前在情感分析任务中常见的深度学习模型.
虽然这些神经网络模型在情感分类任务中取得了巨大的成功,但依然存在着一些缺陷:
首先,忽略了情感分析任务中现有的语言知识和情感资源,不能充分地利用这些情感特征信息;其次,语言
[8]
知识(如情感词汇、否定词和程度副词等),在神经网络模型中未被充分使用.Chen 等人 提出了一种结合情感词
典和卷积神经网络的情感分类方法(WFCNN),主要是利用情感词典中的词条对文本中的词语进行抽象表示,再
使用卷积神经网络提取抽象词语的序列特征.该方法中的情感特征依赖于人工整理的情感词典,使用的特征单
一,难以正确的表达每个词在句子中的重要程度,无法充分利用情感分析任务中语言知识和情感特征信息;并且
该方法使用的 CNN 滤波器的词容量有限的,不能捕捉到远距离依赖,无法获得句子中非相邻词之间的语义关
[9]
系.LSTM 可以通过对句子的顺序建模来解决这个限制.Qian 等人 提出了句级标注训练的 LSTM 模型,对情感
词汇、否定词和程度副词等现有的语言规则进行建模,能够有效地利用语言学规则,实验也取得了较好的结果.
但是,该模型需要大量的人力来建立强度正则化器.
另外,在深度学习中,很多的 NLP 任务都可以看作是一个序列建模任务(sequence modeling).而序列模型存
在一个问题:无论输入的文本序列的长度为多少,最终都会将这个文本序列解码成为某一个特定的长度向量.如
果设定的向量长度过短,那么会造成输入文本信息丢失,最后会导致文本误判.Pei 等人 [10] 针对这个问题提出了
一种将词性注意力机制和 LSTM 相结合的网络模型,利用注意力矩阵计算出给定词句的注意力特征.实验结果
表示:在一定的维度内,该模型能够取得较好的情感分类效果;但是,当文本映射的维度超过了阈值,分类的准确
率会随着向量维度的提升而降低.Liu 等人 [11] 提出了一种具有注意机制和卷积层的双向 LSTM 文本分类模型,
用来解决文本的任意序列长度问题,以及文本数据的稀疏问题.
针对以上问题,本文提出了一种基于多通道特征和自注意力的双向 LSTM 情感分类方法(MFSA-BiLSTM),模
型由两部分组成:多通道特征和自注意力机制(self-attention).首先,本文对情感分析任务中现有的语言知识和情
感资源进行建模,将输入文本句子中的词向量与词性特征向量,位置特征向量和依存特征向量三者进行结合形
成不同的特征通道向量作为 BiLSTM 输入,让模型从不同的角度去学习句子中的情感特征信息,挖掘句子中不
同方面的隐藏信息.然后,将这 3 个特征通道向量与 3 个 BiLSTM 的输出向量进行结合,再利用自注意力模型来
发现句子中的重要信息,并对这些重要信息进行重点关注加强.本文采用的自注意力是注意力的一种特殊情况.
与传统的注意力机制不同的是,自注意机制能够减少对外部信息的依赖,无视词与词之间的距离,直接计算依赖
关系,学习每个词对句子情感倾向的权重分布,重点关注以及加强句子中的情感特征,可以使模型学习到更多的
隐藏特征信息.本文的主要贡献如下.
(1) 本文经过研究发现,对情感分类任务中特有的语言知识和情感资源进行建模可以增强分类效果.本文
通过在序列 BiLSTM 模型上建立多个特征通道向量输入来解决这个问题;
(2) 提出了一种自注意力机制.将多特征向量和 BiLSTM 模型的隐藏输出层相结合,为不同词赋予不同的
情感权重.能够有效地提高了情感极性词的重要程度,充分挖掘文本中的情感信息;
(3) 同时,在本文提出的 MFSA-BiLSTM 模型基础上,本文提出了用于文档级文本分类任务的 MFSA-
BiLSTM-D 模型;
(4) 在句级和文档级据集上验证了本文提出 MFSA-BiLSTM 模型和 MFSA-BiLSTM-D 模型在情感分析
任务中的有效性.

1 相关工作

1.1 用于情感分析的语言知识
在情感分析任务中,语义知识和情感资源,例如情感词汇、否定词语(不、从不)、程度词(非常、绝对地)等