Page 163 - 《软件学报》2021年第9期

李卫疆 等:基于多通道特征和自注意力的情感分类方法 2787

习对情感分类有重要影响的词语.其中,重点对特殊的情感词进行标注:程度副词(如非常、极其)、正面
d
/负面评价词(如好、不好)、正面/负面情感词(喜欢、失望)和否定词(如不、从不).与词向量 W 操作一
m
样,使 t i ∈Tag ,其中,t i 为第 i 个词性特征向量,m 是词性向量的维度;
• 位置值向量.在句子中,词与词之间的位置往往隐藏着重要信息,同一个词语出现在不同的位置,可能表
l
达着不同的情感信息.将每个位置值映射成一个多维的连续值向量 p i ∈Pos ,其中,p i 为第 i 个位置特征
向量,l 是位置特征向量的维度;
• 依存句法向量.依存句法分析是通过分析语言单位内成分之间的依存关系揭示其句法结构.通过对输
入的句子进行句法分析,确定句子的句法结构和句子中词汇之间的依存关系,可以让模型在更大程度
上学习情感分析任务中现有的语言知识,挖掘更多的隐藏情感信息.将每个句法特征映射成一个多维
p
连续值向量 parser i ∈Par ,其中,parser i 为句子 s 中第 i 个词的句法特征,p 是句法特征向量的维度.
接着,本文以词向量为基础,与词性特征向量,位置值向量和依存句法向量进行两两结合,形成 3 个通道作为
网络模型的输入.让模型从不同角度去学习句子中不同方面的情感特征信息,挖掘句子中不同角度的隐藏信息.
在实验中,本文使用一种简单行向量方向拼接操作:
d
R wt =W ⊕Tag m (1)
d
R wp =W ⊕Pos l (2)
d
R wpa =W ⊕Par p (3)
2.2 长短期记忆网络和层归一化
长短期记忆网络(LSTM) [6,7] 是对递归神经网络(RNN)的改进.在 LSTM 中,隐藏状态 h t 和存储器单元 c t 是之
前的 h t−1 和 c t−1 和输入向量 W t 的函数.每个位置(h t )的隐藏状态只考虑前向,而不考虑后向,形式如下:
c t ,h t =g LSTM (c t−1 ,h t−1 ,W t ) (4)
双向 LSTM [30] 考虑前向和后向,学习两个方向的信息,能够更好地捕捉双向的语义依赖,如图 2 所示.

h 1 h 2 h n
... ... ... ...

... LSTM r
...
LSTM l

... ... ...
...
... ... ...

w 1 w 2 w n
Fig.2 Bidirectional LSTM network structure
图 2 双向 LSTM 网络结构

双向 LSTM 是使用两个 LSTM 沿着序列的两个方向(前向和后向)扫描,并将两个 LSTM 的隐藏状态串联起
来表示每个位置,前向和后向的 LSTM 分别表示为

t , ch t = g LSTM (c − 1 ,h t − t 1 ,W t ) (5)
LSTM
t , ch = g (c t+ 1 ,h t+ 1 ,W t ) (6)
t
其中,g LSTM 与公式(4)中的相同,两个 LSTM 中的参数是共享的.整个句子的表示形式是 [, ]hh ,其中,n 是句子词
1
n

语的总个数.在位置 t 表示为 h = h ⊕ h ,这是前向 LSTM 和后向 LSTM 隐藏状态的级联.通过这种方式,可以同
t
t
t
时考虑前向和后向上下文.