Page 171 - 《软件学报》2021年第9期

李卫疆 等:基于多通道特征和自注意力的情感分类方法 2795

Fig.6 Influence of dependency parsing features in different dimensions
图 6 句法特征在不同维度上的影响
在图 7 中展示了 MFSA-BiLSTM 和 MFSA-BiLSTM-D 两个模型在不同维度下和不同初始词嵌入下的性能.
本文使用以下集合中的向量大小{50,100,150,200,300},并设置预训练和随机两种初始词嵌入.注意,模型中所有
单元的尺寸也会随之变化.从表 7 中可以看出:在所有数据集上,使用预训练的词嵌入向量的 MFSA- BiLSTM 和
MFSA-BiLSTM-D 比使用随机字嵌入向量的 MFSA-BiLSTM 和 MFSA-BiLSTM-D 效果更好.当向量大小变化
时,使用预训练的词嵌入向量模型的性能都呈现稳定上升的趋势;而使用随机词嵌入向量的模型在向量>150 时,
开始出现波动.与随机词嵌入向量相比,预训练词嵌入向量具有明显的优势.

Fig.7 Influence of different word embedding and vector size
图 7 不同的词嵌入和向量大小的影响

3.6 不同文本长度的影响
在序列模型中,会将输入文本序列解码为某一个特定的长度向量,若向量的长度设定过短,可能会造成文本
信息的丢失,导致文本理解出现偏差.针对这一问题.本小节在电影评论数据集(MR)进行了文本长度调节实验.
在实验中,根据电影评论数据集(MR)可视化(如图 8(左)所示).设定文本长度为 15~60,间隔为 5.在 LSTM,
BiLSTM,MF-BiLSTM(无自注意力机制,有多通道特征)和本文提出的 MFSA-BiLSTM 等 4 个序列模型上进行了
实验.实验结果如图 8(右)所示:当文本长度小于 35 时,LSTM,BiLSTM 和 MF-BiLSTM 这 3 个模型的分类性能急
速下降;当文本长度大于 35 时,LSTM,BiLSTM 和 MF-BiLSTM 这 3 个模型的分类性能较平缓或呈缓慢上升趋
势.本文提出的 MFSA-BiLSTM 模型的分类性能总体较稳定呈平缓趋势,当文本长度大于 50 时,MFSA-BiLSTM
模型的分类性能呈下降趋势.
因此,经实验分析可以看出:本文提出的 MFSA-BiLSTM 模型,在文本长度调节过程中的分类效果相差并不
是很大.原因是 MFSA-BiLSTM 模型中的自注意力是由自辅助矩阵、初始注意矩阵和额外辅助矩阵这 3 部分组
成,其中,初始注意矩阵能够在一定程度考虑到文本长度.但是,当文本长度超过一定阈值时,由于数据稀疏问题,
MFSA-BiLSTM 模型的分类性能会受到影响.