Page 170 - 《软件学报》2021年第9期

2794 Journal of Software 软件学报 Vol.32, No.9, September 2021

和词性向量组成)(如图 1 所示).为了揭示语言特征对模型的影响,本文在 5 个数据集上对 MFSA-BiLSTM 和
MFSA-BiLSTM-D 这两个模型分别进行了语言特征调节实验.
从表 8 和表 9 可以看出:随着语言特征的添加,模型的复杂度越来越高,模型的性能起伏比较大,但是模型的
总体性能随着语言特征的添加呈上升趋势.使用 3 个通道的 MFSA-BiLSTM 和 MFSA-BiLSTM-D 比只使用了
词特征的模型的分析提升了 1.8%~4.4%,其中,R wt 和 R wpa 在性能提升方面起着关键性的作用.这证明了多通道语
言特征可以进一步提高 MFSA-BiLSTM 和 MFSA-BiLSTM-D 的性能.
Table 8 Accuracy for MFSA-BiLSTM with different linguistic feature
表 8 语言特征下 MFSA-BiLSTM 的准确性
特征通道
MR SST-5 SST-2
R wp R wpa R wt
√ × × 79.1 49.7 87.8
× √ × 80.9 50.2 88.3
× × √ 82.1 50.8 88.7
SA-BiLSTM √ √ × 81.9 50.5 88.5
√ × √ 83.0 51.0 88.8
× √ √ 82.9 51.4 89.4
√ √ √ 83.3 51.8 89.7
Table 9 Accuracy for MFSA-BiLSTM-D with different linguistic feature
表 9 不同语言特征下 MFSA-BiLSTM-D 的准确性
特征通道
YELP3 IMDB
Rwp Rwp Rwt
√ × × 59.4 45.8
× √ × 60.3 46.3
× × √ 61.7 47.7
SA-BiLSTM-D √ √ × 62.9 47.4
√ × √ 63.1 47.9
× √ √ 63.5 48.4
√ √ √ 63.8 48.9

3.5 向量大小和不同词嵌入的影响
从语言特征调节实验中,得出了在词向量的基础上,词性特征与句法特征在分类效果上起着关键性作用.因
此,在这一小节对词性特征、句法特征以及词向量进行了进一步分析.
在图 5 和图 6 中展示了具有不同维度词性特征和句法特征大小的 MFSA-BiLSTM 和 MFSA-BiLSTM-D 模
型性能.本文使用以下集合中的向量大小{10,20,25,30,50,100,200}.从图 5 可以看出:当词性向量大小变化时,模
型在 MR,SST-2,YELP3 和 IMDB 这 4 个数据集都呈现上升的趋势.当词性向量>30 时,模型在 MR 和 SST-2 数据
集上出现了波动;并且随着维度的增加,分类准确率呈现下降趋势.在 YELP3 和 IMDB 数据集上,模型性能趋于
稳定.如图 6 所示:当句法向量>25 时,模型性能趋于稳定.因此,选择适合的词性向量和句法向量维度大小可以获
得更好的结果.

Fig.5 Influence of parts-of-speech features in different dimensions
图 5 词性特征在不同维度上的影响