Page 315 - 《软件学报》2026年第2期

794 软件学报 2026 年第 37 卷第 2 期

相比之下, 结合图像和特定文本提示的模型显示出了更高的性能. 特别是引入属性词带来的性能提升最为显
著. 这表明正确的语义提示可以极大地丰富模型的理解能力, 使其能够生成更加精确和深入的评论. 在采用情感极
性和图像标题作为输入时, 模型性能增幅不及属性词显著. 这可能是因为情感极性和图像标题虽然提供了情感色
彩和描述性信息, 但在指导模型分析方面不如属性词有效.
值得注意的是, 综合所有文本提示的策略在所有评价指标上均达到了最佳性能. 这一结果突出了综合多种文
本输入策略的重要性, 证明了在多模态融合过程中, 多种语义层面的相互作用是提升评论质量和相关性的关键.
3.7 图片和文本的影响
图 4 展示了通过消融研究评估图像和文本输入对性能的贡献. 本文设置了 3 种不同的输入场景: “全匹配”表
示图像和所有相关文本输入都是准确配对的; “仅匹配”表示仅当前类别正确配对, 其余类别未配对; “仅不匹配”表
示当前类别未配对, 而其余类别保持正确配对. 本文使用 T5 模型作为性能基准参考.

34
全匹配 仅匹配 仅不匹配 T5
32
ROUGE-1 30

28
26
24
产品图片 属性词 情感极性
图 4 图片和文本的影响

从实验结果中可以直观地看到, 情感极性的贡献最小. 实验数据显示, 即使在仅情感极性配对的场景下, 性能
也没有显著提升, 这可能是因为它没有提供实质性的有效信息.
在仅图像未配对的情况下, 模型性能显著下降, 这突显了视觉信息在维持模型性能中的核心作用. 这一结果表
明, 视觉内容的正确解读对于生成准确的评论至关重要. 在仅属性词配对的情况下, 性能仍然超过基准, 表明视觉
信息不仅提供了多模态信息, 还起到了正则化项的作用. 此外, 当属性词未配对时, 模型性能下降到基准水平以下,
暗示了其在模型中的关键作用.
3.8 图片数量的影响
图 5 展示了图像数量对评论生成性能的影响. 首先, 当仅依赖文本输入时, 模型的性能相对较低, 这表明纯文
本方法在生成令人满意的评论方面存在局限性. 这种低性能反映出文本信息在没有视觉上下文支持的情况下, 可
能无法充分表达评论所需的细节.

27.5
Ours
27.0
仅文本
26.5
BLEU-1 26.0
25.5
25.0
24.5
24.0
0 1 2 3 4
图片数量
图 5 图片数量的影响

随着图像数量的增加, 性能呈现出明显的上升趋势, 特别是当图像数量从 1 增加到 3 时, 性能提升最为显著.
这种趋势表明图像为模型提供了额外的上下文信息, 有助于更精确和具体地理解和生成评论内容. 图像通过增加
与评论相关的视觉细节和环境信息, 使得生成的评论更为丰富和针对性, 从而提升了评论的质量和相关性. 然而,