Page 305 - 《软件学报》2026年第2期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2026,37(2):784−798 [doi: 10.13328/j.cnki.jos.007465] [CSTR: 32375.14.jos.007465] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
结合多模态信息的定制化评论生成

强敏杰, 王中卿, 李寿山, 周国栋

(苏州大学 计算机科学与技术学院, 江苏 苏州 215006)
通信作者: 王中卿, E-mail: wangzq@suda.edu.cn

摘 要: 随着商家评论网站的快速发展, 网站上的内容越来越多, 用户难以在短时间内获取到有价值的评论. 引入
了一项名为“多模态定制化评论生成”的新任务. 该任务旨在为特定用户生成他们尚未评价的产品的定制化评论,
这有助于用户对特定产品提供宝贵的意见. 为了实现这一目标, 探索了一种基于预训练语言模型的多模态评论生
成框架. 具体而言, 采用了一种多模态预训练语言模型. 该模型接受产品图片和用户偏好作为输入. 之后对视觉和
文本特征进行融合, 从而生成定制化评论. 实验结果表明, 该模型在生成高质量的定制化评论方面具有显著效果.
关键词: 多模态信息; 评论生成; 预训练模型; 注意力机制
中图法分类号: TP18

中文引用格式: 强敏杰, 王中卿, 李寿山, 周国栋. 结合多模态信息的定制化评论生成. 软件学报, 2026, 37(2): 784–798. http://www.
jos.org.cn/1000-9825/7465.htm
英文引用格式: Qiang MJ, Wang ZQ, Li SS, Zhou GD. Customized Review Generation Integrating Multimodal Information. Ruan Jian
Xue Bao/Journal of Software, 2026, 37(2): 784–798 (in Chinese). http://www.jos.org.cn/1000-9825/7465.htm

Customized Review Generation Integrating Multimodal Information
QIANG Min-Jie, WANG Zhong-Qing, LI Shou-Shan, ZHOU Guo-Dong
(School of Computer Science & Technology, Soochow University, Suzhou 215006, China)
Abstract: With the rapid development of merchant review websites, the volume of content on these websites has increased significantly,
making it challenging for users to quickly find valuable reviews. This study introduces a new task, “multimodal customized review
generation”. The task aims to generate customized reviews for specific users about products they have not yet reviewed, thus providing
valuable insights into these products. To achieve this goal, this study explores a multimodal review generation framework based on a pre-
trained language model. Specifically, a multimodal pre-trained language model is employed, which takes product images and user
preferences as inputs. The visual and textual features are then fused to generate customized reviews. Experimental results demonstrate that
the proposed model is effective in generating high-quality customized reviews.
Key words: multimodal information; review generation; pre-trained model; attention mechanism

随着社会的发展和生活水平的提高, 评论网站越来越受到欢迎. 这些评论网站 (如: Yelp、Amazon 等) 为客户
提供了一个表达意见并根据个人体验对产品或服务进行评分的平台. 这些网站已成为潜在客户的重要信息来源,
消费者在做出购买决策之前希望找到客观的反馈. 通过提供总体评分和详细的用户评论, 这些平台为产品或服务
提供了综合评价, 帮助客户做出明智的选择.
情感分析和推荐系统是分析评论网站上评论和评分的两个重要研究领域. 情感分析 [1−3] 旨在从评论文本中提
取属性词和情感词, 为每个属性词分配一个唯一的预定义类别, 并给出该属性词的语义倾向 (例如, 积极、消极或
者中立). 推荐系统 [4−6] 根据用户的购买历史和其他购买过目标产品的客户, 为特定产品或服务生成推荐指数. 尽管
这些研究取得了显著成果, 但主要集中于分析现有的评论或购买历史, 无法生成用户在未曾评论过特定产品时可

* 基金项目: 国家自然科学基金 (62376178); 江苏省高校优势学科项目
收稿时间: 2024-10-02; 修改时间: 2025-01-16, 2025-04-16; 采用时间: 2025-05-07; jos 在线出版时间: 2025-09-24
CNKI 网络首发时间: 2025-09-25