Page 321 - 《软件学报》2025年第8期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(8):3744−3768 [doi: 10.13328/j.cnki.jos.007252] [CSTR: 32375.14.jos.007252] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
面向代码注释生成任务的注释质量评价研究

赵衔麟 1,2 , 潘兴禄 1,2 , 邹艳珍 1,2 , 刘陈晓 1,2 , 谢 冰 1,2

1
(高可信软件技术教育部重点实验室 (北京大学), 北京 100871)
2
(北京大学 计算机学院, 北京 100871)
通信作者: 邹艳珍, E-mail: zouyz@pku.edu.cn

摘 要: 代码注释生成是软件工程领域的重要研究任务. 当前主流的注释生成方法训练深度学习模型以生成注释,
依靠在开放的代码注释数据集上采用 BLEU 等指标来进行注释质量评价, 主要反映生成注释与数据集中人工参考
注释的相似性. 但由于开放注释数据集中人工参考注释的质量难以保障, 其有效性受到越来越多质疑. 因此, 面向
代码注释生成任务, 亟需一种直观有效的代码注释质量评价方法, 一方面改进开放注释数据集的质量, 另一方面提
升生成注释的评价效果. 针对该问题, 对现有量化的注释质量评价方法进行调研和分析, 并将一套多维度注释质量
评价指标用于对主流开放数据集、典型注释生成方法以及 ChatGPT 生成代码注释的质量评价, 由此给出一些具有
参考价值的研究发现: 1) 现有主流开放数据集中的代码注释质量俱有待提高, 均存在不同程度的不准确、可读性
差、过于简短、缺乏有用信息等问题; 2) 现有方法生成的注释普遍在词汇和语义上与代码更接近, 缺乏代码高层
意图等对开发者更有用的信息; 3) 生成注释的 BLEU 值较低, 一个重要原因是数据集中大量的参考注释本身质量
不佳, 譬如与代码缺乏关联、自然性较差等, 应过滤或改进此种参考注释; 4) 大语言模型 ChatGPT 生成的代码注
释内容丰富但较为冗长, 其质量评价需要根据开发者意图与具体场景进行针对性改进. 基于这些发现, 也对未来代
码注释生成任务及注释质量评价研究给出若干建议.
关键词: 代码注释; 注释质量; 注释评价; 注释数据集; 注释生成
中图法分类号: TP311

中文引用格式: 赵衔麟, 潘兴禄, 邹艳珍, 刘陈晓, 谢冰. 面向代码注释生成任务的注释质量评价研究. 软件学报, 2025, 36(8):
3744–3768. http://www.jos.org.cn/1000-9825/7252.htm
英文引用格式: Zhao XL, Pan XL, Zou YZ, Liu CX, Xie B. Research on Comment Quality Evaluation for Code Comment Generation
Tasks. Ruan Jian Xue Bao/Journal of Software, 2025, 36(8): 3744–3768 (in Chinese). http://www.jos.org.cn/1000-9825/7252.htm

Research on Comment Quality Evaluation for Code Comment Generation Tasks
1,2
1,2
1,2
1,2
ZHAO Xian-Lin , PAN Xing-Lu , ZOU Yan-Zhen , LIU Chen-Xiao , XIE Bing 1,2
1
(Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education, Beijing 100871, China)
2
(School of Computer Science, Peking University, Beijing 100871, China)
Abstract: Code comment generation is an important research task in software engineering. Mainstream methods for comment generation
train deep learning models to generate comments, relying on metrics such as BLEU to evaluate comment quality on open code comment
datasets. These evaluations mainly reflect the similarity between generated comments and manual reference comments in the datasets.
However, the quality of the manual reference comments in open comment datasets varies widely, which leads to more and more doubts
about the effectiveness of these metrics. Therefore, for code comment generation tasks, there is an urgent need for direct and effective
methods to evaluate code comment quality. Such methods can improve the quality of open comment datasets and enhance the evaluation
of generated comments. This study conducts research and analysis on existing quantifiable methods for code comment quality evaluation

* 基金项目: 科技创新 2030—“新一代人工智能”重大项目 (2021ZD0110303)
收稿时间: 2023-11-07; 修改时间: 2024-04-01; 采用时间: 2024-07-08; jos 在线出版时间: 2024-12-04
CNKI 网络首发时间: 2024-12-04