Page 252 - 《软件学报》2026年第5期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2026,37(5):2131−2150 [doi: 10.13328/j.cnki.jos.007508] [CSTR: 32375.14.jos.007508] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

CodeLLMTuner: 基于样本重用的代码大模型选择与解码参数
*
调优框架

曲慕子 1,2 , 亢良伊 1,2 , 刘 杰 1,2,3,4,5 , 王 帅 1,2 , 叶 丹 1,2,3,4 , 黄 涛 1,2,3,4

1
(中国科学院 软件研究所, 北京 100190)
2
(中国科学院大学, 北京 100049)
3
(基础软件与系统重点实验室 (中国科学院 软件研究所), 北京 100190)
4
(计算机科学国家重点实验室 (中国科学院 软件研究所), 北京 100190)
5
(中国科学院大学南京学院, 江苏 南京 211135)
通信作者: 亢良伊, E-mail: kangliangyi15@otcaix.iscas.ac.cn

摘 要: 随着大语言模型 (large language model, LLM) 技术的迅速发展, 涌现了众多代码大模型 (Code LLM), 以支
持代码生成、代码补全、代码测试和代码重构等任务. 不同模型在处理相同任务时可能表现出显著的性能差异,
且推理阶段的解码参数也会对模型性能产生重要影响. 研究如何为特定代码开发任务高效地选择最佳模型及其最
优解码参数. 现有方法通常将模型选择和参数调优分为两个独立阶段, 由于不同阶段的采样策略差异导致无法共
享样本数据, 采样与评估计算成本较高. 考虑到不同代码大模型解码参数空间相同, 提出利用倾向评分匹配 (propen-
sity score matching, PSM) 算法加权调整和对齐不同分布的样本数据, 以提高样本数据复用效率、降低计算成本. 由
此提出了一个基于样本重用的代码大模型选择与解码参数调优框架 CodeLLMTuner. 该框架包含 3 个阶段: (1) 独
立采样阶段, 对多个代码大模型并行执行解码参数调优 (如贝叶斯优化) 并进行数据采样与评估以收集样本数据;
(2) 模型选择阶段, 利用 PSM 技术对齐不同模型的样本数据, 从中选出性能期望最优的模型; (3) 获选模型的解码
参数调优阶段, 复用获选模型的样本数据, 并在其基础上继续进行解码参数调优, 以全面探索性能空间并显著降低
采样成本. 实验结果表明, 在代码生成、代码摘要和测试用例生成这 3 项任务上, CodeLLMTuner 相比于基线方法
在相同成本下性能提升 10%–15%, 或在达到相同性能下成本降低超过 20%.
关键词: 代码大模型; 自动代码生成; 模型选择; 解码参数调优; 倾向评分匹配
中图法分类号: TP311

中文引用格式: 曲慕子, 亢良伊, 刘杰, 王帅, 叶丹, 黄涛. CodeLLMTuner: 基于样本重用的代码大模型选择与解码参数调优框架.
软件学报, 2026, 37(5): 2131–2150. http://www.jos.org.cn/1000-9825/7508.htm
英文引用格式: Qu MZ, Kang LY, Liu J, Wang S, Ye D, Huang T. CodeLLMTuner: Code LLM Selection and Decoding Parameter
Tuning Framework Based on Sample Reusing. Ruan Jian Xue Bao/Journal of Software, 2026, 37(5): 2131–2150 (in Chinese). http://
www.jos.org.cn/1000-9825/7508.htm

CodeLLMTuner: Code LLM Selection and Decoding Parameter Tuning Framework Based on
Sample Reusing
1,2
1,2
1,2
QU Mu-Zi , KANG Liang-Yi , LIU Jie 1,2,3,4,5 , WANG Shuai , YE Dan 1,2,3,4 , HUANG Tao 1,2,3,4
1
(Institute of Software, Chinese Academy of Sciences, Beijing 100190, China)
2
(University of Chinese Academy of Sciences, Beijing 100049, China)
3
(Key Laboratory of Systems Software (Institute of Software, Chinese Academy of Sciences), Beijing 100190, China)

* 基金项目: 中国科学院软件研究所基础研究项目 (ISCAS-JCMS-202405)
收稿时间: 2024-11-18; 修改时间: 2025-03-03; 采用时间: 2025-08-12; jos 在线出版时间: 2025-12-10
CNKI 网络首发时间: 2025-12-12