Page 222 - 《软件学报》2025年第9期

王鑫澳 等: 基于联邦学习的 BERT 模型高效训练框架 4133

[50] Cohan A, Ammar W, van Zuylen M, Cady F. Structural scaffolds for citation intent classification in scientific publications. In: Proc. of
the 2019 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1
(Long and Short Papers). Minneapolis: Association for Computational Linguistics, 2019. 3586–3596. [doi: 10.18653/v1/N19-1361]
[51] Dosovitskiy A, Beyer L, Kolesnikov A, Weissenborn D, Zhai XH, Unterthiner T, Dehghani M, Minderer M, Heigold G, Gelly S,
Uszkoreit J, Houlsby N. An image is worth 16x16 words: Transformers for image recognition at scale. In: Proc. of the 9th Int’l Conf. on
Learning Representations. OpenReview.net, 2021.
[52] Le Y, Yang X. Tiny imagenet visual recognition challenge. 2015. http://vision.stanford.edu/teaching/cs231n/reports/2015/pdfs/yle_project.
pdf

附中文参考文献:
[1] 王乃钰, 叶育鑫, 刘露, 凤丽洲, 包铁, 彭涛. 基于深度学习的语言模型研究进展. 软件学报, 2021, 32(4): 1082–1115. http://www.jos.
org.cn/1000-9825/6169.htm [doi: 10.13328/j.cnki.jos.006169]
[2] 宋雪萌, 聂礼强, 申恒涛, 田奇, 黄华. 融合预训练技术的多模态学习研究专题前言. 软件学报, 2023, 34(5): 1997–1999. http://www.
jos.org.cn/1000-9825/6776.htm [doi: 10.13328/j.cnki.jos.006776]
[3] 顾育豪, 白跃彬. 联邦学习模型安全与隐私研究进展. 软件学报, 2023, 34(6): 2833–2864. http://www.jos.org.cn/1000-9825/6658.htm
[doi: 10.13328/j.cnki.jos.006658]
[4] 谭作文, 张连福. 机器学习隐私保护研究综述. 软件学报, 2020, 31(7): 2127–2156. http://www.jos.org.cn/1000-9825/6052.htm [doi:
10.13328/j.cnki.jos.006052]
[24] 王勇, 李国良, 李开宇. 联邦学习贡献评估综述. 软件学报, 2023, 34(3): 1168–1192. http://www.jos.org.cn/1000-9825/6786.htm [doi:
10.13328/j.cnki.jos.006786]
[30] 周新虹, 沈洁. 面向医疗应用场景的联邦学习综述. 信息技术与信息化, 2023, (11): 135–141. [doi: 10.3969/j.issn.1672-9528.
2023.11.031]
[41] 梁峥, 王宏志, 戴加佳, 邵心玥, 丁小欧, 穆添愉. 预训练语言模型实体匹配的可解释性. 软件学报, 2023, 34(3): 1087–1108. http://
www.jos.org.cn/1000-9825/6794.htm [doi: 10.13328/j.cnki.jos.006794]
[42] 盛雪晨, 陈丹伟. 基于联邦学习和差分隐私的文本分类模型研究. 信息安全研究, 2023, 9(12): 1145–1151. [doi: 10.12379/j.issn.2096-
1057.2023.12.02]
[43] 李博涵, 向宇轩, 封顶, 何志超, 吴佳骏, 戴天伦, 李静. 融合知识感知与双重注意力的短文本分类模型. 软件学报, 2022, 33(10):
3565–3581. [doi: 10.13328/j.cnki.jos.006630]
[44] 赵京胜, 宋梦雪, 高祥, 朱巧明. 自然语言处理中的文本表示研究. 软件学报, 2022, 33(1): 102–128. http://www.jos.org.cn/1000-9825/
6304.htm [doi: 10.13328/j.cnki.jos.006304]

王鑫澳(2001－), 男, 硕士, 主要研究领域为联邦 骆歆远(1988－), 男, 博士, 助理研究员, 主要研
学习, 模型轻量化预训练. 究领域为大数据管理, 大数据智能计算, 信息检索.

陈珂(1977－), 女, 博士, 副研究员, CCF 专业会 陈刚(1973－), 男, 博士, 教授, 博士生导师, CCF

员, 主要研究领域为非结构化数据管理, 数据挖 杰出会员, 主要研究领域为数据库, 大数据管理

掘, 隐私保护. 系统, 大数据智能计算.

寿黎但(1976－), 男, 博士, 教授, 博士生导师,

CCF 高级会员, 主要研究领域为非结构化数据

管理, 移动社会媒体数据管理, 多媒体挖掘.