Page 25 - 《软件学报》2026年第5期

1904 软件学报 2026 年第 37 卷第 5 期

recognition capability and speaker-attribution capability via a two-stage training strategy, thus generalizing the capability of ALMs to
specific downstream tasks. In the first stage, supervised fine-tuning (SFT) introduces a “speaker loss” into the standard cross-entropy
objective to weight and strengthen the learning signal for sparse speaker-label tokens. In the second stage, a reinforcement-learning scheme
based on group relative policy optimization (GRPO) is employed, designing a reward function that jointly considers cpCER and SA-CER to
break through the performance bottleneck of supervised learning. Experiments in a two-speaker setting compare with the open-source 3D-
Speaker toolkit and the Diar Sortformer model, as well as the proprietary speaker diarization APIs from AssemblyAI and Microsoft Azure.
Ablation studies are further conducted to validate the training methodology, and experiments are subsequently extended to a four-speaker
scenario. Results demonstrate that the two-stage approach significantly improves both ASR and speaker-attribution performance in the two-
speaker environment, whereas in the four-speaker setting, conventional SFT already yields substantial improvements. Challenges such as
resource consumption, input-length limitations, and cross-domain adaptation are also discussed, and future enhancements are proposed,
including streaming audio encoders, curriculum learning, and rejection-sampling strategies. Experimental results show that ALMs hold great
promise for multi-speaker diarization tasks but require additional technical advances to handle more complex acoustic scenarios.
Key words: speaker diarization; audio-language model (ALM); supervised fine-tuning (SFT); reinforcement learning (RL); group relative policy
optimization (GRPO) algorithm

随着人机交互和会议纪要等应用场景对语音转录需求的不断提高, 多说话人语音转写系统成为近年的研究热
点. 说话人日志任务的目标是在包含多位说话者的音频中准确定位“谁在什么时间说了什么”. 该任务是经典的“鸡
尾酒会问题”, 广泛应用于会议记录、实时字幕、多语种翻译等场景. 在技术上, 说话人日志要求将录音按照不同
的说话人归属进行分段并建立索引, 即检测说话人边界并将同一说话人的片段聚合在一起, 同时确认说话人的归
属. 与单纯的语音转录不同, 说话人日志需要输出带有说话人身份标记的文字, 形成带有说话人归属的转写结果.
如图 1 所示, 说话人日志系统接收一段包含多位说话人的音频作为输入, 输出文本形式的语音转录结果, 并附
带说话人的标签, 指明每句话归属于哪位说话人. 为解决这类说话人日志任务, 系统不仅要完成高质量的语音转
写, 还需准确区分每句话所属的说话人, 这对模型的声学建模与上下文理解能力提出了双重挑战. 传统的自动语音
识别 (automatic speech recognition, ASR) 系统在单一说话人场景下已十分成熟, 但在多说话人的场景下, 环境噪声、
重叠语音以及频繁的说话人切换等因素可能导致语音识别错误率和说话人归属错误率大幅上升.

speaker1:
请问您需要点什么?
音频-语言模型 speaker2:
端到端处理
一杯咖啡, 谢谢.
speaker1:
输入: 中文对话音频
好的, 请稍等.
输出: 含说话人标签的对话文本
图 1 说话人日志任务示意图

近年来, 多模态大语言模型借助自回归解码架构, 将音频信号与自然语言提示联合建模, 为传统 ASR、翻译
[1]
和问答等任务带来范式转变. 其中, 音频-语言模型 (audio-language model, ALM) 使用 MLP 层连接音频编码器与
[3]
[2]
大语言模型, 赋予了大语言模型理解音频信息的能力, 代表性模型有 Qwen-Audio 、Step-Audio 等. 通过预训练
阶段的监督学习进行模态对齐, 音频-语言模型实现了对语音、文本输入的统一映射. 经过少量指令式微调, 音频-
语言模型即可迅速泛化至自动语音识别、文本翻译、语音问答、场景识别等多种任务, 具有优秀的下游任务泛化
能力 [4] , 能够在零样本提示下完成语音转写、对话摘要与问答等多种任务.
音频-语言模型有着将多说话人音频直接映射成带有说话人标签的文本的潜力, 这避免了分离、聚类等模块
化流水线的误差累积与工程复杂度; 得益于预训练阶段的大规模跨模态表示, 模型既能统一优化声学和语言信息,
又天然具备上下文感知与连贯生成能力; 更重要的是, 音频-语言模型不仅能高效完成说话人日志任务, 还可通过
自然语言指令无缝扩展至摘要、问答等一系列后续处理, 一个模型便可同时兼容多项声学任务. 基于以上原因, 本
研究提出基于音频-语言模型的说话人日志系统优化方案. 第 1 节的内容将更加详细地对比本研究相比现有方法