Page 21 - 《中国医疗器械杂志》2026年第1期
P. 21
Chinese Journal of Medical Instrumentation 2026年 第50卷 第1期
医 学 人 工 智 能
模板库,形成包含脑及椎骨亚结构勾画共同标注的 跨模态的共性解剖结构特征,增强信息互补性。
Atlas亚结构勾画库。第三阶段验证实施:采用每 2)跨模态特征融合策略。①多头交叉自注意力模
组各10例的独立外部验证集,通过调用不同年龄组 块:解码阶段将上一层上采样的特征图与编码器同
Atlas亚结构勾画库执行自动勾画,比对自动勾画 层特征图进行跨层级跳跃拼接,通过通道分离和空
输出与手动勾画结果,验证Atlas自动勾画准确性。 间维度展开,利用多头注意力机制动态分配不同模
1.4 多模态自动分割网络FuseNet 态权重。②前馈网络与重建:注意力处理后的特征
FuseNet是一种基于DL的新型多模态医学影像 经前馈网络归一化后通过反池化逐步重建高分辨率
自动分割网络。U-Net通过编码器-解码器结构和 分割结果。
跳跃连接处理图像中的空间特征,而FuseNet在编码 图1展示了本研究中FuseNet的拓扑结构,其中
器-解码器结构基础上进行扩展,引入多分支编码 CT和MRI的特征图通过相加融合。多模态算法同
器架构和跨模态注意力机制,整合CT、MRI等不同 时应用CT和MRI图像训练模型。本研究中,预先
模态的互补信息,解决多模态影像配准误差、摆位 清洗和对齐勾画数据,以CT为固定图像,MRI为
差异等问题,以提升分割精度与模型鲁棒性。具体 移动图像做刚性配准,经过重定向和重采样处理后
而言,关键技术模块包括:1)多分支编码器模 对齐CT。对齐的CT和MRI在通道维度进行拼接,
块。①模态特异性分支:独立处理不同模态,提取 输入多模态网络中进行训练,并在解码阶段通过交
特异性特征(如CT的骨骼结构、MRI的软组织对 叉自注意力模块实现动态权重分配,最终输出高精
比)。②共享编码层:在深层网络共享权重,提取 度的分割结果。
RGB encoder RGB-D decoder
Query
Flatten Linear
RGB +
B,C,H,W BHW,C ReLU
+
branch SkipConnect Key MHSA Add LayerNorm Linear Reshape
Flatten LayerNorm B,C,H,W
Depth encoder Depth B,C,H,W BHW,C Value
branch fusion zoomed in CrossAttention
Conv Fusion Unpooling
Conv+BN+ReLU (CBR) Fusion Dropout Pooling Unpooling Score
(a) CT和MR特征图融合示意 (b) 交叉自注意力模块
(a) CT and MRI feature map fusion (b) Cross self-attention module
图1 FuseNet的拓扑结构
Fig.1 FuseNet topology structure
1.5 基于不同卷积神经网络模型的自动勾画 最优模型。在模型训练策略上,U-Net采用单一
将所有图像和勾画结果导入基于AI的训练平台 CT模 态 数 据 进 行 训 练 , 而 FuseNet则 基 于 CT-
AccuLearning(由厦门Manteia数据科技有限公司开 MRI多模态数据展开训练。本研究采用组内交叉验
发 , 以 下 简 称 “ Manteia” ) 。 使 用 U-Net、 nnU- 证(内部训练集与验证集)进行模型调优,独立外
Net和多模态FuseNet模型,训练数据集采用两组各 部验证集用于最终模型评估,验证与评估流程如
30例的脑及椎骨亚结构,调整DL模型参数,选择 图2所示。
数据采集与预处理:
1. 60例患儿分组用于训练: 深度学习分割算法模型: 综合评估与比较:
≤5岁组(30例) 1. 数据分割: 1. 基准:手动勾画亚结构
>5岁组(30例) 每组训练集24例, 2. 模型性能对比:
2. 另采集20例独立验证队列: 测试/验证集6例 DSC(所有模型)、
≤5岁组(10例) 2. 3种模型训练: HD95、ASSD、RAVD(仅
>5岁组(10例) U-Net、nnU-Net、FuseNet nnU-Net/FuseNet)
3. 手动勾画亚结构: 3. 独立时序验证队列: 3. 人工修正耗时记录
CT-MR融合图像:脑亚结构 自动勾画输出vs.人工手动勾画
CT图像:椎体亚结构
图2 基于不同年龄组的3种DL分割算法验证与综合评估流程
Fig.2 Age-stratified validation and comprehensive evaluation workflow for three DL segmentation algorithms
1.6 评价指标 戴斯相似系数(Dice similarity coefficient, DSC)
评估几何学一致性参数如下: 用于衡量预测体积和参考体积之间的相似性。其计
17

