Page 200 - 《软件学报》2025年第5期

2100 软件学报 2025 年第 36 卷第 5 期

l CD (chamfer-distance loss), 可被称之为正向
P n 靠近. 因此, 在损失函数的设定上, 本文采用重建任务中的倒角距离
拟合重建损失函数 L MR :

 
∑ ∑ ∑ 
  1 2 
L MR = l CD (P re [m idx ], P n [m idx ]) =   min gt∈P n [m idx ] ∥re−gt∥ + min re∈P re [m idx ] ∥re−gt∥   (2)
2
  2 2 
|P re [m idx ]|
re∈P re [m idx ] gt∈P n [m idx ]
其中, re 和 gt 分别为掩码丢弃部分的重建结果和真值点. “坏教师”模型同样以倒角距离 l CD 反向拟合. 因此, 存在
“坏教师”掩码重建损失函数 L B-MR :

L B-MR = max(0,l CD (P bad [m idx ], P re [m idx ])−L MR ) (3)
该损失函数的设定旨在拉进掩码重建结果与真值距离, 并强制推远与“坏教师”噪声重建结果的距离, 达到加
速重建的研究目的. 除上述坐标层面上的重建逼近外, 特征空间的关联性变化也需要被约束. 因此, 为构建保留部
分特征 F M ∈ R N γ ×C 和教师模型特征 F t ∈ R N ′ ×C 之间的信息传递, 本文预定义一种高斯分布的条件先验 p(H) , 即存
p φ (H|F M ) 拟合基
在基于 H 的两种分布 q ϕ (H|F t ) 和 p φ (H|F M ) . 由于研究目标为通过基于保留部分特征的条件分布
于教师模型特征的潜在分布 q ϕ (H|F t ) 、 q ϕ (H|F t ) 和 p φ (H|F M ) 被分别定义为先验分布和条件概率分布. 因此, 特征
拟合损失函数 L FF 可表示为:

L FF = −KL[q ϕ (H|F t )||p(H)]− KL[p φ (H|F M )||q ϕ (H|F t )] (4)
其中, KL 为 KL 散度 (Kullback-Leibler divergence, 或称相对熵). 综上, 基于 Transformer 的掩码重建模型和“坏教
师”模型联合构成的双向拟合重建损失函数可表示为:

(5)
L Bi-fit = L MR +L FF +L B-MR

2.3 基于 StyleGAN 的辅助点云生成模型
掩码生成模型的重建结果在初始阶段包含噪声点. 尽管优化过程中能检测并剔除部分噪声, 但在学习过程中,
噪声对点云全局查询标记和特征嵌入空间的完整性及表示力造成负面影响, 进而阻碍后续多模态特征对齐等多项
操作的正常运行. 基于上述分析, 本文认为点云自监督表示学习方法需要在学习过程中, 对噪声加以额外限制, 并
提出基于 StyleGAN 的辅助点云生成模型, 如图 4 所示. 为使辅助生成结果更加契合局部邻域真值, 该模型需要获
P n ∈ R N ′ ×K×3 先通过多层卷积提取特征并将结果与原始局部点级联拼
取局部点云的空间结构风格信息. 局部邻域
style N ′ ×K×(3+C) p-style N ′ ×K×3
接, 输出初始局部风格化点云特征 P n ∈ R . 之后, 该特征再次被卷积抽象至坐标风格 P n ∈ R 并作
为 StyleGAN 网络的输入.

局部点云风格获取 StyleGAN生成辅助点云
判 真 新 生 余弦相似
多层卷积 多层卷积 别 点 裁定 点 成 融合 性融合
局部邻域P n 器 云 云 器 P stylegan 掩码重建结果P re
style p-style
P n P n real 惩罚
D(·) P n P n new G(·)
级联拼接 辅助点云生成 P re
掩码重建结果
图 4 基于 StyleGAN 的辅助点云生成模型

然而, StyleGAN 模型主要基于二维图像的生成任务, 直接引入或将造成模型崩溃. 因此, 本文的改进方向如
下: (1) 加深特征探索的网络层级并将卷积核大小固定为 1×1 . (2) 保留噪声并使用低通滤波器对生成结果进行优
化. 在改进的 StyleGAN p-style ∈ R N ′ ×K×3 P real G(·) 不断生成新点云
网络中, 先定义局部风格点云
为真值
P n
n . 生成器
P new . 之后, 网络将 P new 在判别器 D(·) 中裁定和惩罚性优化. 最终, 真实点云 P real 与新点云 P new 有权地融合, 得到
n n n n
风格化辅助点云输出 P stylegan :

P stylegan = ωP real +(1−ω) P new (6)
n n
ω 为 StyleGAN Dis(·) 衡量
其中, 融合因子. 在风格化辅助点云与掩码重建的生成点云融合中, 本文采用余弦距离
二者: