Page 382 - 《软件学报》2026年第3期
P. 382

孙杰 等: 时序数据域自适应的时空卷积与对抗互学习                                                       1345


                 们选择在第    3  层和第  5  层替换原有的   Encoder 层为  TPAM  模块, 并在其前后保留     Transformer 的  Encoder 层. 这种
                 设计基于以下考虑: 首先, 浅层        Encoder (第  1, 2  层) 主要提取基础特征表示, 为  TPAM  模块的时空特征建模提供良
                 好的基础; 其次, 中层的     TPAM  模块  (第  3、5  层) 能够在初步语义信息的基础上进行时空特征建模, 实现局部时空
                 模式与语义信息的有效融合; 最后, 深层           Encoder 继续提取高层语义特征, 并通过残差连接机制与              TPAM  提取的时
                 空特征进行深度整合. 这种间隔分布的设计不仅确保了特征提取的渐进性, 也避免了                          TPAM  模块过度集中可能带
                 来的信息冗余. 通过这种多层次的特征提取和融合机制, 模型能够同时捕获数据的局部时空依赖关系和全局语义
                 信息, 从而生成更具判别力的特征表示.
                  2.2   域校正模块
                    域校正模块的目的是减轻不同域之间的数据分布偏移, 使得不同域的数据分布更加一致, 从而提高域分类的
                 准确率. 为了实现这一目的, 本文采用了对抗生成网络                (generative adversarial network, GAN) 作为域校正模块的基
                 础结构, 其具体结构如图       3  所示. 其中, G  为生成器, D  为判别器, Z   表示随机噪声, 虚线箭头表示反向传播过程中
                 的梯度流.


                                   源域
                                                      生成的源域数据
                                  目标域         G         生成的目标            D         C
                                             生成器         域数据           鉴别器      域分类器

                                  噪声 Z                操作顺序预测 P                   源域
                                                                                 目标域

                                                      图 3 域校正模块

                    GAN  是一种基于对抗训练的深度神经网络, 能够通过生成器和判别器的博弈, 学习数据的真实分布, 生成高
                 质量的数据. 本文将时序建模网络的输出             (包括源域与目标域) 作为生成器的输入, 将生成器的输出作为域分类器
                 C  的输入, 将域分类器的输出作为域分类的结果.
                    域校正模块中的判别器         D  和域分类器   C, 两者都是分类器, 但目标不同. 判别器          D  的目的是区分源域和目标
                 域的特征表示, 它试图区分哪些特征来自真实的目标域数据, 哪些特征是由生成器生成的. 而域分类器                                C  的目的
                 是区分源域和目标域的数据样本, 它接收生成器生成的特征作为输入, 并判断这些特征属于哪个域. 简单来说, 判
                 别器  D  关注的是特征的真假, 而域分类器         C  关注的是特征的来源.
                    为了加强域校正模块的域校正能力, 本文在对抗训练的过程中, 引入了操作顺序互学习                             (operation sequence
                 mutual learning, OSML) 的策略. 传统的  GAN  训练过程中, G  和  D  的优化顺序是固定的, 这可能导致        G  和  D  陷入
                 局部最优解, 或出现模式崩溃等问题. OSML            的思想是: 在每个训练迭代中, 操作顺序预测器              P  根据  G  和  D  的输
                 出, 预测下一个操作顺序是更新          G  还是更新   D. 操作顺序预测器     P  由一个全连接层和一个       Softmax  层组成, 输入
                 是  G  和  D  的输出的拼接, 输出是一个二维向量, 表示更新          G  或更新  D  的概率. 在每个训练迭代中, 随机选择一个
                 操作顺序, 即先更新      G  还是先更新   D, 然后将这个操作顺序作为一个额外的监督信号, 用于指导                  G  或  D, 使其能够
                 预测下一个操作顺序, 并根据预测结果调整自己的参数. 这样, G                  和  D  的博弈过程更加公平、高效, 最终达到纳什
                 均衡. OSML  的数学表达式为:

                                          [     ]     [            ]      [ ( )]
                                                                                      [L OSML (P,D,G)]  (7)
                        minmax G L(D,G) = E x∼p d  logD(x) +E z∼p z  log(1− D(G(z))) −ηE z∼p z  H p g +γE z∼p z
                                                                                                     ( )
                 其中,  L(D,G) 是生成器和判别器的对抗损失, 表示          D  尽可能地区分真实数据和假数据, G          尽可能地欺骗     D.   H p g
                 是生成的假数据分布        p g  的熵, 表示生成分布的不确定性, 值越大表示生成样本越丰富多样.                 L OSML (P,D,G) 是操作
                 顺序互学习的损失函数, 表示生成器和判别器互相预测对方的操作顺序, 并根据预测结果调整自己的参数.                                  η 和  γ
                 是权重超参数, 用于平衡不同的损失项.
                    域分类器    C  是一个神经网络模型, 它接收生成器           G  的时序特征输出, 通过隐藏层提取高层特征, 并通过输出
   377   378   379   380   381   382   383   384   385   386   387