Page 390 - 《软件学报》2026年第3期
P. 390

孙杰 等: 时序数据域自适应的时空卷积与对抗互学习                                                       1353



                    表 8 HHAR  上实验   a→b  时不同参数的敏感性              表 9 Opportunity  上  S1→S2  时不同参数的敏感性

                        参数         Accuracy F1 Params (M) Time (s)    参数         Accuracy F1 Params (M) Time (s)
                 L=2, H=4, HD=32, F=128  0.80  0.78  0.4  3    L=4, H=8, HD=64, F=256  0.70  0.77  0.8  14
                 L=4, H=8, HD=64, F=256  0.83  0.82  0.8  6    L=6, H=8, HD=128, F=512  0.83  0.81  1.6  28
                 L=6, H=12, HD=96, F=384  0.87  0.85  1.1  12  L=8, H=12, HD=192, F=768  0.85  0.84  3.2  45
                    从表  8  和表  9  可以看出, 随着参数的增大, 模型的性能有所提升, 但是也导致了参数量和运行时间的增加. 例
                 如, 在  Opportunity  上实验  S1→S2  时, 当  L  从  4  增加到  6  时, 模型的准确率和  F1  值分别提高了  2%, 但是参数量和
                 运行时间也分别增加了一倍. 这说明           Transformer 模型的参数设置需要根据具体的任务和环境来进行权衡和选择,
                 以达到最佳的效果.
                  3.6   消融实验

                    为了探究本文方法中的各个组成部分对最终结果的影响, 本文进行了消融实验, 即分别去掉时序模式激活模
                 块  (TPAM) 和增强对抗范式     (EAP), 观察模型的性能变化. 表      10  给出了消融实验的结果, 其中        TPN  表示完整的本
                 文方法, TPN-T  表示去掉   TPAM  的方法, TPN-E  表示去掉    EAP  的方法, TPN-T-E  表示去掉  TPAM  和  EAP  的方法,
                 TPN-OS  表示去除  OSML  策略, TPN-DL  表示去除域分类损失.

                                                 表 10 消融实验的准确率对比

                                方法            S1→S4          3→7          a→c          a→d
                              TPN-T-E          0.90          0.72         0.79         0.85
                               TPN-T           0.92          0.77         0.83         0.88
                               TPN-E           0.95          0.83         0.86         0.90
                              TPN-OS           0.96          0.84         0.87         0.91
                              TPN-DL           0.93          0.81         0.84         0.86
                                TPN            0.98          0.88         0.88         0.93

                    从表  10  中可以看出, 去掉    TPAM  或  EAP  都会导致模型的性能下降, 说明        TPAM  和  EAP  都对时序建模和域
                 校正有正向的贡献. 其中, 去掉        TPAM  的影响更大, 表明时序模式特征对于时序数据的域自适应是非常重要的. 另
                 外, 去掉  TPAM  和  EAP  的方法  (TPN-T-E) 的性能与基线方法   (LSTM) 相当, 说明本文方法的优势主要来自           TPAM
                 和  EAP  的结合. 去掉  OSML (TPN-OS) 或域分类损失    (TPN-DL) 都会导致模型性能下降. 其中, 去掉        OSML  带来的
                 性能下降更明显, 说明      OSML  对稳定对抗训练过程、提升模型泛化能力起着更重要的作用. 同时, TPN-OS                     的性能
                 优于  TPN-DL, 这说明了在   EAP  中, OSML  和域分类损失的结合能够带来更大的性能提升, 证明了我们提出的                    EAP
                 的有效性.
                  3.7   可视化实验
                    为了直观地展示本文方法在特征提取和分类的效果, 本文对                    TPN  的注意力权重进行了可视化, 并通过           t-SNE
                 算法对模型的输出进行了可视化. 注意力权重可以揭示序列中不同元素之间的关系, 注意力权重越高, 对应的特征
                 就越重要. t-SNE  算法是一种非线性降维方法, 能够有效地保留高维数据的局部结构, 使得相似的数据点在低维空
                 间中更加靠近, 不相似的数据点更加远离            [37] .
                    图  11  展示了本文方法在实验      S1→S3  时  5 个不同类别样本的时序数据及其自注意力权重可视化结果, 左侧的
                 图是  S3  的一类样本的归一化时间序列, 右边是           TPN  编码器第   1  层的自注意力的权重可视化, y 轴数据越大表示
                 对预测结果的贡献越大. 对于不同类别的样本, 基于               Transformer 的时序自注意力机制特征能够对不同时序位置产
                 生不同程度的注意力, 因此是一种动态的加权机制.
                    图  12  展示了本文方法和基线方法        LSTM  在  S1→S4  实验中的  t-SNE  结果, 其中不同的颜色表示不同的类别.
                 从图  12  中可以看出, 本文方法分类器的性能良好, 不同类别的数据点在                  t-SNE  图中被清晰地分离开来, 即同一类
                 别的数据点聚集在一起, 不同类别的数据点能够区分开来. 而基线方法的某些类别的数据点在                             t-SNE  图中重叠, 意
                 味着分类器在这些类别上的性能较差, 这些类别之间的边界不清晰, 导致域分类的性能下降.
   385   386   387   388   389   390   391   392   393   394   395