Page 253 - 《振动工程学报》2025年第9期
P. 253

第 9 期               赵启凡，等：BO-LSTM    和  Copula 理论相融合的桥梁构件时变可靠性预测                           2183


                  神经网络算法不仅可以反映序列数据发展和变                                 c t−1                      c t
              化的趋势，而且可以考虑数据序列中随机波动的影                                                             tanh
              响，拟合并进行高精度预测。而针对时序数据的预                                           f t  i t  c t  o t
              测，采用较多的是内侧节点递归连接的循环神经网                                           σ    σ   tanh  σ
              络（recurrent neural network，RNN）模型  [12] ，该模型可以           h t−1                      h t
              实现多个隐藏层的相互连接，获得更好的网络状态                                         x t
                                                                        向量元素乘              向量和
              反 馈 。在   RNN  模 型 的 基 础 上 ， 长 短 期 记 忆 （ long              Element-wise multiplication  Element-wise addition

              short-term memory，LSTM）网络解决了     RNN  模型无法                  图 1 LSTM  网络的循环单元结构
              处理的长距离依赖问题，对时序数据能够进行更好                                   Fig. 1 Cyclic unit structure of LSTM network

              的处理。                                                  图  1  中：
                  贝叶斯优化是一种通过近似逼近来估计最优解
                                                                              i t = σ(W i x t +U i h t−1 + b i )  （1）
              的 优 化 方 法， 多 适 用 于 黑 箱 优 化 。 贝 叶 斯 优 化 的                        f t = σ(W f x t +U f h t−1 + b f )  （2）

              LSTM  模型可以给出最好的超参数组合。在面对不
                                                                             o t = σ(W o x t +U o h t−1 + b o )  （3）
              同的桥梁数据时，只需对贝叶斯优化的两个参数进
                                                                            ˜ c t = tanh(W c x t +U c h t−1 + b c )  （4）
              行调整，而不需要额外对            LSTM  模型进行超参数确
                                                                                c t = f t ∗ c t−1 + i t ∗ ˜c t  （5）
              定，大大提高了优化的效率            [13] 。
                                                                                 h t = o t ∗tanh(c t )    （6）
                  基于以上研究，本文采用            LSTM  模型，并引入贝
                                                                式中，i t 、f t 、o t 、c t 和  ˜ c t 分别为输入门、遗忘门、输出
              叶斯优化方法对        LSTM  模型中的初始超参数进行优
                                                                门、细胞状态和细胞状态候选值；σ(∙) 为                 Logistic 函
              化，构建贝叶斯优化下的长短期记忆（BO-LSTM）网络
                                                                数，输出函数区间为          (0,1)；W i 、W f 、W o 和  W c 分别为
              模型，利用     BO-LSTM  模型对桥梁监测应力极值进行
                                                                输入门、遗忘门、输出门和细胞状态候选值的权重
              预测。并以天津富民桥为例，基于二元                    Copula [14-15]
                                                                矩阵；U i 、U f 、U o 和  U c 分别为为输入门、遗忘门、输
              理论，将二元      Gaussian Copula 推广至三元，建立三元
                                                                出门和细胞状态上一时刻外部状态的权重；b i 、b f 、
              的  Gaussian Copula 模型，对桥梁可靠性进行计算分
                                                                b o 和  b c 分别为输入门、遗忘门、输出门和细胞状态
              析，验证模型与方法的合理性。
                                                                候选值的偏置矩阵；x t 为当前时刻的输入；h t− 为上
                                                                                                         1

                                                                一时刻的外部状态。
              1    长  短  期  记  忆  网  络                              在  LSTM  网络中，记忆单元       c 可以在某个时刻捕
                                                                捉到某个关键信息，并有能力将此关键信息保存一
                  在一般的循环神经网络中，其参数往往可以通                          定的时间间隔。记忆单元             c 中保存信息的生命周期
              过梯度下降的方法来进行较为高效的学习，进而进                            要长于短期记忆        h，但又远远短于长期记忆。

              行神经网络的构建          [12] 。由于在一般循环神经网络
              中，非线性激活函数经常使用导数小于                   1  的  Logistic  2    贝  叶  斯  优  化
              函数或    Tanh  函数，其权重矩阵均较小，因此往往会
              出现梯度消失的问题。                                            机器学习模型中一般有两类参数：第一类参数
                  一般循环网络尽管在理论上可建立长时间间隔                          通常称为模型参数（parameter），需要从数据中学习
              数据状态之间的关系，但由于存在梯度爆炸或消失                            和估计得到，例如线性回归中的斜率与截距等；第二
              的问题，在实际操作中只能学习到短期的依赖关系，                           类参数通常称为超参数（hyperparameter），是机器学
              这种问题称为长程依赖问题。                                     习算法中的调优参数（tuning parameter），需要提前设
                  为了解决一般循环神经网络的长程依赖问题，                          定，例如神经网络的初始学习率等。在本文中，使用
              本文采用引入门控机制的方法来控制信息的积累速                            贝叶斯优化对       LSTM  网络的超参数进行优化。
              度，对输入神经网络的信息进行一定程度的筛选，有                               贝叶斯优化      [13]  是一种通过近似逼近来估计最优
              选择地加入新信息或遗忘之前的信息。长短期记忆                            解的优化方法，多适用于黑箱优化，采用高斯过程、
              网络就是基于门控的循环神经网络的变体，可以有                            随机森林等各种概率代理模型拟合超参数与评价模
              效解决梯度爆炸或消失的问题              [12] 。                 型之间的关系，得出效果最好的超参数组合。贝叶

                  LSTM  网 络 中 的 重 复 模 块 包 含 四 个 交 互 的 层 ：       斯优化会考虑之前的参数信息，更新目标函数的后
              3  个  Sigmoid  层和  1  个  Tanh  层，并以图  1  所示的方式    验分布，直到后验分布基本贴合真实分布。相较于
              进行交互。                                             传统的    LSTM  模型对于时序数据的预测，引入贝叶
   248   249   250   251   252   253   254   255   256   257   258