Page 254 - 《振动工程学报》2025年第9期

2184 振 动 工 程 学 报 第 38 卷

斯优化的 LSTM 模型可以通过对各种概率代理模型 式中，M=K(X,X)+ σ I。通过求解极大似然函数的极
2
n
拟合超参数与模型之间的关系进行评价，得出最好 值可以确定优化后的超参数组合。
的超参数组合，而不需要额外进行超参数模拟与组 贝叶斯优化问题包括目标函数、域空间、优化
合，大大提高了优化的效率。后验概率的更新公式为： 算法、结果历史记录 4 个主要部分，如表 1 所示。
p(D|f)p(f)
p( f|D) = （7）
p(D) 表 1 贝叶斯优化的主要内容
式中，D={(x 1 ,f 1 ),(x 2 ,f 2 ), ··· ,(x n ,f n )}为已经采集到的样本 Tab. 1 Main contents of Bayesian optimization

点，其中，x n 和 f n 分别为样本和其对应的概率；p(f) 为 主要部分 解释
先验分布，能够通过上述贝叶斯公式算出 f 的后验分 模型想要最小化的函数，本文中为LSTM模型中使
目标函数
布； p(D| f)为似然函数； p( f|D)为后验分布函数。 用该组超参数在验证集上的损失大小
需要调优的超参数的取值范围，本文中为LSTM单
贝叶斯优化中的概率代理模型指的是通过某种 域空间
元内隐藏层的尺寸大小，初始学习率和正则化参数
概率模型替代目标函数，主要分为以下三类：TPE（树 构造代理函数并选择下一个超参数的方法，
形 Parzen 评估器，tree parzen estimator）、SMAC（随机 优化算法 即采集函数
森林回归）和 GP（高斯过程）。本文采用高斯过程回 结果历史记录 目标函数评估的存储结果
归对贝叶斯优化模型进行建模，有：
（8）
y n = f n (x n )+ε n
式中，ε n 为高斯白噪声且服从正态分布 N(0, σ )，其 3 三 元 Gaussian Copula 模 型
2
n
中 σ n 为标准差。
由于本文所采用的桥例（天津富民桥）在横梁底
′
f(x)∼GP[m(x),k(x, x )] （9）
式中，m(x) 为均值；k(x,x') 为指数协方差，称为核函 板横桥向布置了内侧、中部和外侧 3 个监测点，因此
将 二元 Gaussian Copula 模 型 推 广 至 三 元 Gaussian
数，可表示为：
Copula，对监测点进行整体可靠指标预测与分析。
[ √ ]

′ T
2
′
−1
k(x, x ) = σ exp − (x, x ) Λ (x, x ) （10）
′
f
3.1 Copula 理论
2
式中，σ f 为核函数信号差；Λ 为超参数对称矩阵。
根据贝叶斯理论，基于样本数据集 D 由高斯过 对于 X=(X 1 , X 2 , ··· ,X n )，本文假设 F 为 n 元联合概
程建立的先验函数在给定测试样本 x 的条件下将变 率概率分布函数，其边缘分布函数为 F X1 ,F X2 , ··· ,F Xn ，
*
化为后验分布，因此样本数据集的观察目标值和预 有 Copula 函 数 C 1 ， 使 得 对 于 任 意 的 x=(x 1 , x 2 , ··· ,
测值的联合分布为： x n )∈R ，都有下式成立 [14] ：
n
[ ] ( [ 2 ])
y K(X,X)+σ I K(X, x )
∗
n
∼ N 0, （11） F(x 1 , x 2 ,··· , x 3 ) = C 1 (F x 1 (x 1 ),F x 2 (x 2 ),··· ,F x n (x n )) （16）
f(x ) K(x ,X) K(x , x )
∗
∗
∗
∗
若 边 缘 分 布 函数 F xi (i=1,2, ··· ,n) 连 续 ， 则 Copula
式中，K(X,x )=K (x ,X)，且该项为测试样本 x 与训练
*
*
T
*
函数唯一。由式 (16) 可得随机向量 X=(X 1 ,X 2 , ··· , X n )
集样本 X 之间的 N×1 阶协方差核矩阵；I 为单位矩阵。
的联合概率密度函数为：
由此可得测试样本 x 模型预测值 f(x ) 满足的后
*
*
验分布： p(x 1 , x 2 ,··· , x n ) =
n ∏
*
∗
∗
∗
p(f(x )|X,Y, x ) ∼ N(µ ,Σ ) （12） c(F X 1 (x 1 ),F X 2 (x 2 ),··· ,F X n (x n )) p X i (x i ) （17）
i=1
其中：
式中，p Xi (x i ) 为边缘密度函数；c(u) 为 Copula 函数的
−1
2
µ = K(x ,X)[K(X,X)+σ I] Y （13）
∗
∗
n
联合概率密度函数：
2
−1
*
∗
Σ = K(x , x )− K(x ,X)[K(X,X)+σ I N ] K(X, x )
∗
∗
∗
2
n ∂ C
（14） c(u 1 ,u 2 ,··· ,u n ) = (u 1 ,u 2 ,··· ,u n ) （18）
*
*
式中，Y 为样本数据集的观测目标值；μ 为均值； Σ 为 ∂u 1 ∂u 2 ···∂u n
若 F 为 (i=1,2, ··· ,n) 的广义逆函数，式 (17) 还
−1
方差；I N 为 N 维单位矩阵；K(X,X) 为协方差矩阵，是 X i F X i
可写为：
一个实对称阵。
 −1   
2
综上，θ={ σ σ , 2 n ,Λ}为超参数集合，一般而言，高  F (u 1 )     u 1   


X 1
f


 −1   
  F (u 2 )     u 2  
斯过程回归通过极大似然估计求解优化超参数，其    X 2          （19）
F   .  = C  .  


  .    .  

对数似然函数为：    .     .   



−1
F (u n )   u n 
L(θ) = −lg[p(Y|X,θ)] = X n
1 T −1 1 n 式中，u i = F X i (i=1,2, ··· ,n)；(u 1 ,u 2 , ··· ,u n )=u。
Y M Y + lg|M|+ lg2π （15）
2 2 2 式 (19) 表示在边缘分布已知的条件下构造 Copula