Page 152 - 《软件学报》2025年第12期

荣垂田 等: 多目标深度强化学习驱动的数据库系统参数优化技术 5533

6.7 Co-MODDPG 在数据库性能和资源利用率的协同优化
+
将本文提出的 Co-MODDPG 算法模型, 与使用 DDPG 算法的工具 CDBTune , 以及 LlamaTune 中基于 BO 的
算法 SMAC 均部署在容器实例 Tuner1 中, 在模型训练阶段 MySQL 数据库性能 (Throughput、Latency、Memory
usage) 变化对比如图 17.

3 500 2 500
SMAC SMAC
DDPG DDPG 11
3 000 Co-MODDPG Co-MODDPG SMAC
2 000 10 DDPG
Co-MODDPG
2 500
Throughput (T/s) 2 000 Latency (ms) 1 500 Memory usage (%) 9
1 500
1 000
1 000
500 8
500
7
0 0
0 10 20 30 40 0 10 20 30 40 0 10 20 30 40
Steps Steps Steps
(a) 吞吐量 (b) 延迟 (c) 系统内存占用率
图 17 基于 TPC-C 的 MySQL 数据库性能和资源利用率协同优化的性能对比

从图 17 显示的实验结果来看, 在 TPC-C 工作负载下, 对 MySQL 数据库系统, 使用 DDPG 方法对其进行参数
优化后, 其平均性能为 (1 470.4, 1 480.0, 11.2), 使用 SMAC 方法对其进行参数优化后, 其平均性能为 (1 749.2, 1 053.1, 11.1).
改进的 Co-MODDPG 方法对其配置参数进行优化后, 其性能的均值达到了 (2 218.2, 386.9, 7.4), 相比于 DDPG 方
法, 平均吞吐量提升约 50%, 平均延迟降低约 73%, 内存占用率降低约 34%; 相比于 SMAC 方法, 平均吞吐量提升
约 27%, 平均延迟降低约 63%, 内存占用率降低约 33%.
从图 17 的结果可知, 相比于 DDPG 和 SMAC, ON-MODDPG 扩展后的协同优化算法 Co-MODDPG, 在多目
标协同优化方面亦有较好的效果, 能够在取得较好性能 (吞吐量、延迟) 的同时, 尽量减少内存占用率.

7 总 结

本文针对数据库系统参数优化的多目标特性提出了一种基于原生多目标的深度强化学习的自动化参数优化
方法. 本文的方法改变了以往相关工作中将数据库系统参数优化的多目标任务简化为单目标优化问题带来的实现
成本高、适用性差等缺陷, 并将其扩展到更多目标实现了多目标协同优化.
本文首先提出了一种原生多目标的深度强化学习方法 N-MODDPG, 该算法改进了传统强化学习方法中的奖
励机制, 避免了传统单目标优化的强化学习方法模型的重复训练问题. 为了实现目标偏好和相应的最优策略的快
速对齐, 使得价值函数的更新过程能够考虑整个偏好空间, 本文对 N-MODDPG 方法进行了进一步的优化, 实现
了 ON-MODDPG, 避免次优解的产生. 为了在优化数据库性能的同时减少内存资源的占用, 实现了协同优化算法
Co-MODDPG.
为了验证本文所提方法的先进性, 与最新的相关工作在不同的应用场景下进行了对比实验; 为了验证方法的
有效性, 在两个主流的关系数据库 MySQL 和 PostgreSQL 中进行了参数优化的对比实验; 为了验证本文方法应对
数据库系统需求动态变化的适应性, 针对不同的优化目标的需求与最新的相关方法进行了适应能力的对比. 为了
验证本文方法在多目标优化方面的可扩展性, 设置了新的优化目标 (内存占用率), 在关系数据库 MySQL 中和其
他方法进行了内存占用对比. 实验结果表明, 本文所提的方法具有一定的先进性、有效性、对多目标优化任务的
具有快速适应能力和可扩展性.
未来将探索数据库系统运行时度量参数 (Metrics) 和调优参数 (Knobs) 之间的关系, 进一步确定有效的 Metrics
和 Knobs 的种类和数量, 减少模型的复杂度, 提升模型的训练效率, 增加模型的普遍适用性.