Page 290 - 《软件学报》2021年第8期

2572 Journal of Software 软件学报 Vol.32, No.8, August 2021

拓扑内的任务正常执行.其原因为:集群内数据库的读写过于缓慢而延后了 ERDM 的触发时机,进而影响集群拓
扑内的任务执行效率,造成影响集群性能的问题.综上所述,时间窗口的取值设置为 30s,在该时间窗口下能够较
好满足实验的执行.此外,同理可得 Sol、RollingSort 以及 RollingCount 的时间窗口取值.

4.2 数据迁移有效性测试
为便于观察集群内数据迁移完成后,关键节点的资源占用情况,首先需要确定集群内的节点类型,即关键节
点与非关键节点.根据表 1 可知,共存在 16 个工作节点.为查找集群内关键节点与非关键节点的分布情况,则通
过 Storm UI 检测集群执行 4 个基准测试后的实验结果,具体实验结果如图 7 所示.

16 关键节点
非关键节点
14
12
10
节点数 8

6
4
2
0
WordCount Sol RollingSort RollingCount
基准测试
Fig.7 Node distribution under different benchmarks
图 7 不同基准测试下的节点分布情况
由图 7 可以看出:集群执行不同的基准测试关键节点与非关键节点分布并不相同,WordCount 下集群存在 2
个非关键节点与 14 个关键节点,Sol 下集群存在 3 个非关键节点与 13 个关键节点,RollingSort 下集群存在 2 个
非关键节点与 14 个关键节点,RollingCount 下集群存在 2 个非关键节点与 14 个关键节点.此外,为对比数据迁移
完成后,各工作节点资源占用率的变化,需要对原集群各工作节点的资源占用率进行检测,具体结果如图 8 所示.
90 90 90
WordCount WordCount WordCount
80 Sol 80 Sol 80 Sol
RollingSort RollingSort RollingSort
70 RollingCount 70 RollingCount 70 RollingCount
60 60 60
CPU占用率/% 50 网络带宽占用率/% 50 内存占用率/% 50
40
40
40
30
20
20
20 30 30
10 10 10
0 0 0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
工作节点 工作节点 工作节点
(a) CPU 占用率 (b) 网络带宽占用率 (c) 内存占用率
Fig.8 Resources utilization of 16 work nodes in the original cluster
图 8 原集群 16 个工作节点的资源占用率
图 8 为原集群运行 4 个基准后,16 个工作节点(关键节点和非关键节点)的平均资源占用率.如图 8 所示,原
集群 16 个工作节点 3 类资源的平均占用率主要集中在 50%~70%,这为集群执行数据迁移奠定了基础.数据迁移
完成后,各基准测试根据节点分布对 16 个工作节点资源占用率的平均值进行观测,验证资源约束算法的实际效