Page 329 - 《软件学报》2020年第12期

周墨颂 等:一种云环境中的动态细粒度资源调度方法 3995

决定了负载中完成时间长的作业的数量,数据量越大,长作业数量也会越多.而 FGM 对所需完成时间长的作业
的优化效果明显,因此其对数据量越大的负载的提升效果越明显.FGM 在独享环境中对在线负载的测试结果说
明,该方法可以提高独享环境中资源利用率和负载整体性能.
300
Small Average Large
250

完成时间(s) 150
200

100
5
0
Capacity DRF Fair FIFO FGM

Fig.12 Average completion time of tasks in the dedicated environment using the online workload
图 12 在线负载独享环境任务平均完成时间

Fair DRF FIFO Capacity FGM

1200

1000
负载完成时间(s) 800
600
400
200

0
5 100 150 200 250 300 350 400
数据量(GB)
Fig.13 Completion times of online workloads in the dedicated environment
图 13 在线负载独享环境负载完成时间
4.4 在线负载云环境测试

在线负载云环境中,公平性采样结果如图 14 所示.在线负载下,各算法平均公平性相比离线负载均略有降
低,这可能由于在线负载提交时间引起的.FGM 的平均公平性结果非常接近 DRF,仅略低 0.09%.因此,该方法在
云计算环境中仍然保持了资源分配的公平性.
在线负载云环境中,任务平均完成时间如图 15 所示,图中各颜色柱形意义与图 12 中相同.图中测试结果显
示:FGM 的小任务平均完成时间较 Fair 和 DRF 高 2.3s 左右,而低于其他对比算法 5s 左右;大任务平均完成时间
相对其他算法低 34.68s~135.47s 不等,降低幅度大幅增加;所有任务平均完成时间相对其他算法低 4.24s~16.89s
不等.此环境下测试结果与之前有显著不同,这由两方面原因导致:一方面,测试环境中存在的科学计算等其他
应用影响了 Yarn 平台负载的执行,导致任务执行时间增加;另一方面,FGM 适应了环境中其他应用的资源使用
行为,并采取相应措施有效避免了激烈的资源争用,因此任务执行时间增加幅度明显小于其他算法.
在线负载云环境下作业平均完成时间及其累积分布如图 16 和图 17 所示.
图 16 中,FGM 相对于对比算法最少提高 35.74%,最多提高 61.87%.这很大程度上是因为云环境中的非 Yarn
应用大幅增加了作业完成所需的时间.FGM 能够感知服务器可用资源的变化,因此受到影响较小,最终导致
FGM 作业平均完成时间远远优于对比算法.
从图 17 的累积分布图中也可以观察到相同结论:FGM 对于执行时间短的作业并无明显优势,而 FGM 作业