Page 275 - 《软件学报》2021年第8期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(8):2557−2579 [doi: 10.13328/j.cnki.jos.006074] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
Storm 平台下的线程重分配与数据迁移节能策略

2
1
1
1
3
蒲勇霖 , 于 炯 , 鲁 亮 , 李梓杨 , 卞 琛 , 廖 彬 4
1
(新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046)
2
(中国民航大学 计算机科学与技术学院,天津 300300)
3 (广东金融学院 互联网金融与信息工程学院,广东 广州 510521)
4 (新疆财经大学 统计与数据科学学院,新疆 乌鲁木齐 830012)
通讯作者: 蒲勇霖, E-mail: puyonglin1991@foxmail.com

摘 要: 作为流式大数据计算的主要平台之一,Storm 在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低
效率的问题.传统的节能策略并未考虑 Storm 的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资
源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了 Storm 平台下的线程重分配与数据迁移节能策
略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称 ERDM),包括资源约束算
法与数据迁移算法.其中,资源约束算法根据集群各工作节点 CPU、内存与网络带宽的资源占用率,判断集群是否允
许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,
ERDM 通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估 ERDM.实验结果表明,
与现有研究相比,ERDM 能够有效降低节点间通信开销与能耗,并提高集群的性能.
关键词: 大数据;流式计算;实时性;资源约束;数据迁移;能耗
中图法分类号: TP311

中文引用格式: 蒲勇霖,于炯,鲁亮,李梓杨,卞琛,廖彬.Storm 平台下的线程重分配与数据迁移节能策略.软件学报,2021,32(8):
2557−2579. http://www.jos.org.cn/1000-9825/6074.htm
英文引用格式: Pu YL, Yu J, Lu L, Li ZY, Bian C, Liao B. Energy-efficient strategy based on executor reallocation and data
migration in Storm. Ruan Jian Xue Bao/Journal of Software, 2021,32(8):2557−2579 (in Chinese). http://www.jos.org.cn/1000-
9825/6074.htm
Energy-efficient Strategy Based on Executor Reallocation and Data Migration in Storm

1
3
1
2
1
PU Yong-Lin , YU Jiong , LU Liang , LI Zi-Yang , BIAN Chen , LIAO Bin 4
1
(College of Information Science and Engineering, Xinjiang University, Urumqi 830046, China)
2
(College of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300, China)
3
(College of Internet Finance and Information Engineering, Guangdong University of Finance, Guangzhou 510521, China)
4
(College of Statistics and Data Science, Xinjiang University of Finance and Economics, Urumqi 830012, China)
Abstract: As one of the most popular platforms in big data stream computing, Storm is suffering from the problem of high energy
consumption and low energy efficiency due to the lack of consideration for energy saving strategy in the design process. Without taking
the performance constraint of Storm into consideration, the traditional energy-efficient strategies may affect the real-time performance of
cluster. Aiming at this issue, models of the resource constraint, the optimal executor reallocation, and the data migration are set up, and

∗ 基金项目: 国家自然科学 基金 (61862060, 61462079, 61562086, 61562078); 新疆维吾尔自 治区研究生科 研创新项目
(XJ2019G038); 新疆大学博士生科技创新项目(XJUBSCX-201902)
Foundation item: National Natural Science Foundation of China (61862060, 61462079, 61562086, 61562078); Research Innovation
Project of Graduate Student in Xinjiang Uygur Autonomous Region (XJ2019G038); Doctoral Innovation Program of Xinjiang University
(XJUBSCX-201902)
收稿时间: 2019-11-04; 修改时间: 2020-01-30, 2020-03-21; 采用时间: 2020-04-30