虚拟技术基础上的集群自适应能耗管理
第一章 绪论
1.1 研究背景与意义
一直以来，计算机行业的研究重点一直是如何提高系统的性能，以摩尔定律为标准，计算机的性能一直呈线性增长，计算机所消耗的能源也一直不断增加，随着信息技术的迅速发展，各个行业对信息系统的依赖程度越来越高，在此趋势下，大型数据中心作为提供所需服务的IT基础设施，其建设规模和推广力度都空前增加，而云计算的兴起和发展使得数据中心的重要性得到进一步加强。
为了减小巨大的能源消耗所带来的各种问题，各国政府一方面投入巨资开发新能源技术，一方面激励推行节能计划，美国通过法案授权美国环境保护署（EPA）对数据中心能耗的增长进行分析研究,并提出一系列降低能耗措施[3]。欧盟也发布了指令，力争到2021年使数据中心的整体能耗降低20%。中国经济的快速发展，使得其对计算和存储的需求也在以两位数的速度快速增长。近年来，中国一方面对第一代数据中心进行大规模的改造和扩展，另一方面也在加快第二代数据中心的 建 设 。 然 而 国 内 绝 大 部 分 数 据 中 心 的 电 能 利 用 率 PUE(Power UsageEffectiveness) 较低。一项研究表明，在中国每生产一度电平均要排放0.96克二氧化碳，这大大高于国际平均值，由此可以看出，建设绿色数据中心有助于我国履行其减少二氧化碳排放的承诺，提高能源利用率，减少对环境的污染。
1.2 研究目标
本论文旨在提出一种基于虚拟化技术的资源管理方法，针对虚拟化数据中心的能耗管理问题，构建一种新型的资源管理框架，对数据中心的服务器进行动态能耗数据采集，在保证服务质量的前提下，通过动态迁移虚拟机和开关闭物理机来实现数据中心能耗的优化。本课题还将构建原型测试平台，为将来的大规模绿色数据中心的建设提供理论支持和关键技术支撑。具体工作如下：
1） 构建一种新型的针对虚拟化数据中心的全局资源管理系统，该系统将数据中心的所有物理机和虚拟机抽象成一个资源库，库中的每个物理机和虚拟机的CPU利用率、内存利用率、虚拟机中应用程序的服务质量都能被及时获取。
2) 实现数据中心全局资源分配的动态性和合理性。根据收集到的虚拟机的现实信息，以及收集到的虚拟机中应用程序的服务质量的信息，针对服务质量的要求，预测所需要的物理机资源集合，针对数据中心负载实时变化的特征，通过负载整合、动态迁移和在线唤醒等策略提高整体系统的资源利用率，进而降低功耗。
3） 设计数据采集装置，开发图形显示界面，实时显示数据中心能耗的动态变化。根据采集到的各项数据指标，设计一种智能的调度算法，动态调整分配给每个虚拟机的资源，实时调节物理机器的功耗和性能现实，使得资源的分配具有实时性和精确性。
1.3 国内外研究现状
1.3.1 概述
目前大多数企业为保证其服务质量，所部署的服务器数量均是按照其最高负载的情况进行配置，而IBM的调查显示，一天中的服务请求只有在极短的时间段内服务器才会满负荷运行，这就造成了数据中心的资源利用率十分低，研究表明，大部分数据中心的平均利用率在3%-30%之间。但是服务器在低利用率情况下所消耗的能源与满负荷时相差很小，服务器不管是一直处在使用现实，还是20%的时间处在运行现实，其所消耗的电能和释放的热量基本一致，这就意味着大部分能源都被浪费掉了。
当前针对数据中心服务器的节能研究，主要集中在以下几个方面：
1) 功耗封顶(Power Capping)[4-7]：通过对服务器能耗进行动态设置或封顶，帮助用户重新分配数据中心里的制冷和电力资源。用户可以根据服务器监控到的最大实际功耗来设置其能源使用峰值，减少不必要的过度供给，将节省下来的电力可以重分派给新的系统；即在总电力一定的情况下，功耗封顶允许用户向数据中心里增加更多的机器。
2) 服务器整合[8-10]：这是目前常见的一种方法，其核心思想是通过区分资源的优先次序并按照需求，将IT系统资源分配给最需要它们的工作负载，以此来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源，减少服务器数量，提高服务器的利用率，降低数据中心能耗，降低硬件购置的成本，减少数据中心占用的空间，提高维护人员的工作效率，并且能够快速部署新的应用。
第二章 数据中心能耗管理现状
由于数据中心自身巨大的能源消耗，功耗管理技术一直是数据中心管理领域的研究热点，前人的很多研究成果已经在降低数据中心的功耗方面得到了验证，但那些成果一般只能应用于传统的数据中心，在当前绝大部分数据中心都是基于虚拟化技术构建的情况下，如何在虚拟化环境下有效管理数据中心的能耗，是当前功耗管理领域的一大难点，本章首先对虚拟化技术进行简要的介绍，接着分析虚拟化技术在数据中心中的应用，其中将重点介绍其在功耗控制方面的作用，然后介绍几种与虚拟化技术相关的常见能耗管理框架，因为近年来，虚拟化数据中心的资源管理对降低数据中心的功耗管理起着越来越重要的作用，所以最后将介绍一些虚拟化数据中心中常见的资源管理软件。
第三章 CREMS 系统设计与实现..............................................................25
3.1 CREMS 系统简介 .......................................................................25
3.2 云资源管理软件 OpenNEbula....................................................................25
3.2.1 OpenNEbula 结构简介 .......................................................................25
3.2.2 OpenNEbula 的优势和不足 ...............................................................28
3.3 CREMS 系统的原理与实现...............................................................29
3.3.1 基本设计思想 ............................................................................29
3.3.2 系统流程 ...............................................................................30
3.3.3 CREMS 性能管理器 ..........................................................................31
3.3.4 CREMS 调度管理器 ..........................................................................32
3.3.5 虚拟机迁移的执行机制 .....................................................................34
3.3.6 物理机的功耗现实调节 .....................................................................35
3.4 本章小结 .......................................................................................36
第四章 实验环境搭建与数据分析 ............................................................37
4.1 引言 ..................................................................37
4.2 CPU 利用率和功耗的关系 ............................................................37
4.3 CREMS 系统负载生成器...............................................................38
4.4 实验环境搭建 .....................................................................................41
4.5 CPU 预测器性能评估 ....................................................................41
4.6 CREMS 调度器性能验证.................................................................42
4.7 CREMS 能耗评估 .........................................................................43
4.8 本章小结 ..............................................46
第五章 工作总结和展望 ......................................................46
第五章 工作总结和展望
针对现存的云资源管理框架都具有的不足，在这篇文章中我提出了CREMS系统，在运行时监视虚拟机资源，并动态地根据虚拟机应用的负载整合虚拟机资源。首先CREMS系统改变了现有云资源管理器对虚拟机的看待方式，虚拟机不再是当作任务，虚拟机的开始与结束不再被认为是任务的开启与停止。认为虚拟机会持续不断地执行相当长的一段时间，在这段时间内不断监视虚拟机资源利用率的动态变化，并做出预测，判断虚拟机需要多少物理资源。CREMS系统通过获得网页或者数据库这些服务器应用中都很常见的响应时间作为描述应用性能的指标，根据这个指标和CREMS监视到的动态变化的虚拟机的资源利用率，CREMS做出合理的资源需求预测。在应用层取得预测的服务器负载之后，根据预测负载来调整虚拟机的资源分配，通过调用Xen的Live Migration虚拟机动态迁移来搬迁虚拟机的位置。当某台物理机资源空闲时，CREMS可以关闭它以节约能源，动态地将空闲的物理服务器转入待机现实，并在需要的时候通过网络唤醒技术（WOL，Wae On-Line）自动地唤醒物理服务器。在4台物理服务器和8台虚拟机组成的集群上进行的长达8小时的实验表明，CREMS系统有效地降低了系统的总体能耗，节约了大约12% 的能源。为了使CREMS适用于更广泛的应用场景，未来还有一些工作需要完善，例如目前的工作都是在同构虚拟机上进行负载调节和虚拟机迁移，并未考虑到异构系统的情况，而且现在CREMS调度系统只能对部署好的正在运行中的虚拟机，未来希望在虚拟机的快速部署方面取得突破，比如希望能够通过一个虚拟机模板快速部署多台虚拟机到服务器集群上，另外需要设计更加高效的调度算法。
参考文献：
[1] ie Liu,Feng Zhao,Xue Liu,Wenbo He. Challenges Towards Elastic Power Management inInter Data Centers. ICDCS Worshops,2009:65-72.
[2] Inter Data Center report on Optimizing Infrastructure and Server Management in ToughEconomic Times.
[3] AGENCY U E P. Report to Congress on Server and Data Center Energy Efficiency (PublicLaw 109-431). 2007.
[4] Xiaobo Fan, Wolf-Dietrich Weber, Luiz Andr′e Barroso. Power provisioning for awarehouse-sized puter. 34th International Symposium on Computer Architecture,2007.
[5] Wesley M. Felter, arthic Rajamani, Tom W. eller, Cosmin Rusu. Aperformance-conserving approach for reducing pea power consumption in server systems.Proceedings of the 19th Annual International Conference on Superputing,ICS 2005.
[6] Ramya Raghavendra, Parthasarathy Ranganathan, Vanish Talwar, Zhiui Wang, Xiaoyun Zhu.No ;power; struggles: coordinated multi-level power management for the data center.Proceedings of the 13th International Conference on Architectural Support for ProgrammingLanguages and Operating Systems, ASPLOS 2008.
[7] Charles Lefurgy, Xiaorui Wang, Malcolm Ware. Power capping: a prelude to power shifting.Cluster Computing,2008:183-195
[8] S. Sriantaiah, A. ansal, F. Zhao. Energy Aware Consolidation for Cloud Computing.USENIX HotPower Worshop on Power Aware Computing and Systems at OSDI,2008.
[9] ordi Torres, David Carrera, evin Hogan, Ricard Gavald`a, Vicenc Beltran, Nicol′as Poggi.Reducing wasted resources to help achieve green data centers.22nd IEEE InternationalSymposium on Parallel and Distributed Processing, IPDPS 2008.
[10] Ripal Nathuji, arsten Schwan. VirtualPower: coordinated power management in virtualizedenterprise systems. Proceedings of the 21st ACM Symposium on Operating Systems Principles2007, SOSP 2007