在职硕士论文：云计算系统中资源调度研究及其在行业信息系统中应用

这是一篇在职硕士论文，在职硕士按申硕的种类分为单独考试、同等学力申硕和在职攻读硕士。单独考试是先考试后入学的形式，入学可以是全脱产、半脱产、在职学习，修满课程学分和考试及格及论文答辩完成后即可获得硕士学校毕业证和硕士学位证书。（以上内容来自百度百科）今天为大家强烈推荐一篇在职硕士论文，供大家参考。1 绪 论分布式技术和并行计算的发展成熟稳重，激发云计算这种计算模式的普及和流行。云计算的愿景是将 IT 资源（计算资源、存储资源和网络资源）变成和水电资源一样，按需获取，按使用量付费。虚拟机技术是云计算的基石，但是，虚拟机技术在云计算中并不是不可替代的。容器技术的发展，为人们提供了一个新的构建云平台的思路。在云计算的某些服务层面上，容器技术不但能够替代虚拟机技术，而且表现更为优异的效果。1.1 选题背景和意义随着分布式技术、网格计算技术和并行计算技术的发展，云计算这种新型 IT服务提供模式己经成为一个关键的研究领域。云计算[1]是分布式计算的一种新的服务提供模式，基于服务提供商和服务使用者（或称为租户）间协议提供不同层次的服务。云计算服务使用者可以按需获取和按量获取云计算服务，这些服务包括计算服务、网络服务和存储服务等。云计算主要具有五个特征：按需服务和计费、灵活性、高可扩展性、超大规模与虚拟化。云数据中心[2-3]是由硬件和软件组成通过软件定义等方式架构而成的资源池，云服务用户可以根据需要动态地租用这些硬件和软件资源。云计算数据中心的主要特点表现为：高效智能、资源池化、服务透明、按需服务和按使用量计费。按照云资源的抽象程度[4]从高到低，将云计算可以分为三层，分别是软件功能服务层、应用能力运行层和云数据中心层。软件功能服务层将软件功能封装成云服务，用户可以通过客户端或者浏览器使用这些软件的功能，比如苹果手机用户常用的 iCloud。应用能力运行层为云服务用户提供应用程序的运行平台，应用能力运行层为云服务用户提供了应用开发、部署、运行相关的软硬件环境。例如：为用户提供 ava Web 开发部署平台等。云数据中心层是资源抽象化程度最低的一个层级，通过虚拟化技术将计算资源、网络资源和存储资源等基础物理资源进行抽象定义并提供给云用户，这个层级的云资源体现为一些基础设施，比如虚拟机。软件功能服务层、应用能力运行层与云数据中心层三者的层次结构关系如图 1.1 所示[12]。.........1.2 论文主要工作本文首先对云平台和构建云平台的两种技术路线基于虚拟机技术和基于容器技术进行介绍。两种技术路线的区别在于：①基于虚拟机构建的云平台为云用户提供服务主要基于虚拟机完成，用户的任务也被分配到一个个虚拟机上处理。而基于容器构建的云平台为用户提供云服务主要基于容器完成。②在构建云平台的难易程度上，基于虚拟机构建的云平台相比基于容器构建的云平台要简易。③在 IaaS 层服务，基于虚拟机构建的云平台相比基于容器构建的云平台对用户的技术要求相对要低。④由于基于虚拟机构建的云平台相比基于容器构建的云平台在进行资源虚拟化和分割的时候更为复杂，这就导致了基于虚拟机构建的云平的体积和重量;更大，同时也造成了基于虚拟机构建的云平的资源利用率更低。而基于容器构建的云平台则更为轻量，资源利用率更高。⑤基于虚拟机构建的云平台较适宜用于提供 IaaS 级别的云服务，而基于容器构建的云平台则更适宜提供PaaS 和 SaaS 两个级别的云服务。接着，从资源调度的目的、资源表示模型、资源调度模型和资源调度算法几个方面对资源调度的研究现状进行综述。资源调度的目的主要包括三种：云数据中心节能，提高资源利用率和提高云服务的经济效益。目前主流的资源表示模型为基于 slot（槽）的资源表述模型和基于真实资源的资源表示模型。基于槽的资源表示模型将多维资源管理问题简化成单维的 slot 管理问题，但是容易导致资源碎片，引起资源利用率不高。典型的资源调度模型有中央式资源调度模型、层次资源调度模型和共享现实型资源调度模型。随着云平台规模扩大，云平台表现出这些特征：云计算资源调度将面临这些挑战：异地多数据中心、云平台内部资源异构、云服务和云用户规模极大、资源需求异构和难以预测任务的实际资源需求量。因而，云计算资源调度也面临这些挑战：云平台资源利用率难以保证，云服务的质量保障愈发困难，资源调度和资源分配频发。针对云平台资源调度面临这些挑战，本文提出了一个基于图论的批量资源调度模型：首先，使用灰度马尔科夫链预测各节点的负载，并过滤掉未来可能处于高负载的节点；接着，使用剩下的节点构建一个网络；然后，基于这个网络，对资源调度进行最小费用最大流建模，通过求解最小费用最大流问题，完成对批量任务进行资源调度。实验结果表明，本文所提出的资源调度能较好应对云计算资源调度所面临的挑战。........2 相关技术研究现状分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统技术发展融合，产生了云计算这种新的 IT 资源供给模式。云计算的愿景是将 IT 资源变得像煤气、水电一样，取用方便，费用低廉。被普遍接受的云计算特点如下：超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价[13]。资源调度是云计算中最核心的技术之一，随着云计算平台规模扩大，资源调度策略对云平台内部负载均衡、资源利用率和云服务可用性的影响愈发明显。2.1 云计算简介經典云计算平台包括三层服务架构：IaaS（Infrastructure as a Service 基础设施即服务）、PaaS（Platform as a Service 平台即服务）、SaaS（Software as a Service 软件即服务）如图 2.1 所示。IaaS 层为基础设施运维人员提供服务，提供计算资源、存储资源、网络资源及其他基础资源。常见的 IaaS 服务提供方式可以是虚拟机，也可以是裸金属机器。PaaS 层主要为应用开发人员提供服务，提供支撑应用运行所需的软件运行时环境、相关工具与服务，如数 Web 服务器、数据库服务、监控服务、日志服务等，让应用开发者可以专注于应用核心业务的开发。SaaS 层为一般用户提供服务，提供了一套功能完整可用且针对性较强的软件系统，让一般用户无需关注技术细节，只需通过浏览器、应用客户端等方式就能使用部署在云上的应用服务。普通用户使用的云服务大多属于 SaaS 这个层次的服务。.........2.2 构建云平台的技术路线简介容器技术是一种通过操作系统级虚拟化技术来隔离运行在同一主机上不同进程，从而达到进程之间、进程和宿主操作系统间相互隔离、互不影响的技术。这种相互孤立进程就叫容器，每个容器有自己的一套文件系统资源和从属进程。容器主要通过依赖 Linux 系统的 NameSpace、Cgroups 和文件系统、镜像分层机制技术，实现容器资源隔离、空间隔离和跨平台打包部署。虚拟机技术和容器技术是两种不同的虚拟化技术，容器和虚拟机都可以用于构建云计算平台和承载云计算服务。虚拟机和容器最大的区别是：虚拟机是通过虚拟化技术模拟物理机的工作原理，而容器是通过资源隔离限制技术复用物理资源。因此，虚拟机内必须安装有 Guest OS，其才能对外提供服务，而容器内不安装 Guest OS，容器也可对外提供服务。图 2.3 对比了容器和虚拟机两者的工作原理[26]。相比虚拟机，容器使用的是资源隔离和限制的方式实现资源复用，因而容器具备这些优点：①比较轻量，其空间在 MB 级别而虚拟机的空间则是 GB 级别；②部署密度高，性能损耗小；③基于容器镜像分层技术可以实现通用依赖库和系统特定库分离，实现应用、配置文件和特定库依赖打包，可以做到了一处编译、到处运行，即，Build Once, Run Anywhere；④相比于虚拟机，容器运行效率基本接近于物理机，容器操作(启动，停止，重启等)耗时是毫秒级到秒级，容器的灵活性极大促进混合云场景负载迁移；⑤最重要的一点是，容器共享宿主机资源，所以可以最到弹性收缩，不像虚拟机，分配的物理硬件资源固化，不能灵活调整给其他资源使用。 表 2.1 对比了容器和虚拟机之间的异同。........3 基于图论的批处理资源调度策略..........193.1 基于灰色系统理论的网络更新策略 ........193.2 基于最小费用最大流的批处理资源调度策略 ..............243.2.1 最大流问题........253.2.2 最小费用流问题 ...........273.2.3 容量和费用的设定 .......283.2.4 基于最小费用最大流的资源调度策略 ........293.3 实验环境介绍 ...........293.4 实验结果与分析 .......303.5 本章小结 ........354 实际项目需求分析.........374.1 功能模块划分 ...........374.2 功能模块分析 ...........404.3 资源调度需求 ...........434.4 本章小结 ........445 实际项目设计与实现 ..............455.1 架构设计........ 455.2 功能模块设计........... 465.2.1 在线建站子系统功能设计...... 465.2.2 在线部署子系统功能设计...... 485.2.3 部署管理模块功能设计.......... 495.2.4 调度模块功能设计....... 515.3.5 文件管理模块功能设计.......... 525.3 系统实现........ 535.4 运行截图展示........... 545.5 本章小结........ 565 实际项目设计与实现在这一章，本文根据需求对重庆产学研合作创新创业综合服务信息平台;进行设计实现，并将本文所提出的资源调度策略运用到其中。5.1 架构设计产学研平台分成多个模块，各模块部署在集群的不同节点上，以完成不同功能。用户的应用系统将会被部署在不同的节点上，各节点通过部署管理模块与集群的中心产学研平台 Web 节点互联。产学研平台 Web 模块完成集群管理、用户管理、子系统管理等功能。产学研平台所有物理主机通过内网互联，除反向代理服务器外，其余物理主机均和外网隔离并通过反向代理服务器与外网通信。用户通过反向代理，访问产学研平台本身或部署在产学研平台上的 Web 实例。在线建站功能目的是为不具备研发能力的用户提供创建应用系统服务。用户登录到在线建站子平台后，通过以下几个步骤来创建一个站点：①登录到在线建站子平台，然后输入相关信息申请创建一个站点。②用户收到后台返回的成果消息后，选择模板类型。模板类型会影响到用户创建成果的站点所具有的功能，不同类型的模板创建出来的站点具备不同的能力。③用户编辑模板，配置站点内部各个子模块直接的链接关系。④用户保存，创建站点成功。站点进入等待部署现实。

.........总结随着云计算发展，云用户和云服务的规模将会越来越大，这也导致了云平台的规模越来越大且表现出了一些新的特点。因而，云计算资源调度也面临一些新的挑战。本文针对云计算资源调度所面临的挑战，对云计算资源调度展开研究，实验证明本文的所提出的资源调度策略具有较好调度效果。本文还对重庆产学研合作创新创业综合服务信息平台项目;实际项目进行需求分析、架构设计和功能设计，最后编码实现，上线提供服务。本文在系统的研究、设计和实现过程中的主要工作内容如下：①首先介绍云计算的分层架构、发展历程和发展现状。指出云计算经历了三个里程碑，目前正处于第二个阶段，正在一步步向第三个阶段发展。还介绍了基于虚拟机和基于容器的两种构建云平台的技术路线，并对比两者的优缺点。②从资源调度的目的、资源表示模型、资源调度模型和资源调度算法几个方面对资源调度的研究现状进行综述。并分析随着云平台规模扩大，云平台所表现出来的新特征和这些新特征将会给云计算资源调度所带来的挑战。③对云计算资源调度所面临的挑战，本文提出了一个基于图论的批量资源调度模型：通过预测选取未来可能处于低负载的节点构建一个网络，然基于这个网络，对资源调度进行最小费用最大流建模，通过求解最小费用最大流问题完成资源调度。实验表明，本文所提出的资源调度出来能较好应对这些挑战。④对重庆产学研合作创新创业综合服务信息平台;进行需求需求分析，并设计和实现，最终上线运行。..........参考文献（略）