PPT《云计算体系结构》

?list(k2,v2) ?2. reduce?(k2,list(v2))?->

list(v2)? 云计算体系结构 其中v

1、v2可以是简单数据,也可以是一组数据,对应不同的映射函数规则.在Map过程中将数据并行,即把数据用映射函数规则分开,而Reduce则把分开的数据用化简函数规则合在一起,也就是说Map是一个分的过程,Reduce则对应着合.MapReduce应用广泛,包括简单计算任务、海量输入数据、集群计算环境等,如分布grep、分布排序、单词计数、Web连接图反转、每台机器的词矢量、Web访问日志分析、反向索引构建、文档聚类、机器学习、基于统计的机器翻译等. 云计算体系结构 Hadoop架构在Google发表MapReduce后,2004年开源社群用Java搭建出一套Hadoop框架,用于实现MapReduce 算法,能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行.此外,Hadoop 还提供一个分布式文件系统GFS(Google file system),是一个可扩展、结构化、具备日志的分布式文件系统,支持大型、分布式大数据量的读写操作,其容错性较强.而分布式数据库(BigTable)是一个有序、稀疏、多维度的映射表,有良好的伸缩性和高可用性,用来将数据存储或部署到各个计算节点上. Hadoop 框架具有高容错性及对数据读写的高吞吐率,能自动处理失败节点,如图3-5所示为Google Hadoop架构. 在架构中MapReduce API提供Map和Reduce处理、GFS分布式文件系统和BigTable分布式数据库提供数据存取.基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序,并运行于大规模集群上. 云计算体系结构 Google云计算执行过程云计算服务方式多种多样,通过对Google云计算架构及技术的理解,在此我们给出用户将要执行的程序或处理的问题提交云计算的平台Hadoop,其执行过程如下图所示: 云计算体系结构 如图所示的Google云计算执行过程包括以下步骤.(1)将要执行的MPI程序复制到Hadoop框架中的Master和每一台Worker机器中.(2)Master选择由哪些Worker机器来执行Map程序与Reduce程序.(3)分配所有的数据区块到执行Map程序的Worker机器中进行Map(切割成小块数据).(4)将Map后的结果存入Worker机器. (5)执行Reduce程序的Worker机器,远程读取每一份Map结果,进行混合、汇整与排序,同时执行Reduce程序.(6)将结果输出给用户(开发者).在云计算中为了保证计算和存储等操作的完整性,充分利用MapReduce的分布和可靠特性,在数据上传和下载过程中根据各Worker节点在指定时间内反馈的信息判断节点的状态是正常还是死亡,若节点死亡则将其负责的任务分配给别的节点,确保文件数据的完整性. 云计算体系结构 云计算应用云计算的表现形式多种多样,简单的云计算在人们日常网络应用中随处可见,如腾讯QQ空间提供在线制作Flash图片,彩字秀提供的个性文字图片的处理,Google Doc和Google Apps、zoho、用远程软件进行Office处理.对于众多的服务,可以将云计算提供的服务细分为以下7个类型.(1)SaaS(软件即服务).软件厂商将应用软件统一部署在服务器或服务器集群上,通过互联网提供软件给用户.用户也可以根据自己实际需要向软件厂商定制或租用适合自己的应用软件,通过租用方式使用基于Web的软件来管理企业经营活动.软件厂商负责管理和维护软件,对于许多小型企业来说,SaaS是采用先进技术的最好途径,它消除了企业购买、构建和维护基础设施和应用程序的需要,近年来,SaaS的兴起已经给传统软件企业带来强劲的压力.在这种模式下,客户不再像传统模式那样花费大量投资用于硬件、软件、人员,而只需要支出一定的租赁服务费用,通过互联网便可以享受到相应的硬件、软件和维护服务,享有软件使用权和不断升级,这是网络应用最具效益的营运模式. 云计算体系结构 SaaS通常被用在企业管理软件领域、产品技术和市场,国内的厂商以八百客、沃利森为主,主要开发CRM、ERP等在线应用.用友、金蝶等老牌管理软件厂商也推出在线财务SaaS产品.国际上其他大型软件企业中,微软提出了Software+SaaS的模式,谷歌推出了与微软Office竞争的Google Apps,Oracle在收购Sieble升级Sieble on-demand后推出Oracle On-demand,SAP推出了传统和SaaS的杂交(Hybrid)模式.(2)平台即服务.平台即服务PaaS(Platform as a service)是提供开发环境、服务器平台、硬件资源等服务给用户,用户可以在服务提供商的基础架构基础上开发开发程序并通过互联网和其服务器传给其他用户.PaaS能够提供企业或个人定制研发的中间件平台,提供应用软件开发、数据库、应用服务器、试验、托管及应用服务,为个人用户或企业的团队协作.在云计算服务中,平台即服务包括以下类型服务.① 提供集成开发环境.云服务提供商开发、测试、部署、维护应用程序等服务,满足不同用户需要的不同开发周期和集成开发环境,多用户互动测试,版本控制,部署和回滚. 云计算体系结构 ② 集成Web服务和数据库.支持SOAP和REST的接口,组成多个网络服务,支持多用户使用不同数据库的平台,协作用户实现云计算设计.③ 支持团队协作.平台服务通过共享代码和预定义方式,可以界定、更新和跟踪设计人员,开发、测试、质量控制完成团队协作.④ 提供实用设备.以租用方式提供相应设备(如大型集群系统,存储系统等)以端到端方式给用户.平台系统比应用软件系统复杂,是一系列的软件硬件协议的系统集合.把平台独立于软件之外来另立为单独的服务项目,能够让服务更具有目的化,易于........