云计算概念技术与架构范例(8篇)
云计算概念技术与架构范文篇1
摘要:随着Web2.0技术的发展,用户对数据的计算和存储需求激增,往往通过购置更多数量的服务器来增加计算和存储能力。通过互联网租用计算能力和存储资源,就可以大大减少对自有硬件资源的依赖。因此,将云计算技术应用到存储领域可以大大提高资源的利用率。本文主要分析基于云计算的数据存储技术。
关键词:云计算,数据存储,技术
云计算是一种基于服务的架构体系,有两种基本服模式:云计算和云存储。基于云计算服务的应用程序,无论是金融服务还是网络角色扮演游戏,几乎在所有情况下都需要高性能的云存储来满足数据处理的需求[1]。网络时代是一个信息时代,随着Web2.0技术的成熟,大量的信息以井喷的姿势出现在互联网上,如何应对这种信息爆炸式的增长速度,如何对这些信息进行有效存储和管理,云存储是否能够应对这种情况,如何才能保证云存储的高性能,如何才能保证云存储的灵活性,这些是本文探讨的问题。
1、云计算与云存储
1.1云计算的概念
云计算(cloudcomputing)是分布式计算技术的一种,是分布式处理、并行处理和网格计算的发展。其最基本的概念是通过网络将庞大的计算处理程序自动拆分成无数个较小的子程序,再交给由多部服务器组成的运算系统,经过计算分析之后将处理结果回传给用户。
1.2云存储的概念
云存储是在云计算概念基础上延伸和发展出来的一个新概念。与云计算类似,它是通过集群应用、网格技术或分布式文件系统等功能,将网络中不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储是对现有存储方式的一种变革,是一种特殊形式的架构服务。如同云状的广域网和互联网一样,云存储对使用者来讲是透明的,不是指某一个具体的设备,而是指分布在不同物理地域的多台存储设备所构成的集合体。云存储的核心是应用程序软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。
2、云存储系统的结构模型
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。它以存储设备为核心,通过应用软件对外提供数据存储和业务访问服务。自下而上分别为存储层、基础管理层、应用接口层和访问层。
2.1存储层
存储层是云存储的基础部分。各个存储设备通过网络设备连接在一起,存储设备可以是FC光纤通道存储设备,也可以是NAS和iSCSI等IP存储设备。在存储设备层之上是一个统一的存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理以及硬件设备的状态监控和故障维护[2]。
2.2基础管理层
基础管理层是云存储的核心部分,也是云存储中最难实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储系统中多个存储设备之间的协同工作,使多个存储设备可以对外提供强大的数据访问功能。使用CDN(ContentDeliveryNetwork)进行内容分发,数据加密技术保证云存储中的数据不会被未授权的用户所访问。同时,通过各种数据备份和容灾技术可以避免云存储中的数据不会丢失,保证云存储系统自身的安全和稳定。
2.3应用接口层
云存储运营单位可以根据实际业务类型开发不同的应用服务接口并提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台及远程数据备份应用平台等。
2.4访问层
任何一个授权用户都可以通过公用应用接口登录云存储系统,享受云存储服务。不同的云存储运营单位提供的访问类型和访问手段也不尽相同。
云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集,向用户提供服务。为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,即为同一份数据存储多个副本。
三、云存储未来发展趋势
云存储已经成为未来存储发展的一种趋势,目前,云存储厂商正在将各类搜索、应用技术和云存储相结合,以便能够向企业提供一系列的数据服务。但是,未来云存储的发展趋势,主要还是要从安全性、便携性及数据访问等角度进行发展。
云计算概念技术与架构范文
【关键词】云计算技术医疗卫生信息化应用研究
1前言
中国新一轮医疗体制改革以来,医疗卫生信息化作为医疗行业经营成本降低,工作效率提升的有效抓手,已经在国内医疗卫生行业中普遍开展。根据《医疗卫生第十二个五年计划规划》的要求,“十二五”期间国内医疗卫生行业围绕建设国家、省级、地市级等三级信息平台,建设电子健康档案和电子病历两个数据库,构建一个医疗卫生专用网络,健全医疗卫生信息标准体系为目标,加快推进国内医疗卫生信息化进程。经过“十二五”的五年建设,80%以上医院部署应用了医疗信息系统(HIS),健康档案、电子病历等120余项信息标准得到修订与增补,我国医疗卫生信息化建设取得了显著进步。但是,也存在顶层设计缺乏统筹,建设格局条块分割,重复建设现象严重等问题,医疗卫生信息资源整合优化趋势更加明显,智慧医疗、移动医疗、家庭医疗等发展理念开始深入人心。因此,开展云计算技术在医疗卫生行业的应用,用好用实虚拟化技术,是立足现有建设成果,提升医疗卫生的体系保障能力的有力抓手。
2云计算技术概述
云计算技术是一种网络信息资源虚拟化技术的集中体现。自2006年美国亚马逊推出世界首个云计算系统――亚马逊云服务(AmazonWebServices,简称AWS),云计算开始在全球范围的快速的推广应用,据Gartner公司统计,2015年全球云服务市场规模达到2450亿美元,已经成为全球信息化建设的主要经费组成部分。同样,国内互联网企业也对云计算技术基础架构的灵活性、可扩展性的作用高度关注,经过近几年发展,腾讯、百度、阿里巴巴等企业已经完成云计算架构的发展,并在市场运营领域进行了广泛的应用。云计算技术作为一个发展的理念,其理论研究者与技术实现者从不同视角对云计算技术概念进行多样化描述,现阶段较为权威的概念描述是美国NIST给出的定义:云计算是一种按使用量付费的服务模式,已以形成网络、存储、应用、服务等资源池为目标,实现对网络资源的虚拟化的整合优化,增强可靠性、通用性和可扩展性,实现网络信息资源的利用率最大化。通过云计算定义可以看出,云计算技术以形成基于网络环境的计算资源池为核心目标,强化对网络资源的灵活调配、削峰填谷,主要具备以下特点:
(1)强调对网络资源的统一管理;
(2)强调对网络资源的均衡负载;
(3)强调对网络资源的动态调控;
(4)强调对网络资源的智能重组;
(5)强调对网络资源的成本压缩。
3云计算技术对医疗卫生信息化建设的影响分析
简单而言,“智慧医疗”是云计算技术域与医疗卫生业务域相结合的产物,包含医疗资源整合、医疗远程协同、医疗信息安全等方面,它以构建以患者为中心的医疗全生命周期服务体系为核心目标,坚持整合医疗信息资源,增强业务互联互通,加强机构远程联动,逐渐实现业务应用、基础平台、硬件设备等层级的信息共享。当前,云计算技术包含Iaas(基础设施即服务)、Paas(平台及服务)、Saas(软件即服务)等三个维度,对医疗卫生信息化建设中的影响主要表现为:
3.1在Iaas应用层次上
云计算技术要求医疗卫生领域的服务器计算资源与光纤通道存储设备资源进行虚拟化,实现物理上分布的计算、存储硬件资源的集中管理与统一调配。强化以虚拟机(VM)的形式,对各医院、医疗点、卫生主管部门提供硬件环节支撑。初步估算,云计算技术在医疗卫生行业的推广应用,可以使国内医疗行业减少50%以上硬件设备采购投资及60%以上的设备运维成本,应用经济效益显著。
3.2在Paas应用层次上
云计算技术要求以医疗行业公共云与医院私有云相结合的方式,构建形成全国医疗卫生公共服务平台,实现医疗管理、医疗业务信息的融合共享,实现面向公共与医疗卫生行业服务,包含公共卫生、医疗保障、药物配备、医疗协作等功能。
3.3在Saas应用层次上
云计算技术要求基于安全保密的前提,实现跨单位、跨部门、跨系统、跨领域中医疗数据的服务共享,形成患者为中心的医疗服务信息的生命周期管理模式,实施对患者的电子病历的增量管理,满足患者危急转院、异地就医的医疗信息动态支援保障。
4云计算技术对医疗卫生信息化建设的应用策略
云计算技术在医疗卫生行业的应用,涵盖要素多,集成难度高的庞大信息工程,国内相关专家已经开始着手考虑智慧医疗在《医疗卫生第十三个五年计划规划》的应用方式,因此抓好云计算技术域与医疗卫生业务域的融会,落实好国务院工业化与信息化“两化”融合发展的指导意见,是医疗卫生信息化建设“大处着眼,小处入手”的必由之路,经研究,云计算技术对医疗卫生信息化建设的应用策略包含以下几个方面:
4.1以全国医疗公共云平台建设为着力点
持续推动面向社会公共服务与医疗卫生行业服务的信息化进程,提升公共卫生、医疗保障、药物配备、医疗协作等服务保障能力。针对目前医疗资源分布不均衡,大型医院看病难等问题,开展自助服务机、医院门户网站、微信公众号等多种方式的医疗卫生服务,推动“初诊在社区,看病在医院,康复回社会”的新型医疗保障模式,提供医疗服务效率,加快患者、药品、医疗设备的流转速度,减少优势医疗资源的闲置浪费。
4.2以面向个人的智能医疗可穿戴设备为切入点
持续推动医疗服务由医院集中式向家庭分散式的延伸保障。依托智能手表(手环)与智能内衣等技术,实现对家庭危重病人与遗传病史的人员的生命体征实时监控,给出重大疾病威胁报警。同时,借助远程视频看诊可视化技术,实现对异地、分布的病人的病状判断,以及所服药物品种、剂量的在线指导。
4.3以医疗卫生信息标准体系的修改完善为立足点
持续加强医疗信息标准对医疗卫生信息化全民参与、自我发展的促进作用。按照“统一系统架构、统一数据编码、统一服务接口”等方式,修改完善医疗标准体系中基础类、数据类、标准类与管理类等标准,推动云计算技术在医疗卫生行业的应用深度与广度,提供系统拓展性与适应性,降低系统建设风险。
5结束语
云计算技术作为当前主流的网络信息虚拟化技术,在国内外电子政务、企业指导、航空物流、金融证券等领域得到了广泛的应用,现阶段,国内专家学者不断推出“智慧医疗”的研究专著,可以看出,今后一段时间,智慧医疗将是医疗信息化发展的重要方向,应持之以恒的加强关注研究,结合自身工作实际开展云计算技术的应用实践。
参考文献
[1]战国民.基于云计算技术的企业资源计划系统的研究应用[J].计算机应用,2015,05):22-24.
[2]李甜金.云计算技术对企业大型制造行业信息化建设的影响分析[J].计算机工程,2014,23(9):27-32.
[3]王波鑫.云计算技术的应用综述[J].计算机工程与设计,2015,31(6):172-176.
[4]刘至家.云计算技术对国内物流信息化建设的应用研究[J].计算机工程与设计,2015,12(4):125-129.
云计算概念技术与架构范文篇3
不言而喻,云计算仍是一个迅速变化的领域,要么保持在最前沿,要么落后。2010年10月18号,工信部和发改委共同发文将云计算和虚拟化写入“十二五”的战略规划,确定在北京、上海、深圳、杭州和无锡五个城市先行开展云计算服务创新发展试点示范工作。远看,我们需要抓住云计算所带来的机遇,持续并快速的改变思维,优化流程、找寻方法、变革技术;近看,迁移到云计算的过程,为我们提供了新的契机,来重新审视和谋划现有的基础设施、应用等与业务的关联性。不论是远谋还是近思,云计算与任何新概念和技术一样,它会带来新的机遇,也将创造新的风险,不可预期的安全风险甚至会超过企业当前的安全需求。在你思考选择是否选择云计算的时候,安全的位置和忧虑到底是怎样的?本文将通过我们的所见所闻,与你共同探讨云计算安全的问题,以期所思所想与大家共鸣。
共识:云计算是安全机遇
不论是广义的云计算安全,还是狭义的云安全。目前普遍的共识是云计算是安全技术创新和发展的机遇,在云计算还未像今天如此火爆的时候,狭义云安全的定义就已经风生水起,成为安全厂商展现自身安全技术系统、架构领先性的舞台。借助云的概念,安全厂商自身技术和架构的可信、规模、积累、对服务模式的思考等,就成为了他们经常挂在嘴边的关键词。产业也在经历了云计算是安全的灾难,还是安全机遇彷徨之后,意见逐渐趋同。虽然安全目前依然是摆在企业跨入云计算环境的首要担忧之一,但云计算给安全所带来的机遇,已经是产业和厂商的共识。
共鸣:信心和耐心为云计算卸下包袱
不论是选择云服务,构建私有云,还是将现有基础设施迁移到云。首先需要对这一新兴技术概念抱有信心,从2010到2011年的很多报告显示,由于安全问题,众多的企业对云计算持谨慎态度,但对云对安全的态度正在发生变化。2010年Harris调查显示,超过81%的用户担心云服务的安全性问题,普遍认为云计算缺少安全性。而到了2011年,众多的调查报告显示,企业开始对云计算选择的比例呈上升势头,赛门铁克《云端现状调查》报告显示,88%的受访者有信心迈进云计算而不会影响信息安全,虽然只有很少比例(15%-18%)认为已经做好过渡到云的准备,虽然说多做少,但根据这份调查报告显示,譬如企业选择邮件安全、IM安全等安全云服务的比例要多于其他云服务,从对安全的担忧到现在的安全性预期的评估,安全造成企业对云计算呈谨慎态度的局面正在改观。
还有众多的云计算调查报告的数据,也显示出企业对云计算的钟情。虽然安全的担心仍然存在,但云服务的效能、可用性、评估预期、IT部门对系统的控制权是否会导致岗位流失等更多的隐忧正在浮现,安全从云计算诞生就背上的包袱和阴霾正在被驱散。
同时云计算不可能一蹴而就,所以企业和整个产业都要有耐心走好这个过程,从整个行业进展情况来看,可能很多企业都要花多则6-7年,少则3-5年来过渡,而目标也不是简单的将数据中心搬到公有云或变成私有云。同样之于安全,云计算的技术架构,平台,终端计算,每个层次都不能忽视安全,每个层面都有安全,包括管理也需要安全,安全不是支离破碎,不是某一个环节把安全考虑好了就一劳永逸。所以需要从各个层面看现有架构走到安全体系的阶段,包括传统组件,基础架构,技术应用,开发等,当新的应用方式出现的时候,都是对安全的巨大挑战,如果不能很好的处理将带来不可预期的后果。比如新老应用,与云与现有安全架构的兼容性问题?数据在云端和本地的风险和合规问题是完全不同的?迁移策略是怎样的,迁移过程中,安全策略如何掌控动态变化?虚拟化打破了物理的硬性绑定,流动的数据和应用,安全如何考虑?
共鸣:安全责任归属发生的改变
根据CSA云安全联盟的《云计算关键领域安全指南》对云计算安全的定义,云计算中安全控制的主要部分与其他IT环境中的安全控制并没有太大的区别,但是根据企业采用的云服务模型、运行模式以及提供云服务的技术,与传统IT解决方案相比云计算可能面临不同的风险。
如上文所述,企业对云计算安全的谨慎态度,已经随着云的逐步深入,转嫁到其他方面的担忧,比如云的效能,可用性等。。云计算的重要吸引力之一就在在于经济上的可扩展性、标准化提供的成本效率,为了支撑这种成本效率,云提供商提供的服务和解决方案必须足够灵活,以服务最大可能的用户数、最大化企业的市场,而安全集成到这些服务方案中将使得方案变得僵化。虽然安全只是使得云服务僵化的原因之一,但与数据和信息的所面临的风险相比,安全的集成必不可少。所以明确的可纠责性,清楚企业安全现状的成熟度,就是有效安全控制的级别等就显得格外重要了。
CSA联盟给出的安全责任根据云服务模式划分为:在SaaS环境中,安全控制及其范围在服务合同中进行协商,服务等级、隐私和符合性等也都在合同中指出。在IaaS中,低层基础设施和抽象层的安全保护属于提供商职责,其它职责则属于客户。PaaS则居于两者之间,提供商为平台自身提供安全保护,平台上应用的安全性及如何安全地开发这些应用则为客户的职责。
共鸣:私有云与公有云谁更安全
首先要清楚公有云和私有云的定义,公有云由云服务供应商提供,其云基础设施、平台或应用为公众或企业提供服务。私有云的基础设施、平台和应用只为企业运行和服务,由企业自身负责管理。当然企业也可以在自建私有云的同时,一些业务也可以选择公有云服务提供支撑,这就是混合云的概念了。
简而言之,私有云是在企业内部署的,有明确的边界,我们是否就可以认为私有云就更加安全呢?正如CSA对云计算安全定义的那样,其实云计算安全控制的主要部分与传统IT环境的安全控制没有什么区别。更写实的理解,公有云供应商来维护其云环境的安全,只是其为公众提供云服务,私有云是企业维护自身云的安全,为自己提供云服务而已。他们共同面对的安全问题都来自云计算的特性,即虚拟化所提供的动态性,意味着即便是私有云,如果云环境的一个虚拟机存在安全威胁,那么虚拟机间的通信就会存在安全威胁,那么企业传统安全架构和防护措施可能就会被轻易越过,那么企业私有云安全边界是需要动态的变化,还是像传统安全边界一样面临挑战?
同时,企业正在不断提升其安全系统的级别,即高级安全系统的构建。那么这样的系统需要可信,基于信誉,智能感知,背景感知,自动化管理,对安全策略的动态部署等等。简言之,完全打破人工对安全的更新、维护、管理,尽量节约人工成本。那么问题就出现了,满足云的安全自动化的能力与目前企业的人工安全实践并不匹配,企业是该牵强的附和云的自动化要求,强上安全自动化,还是等待技术进一步完善,在安全与云基础设施完全匹配前,平衡更多的条件和因素?据笔者了解,在未来的新版本《云计算关键领域安全指南》中,将有专门的主题,讨论企业私有云安全的内容。
再看公有云,在《云计算关键领域安全指南》V2.1中。所涉及的云计算安全的内容范畴大多数与公有云的安全有关,正如前文所提到的不同云服务模式的职责分配。企业可能会问既然选择了公有云服务,为什么还要对云环境承担责任,甚至依然倔强的认为私有云比公有云在安全方面更具优越性。坦率的说,如果企业决定选择公有云的服务,那么首先要充分信任云供应商的安全防护技术和能力,并与供应商明确各自控制范围的安全范畴,并尽最大可能将企业本身需要维护的安全内容做到完善;而不是当面对公有云的时候,模糊职责范围,不去履行企业自身应尽的责任。
总结一下,私有云即使在企业控制范围内,如果使用不善,依然面临安全威胁的挑战,公有云如果与供应商一起,通过合理的职责划分和合作,也能达到更好的安全性。
在《云计算关键领域安全指南》V2.1中,指出了12个关键领域的云计算安全控制范围,分为治理和运行。治理部分包括:治理和企业风险管理,法律和电子证据的发现,合规和审计,信息生命周期管理,可移植性和互操作性。运行部分包括:传统安全、业务连续性和灾难恢复,数据中心运行,事件响应、通告和补救,应用安全,加密和密钥管理,身份和访问管理,虚拟化。并给出了详细的治理和运行建议。
挑战:云计算安全与传统安全的异同和挑战
为什么我们说云计算安全与传统安全区别不大?现在就来看看他们的异同。相同点:第一目标是相同的,保护信息、数据的安全和完整;第二保护对象相同,保护计算、网络、存储资源的安全性;第三采用的技术类似,比如传统的加解密技术、安全检测技术等。不同点:比如云计算服务模式导致的安全问题,虚拟化带来的技术和管理问题等。
那么云计算安全会面临哪些安全威胁挑战?主要来源于技术、管理和法律风险三个方面。挑战包括:
1.数据集中,聚集的用户、应用和数据资源更方便黑客发动集中的攻击,事故一旦产生影响范围广,后果严重。
2.传统基于物理安全边界的防护机制在云计算的环境难以得到有效的应用。
3.基于云的业务模式,给数据安全的保护提出了更高的要求。
4.云计算的系统非常大,发生故障的时候,如果快速的定位问题的所在,挑战也很大。
5.云计算的开放性对接口安全提出新的要求。
6.管理方面,挑战在于管理权方面,云计算数据的管理权和所有权是分离的,比如公有云服务方面,是否给供应商提供一些高权限的管理;还有就是在企业和服务提供商之间需要在安全方面达成一致;还有就是在协同和管理上的一些问题。比如发生攻击时的联动,对运营管理的模式提出了一些要求;还有监管方面的挑战等。
7.在法律风险方面主要是地域性的问题。云计算应用引发了地域性弱,信息流动性大的特点,在信息安全监管、隐私保护等方面可能存在法律风险。
云计算概念技术与架构范文篇4
这些创新公司和传统存储公司,根据自身的发展或者产品布局需要,推出不同形态的超融合架构产品,例如Nutanix、Simplivity等推出软硬结合的超融合架构一体机,而EMC、Vmware、Nexenta等则推出纯软件的软件定义存储方案。总体来说,新型创业公司走在了超融合架构产品和市场的前列,他们占据了超融合架构基础设施市场的大半壁江山。目前Nutanix、Simplivity等创新公司推出的产品最有竞争力,占据的市场份额也最大。
国内的超融合架构基础设施发展速度总体上落后于国外。但随着融合存储系统在国外越来越受到存储大厂和大客户的关注与重视,以及云计算、大数据、软件定义存储等新一代数据中心基础设施技术的发展,目前国内的主流存储厂商,例如华为、浪潮、曙光等公司开始进行了新一代大规模分布式存储系统的研发,但其主要关注点在面向数据中心的海量数据存储场景提供分布式文件或者分布式对象存储集群。
华为公司的UDS对象存储系统,中科院蓝鲸大型分布式文件存储系统等,这些系统一般都面向公有云应用场景。面向企业云数据中心环境的超融合软件定义系统,国内近年来超融合架构系统市场也发展迅猛,对传统计算分离架构系统市场冲击很大,特别是传统外置存储设备市场,以至于传统存储大厂纷纷进入超融合架构和软件定义存储市场。
云计算概念技术与架构范文篇5
云计算体系可以分为5个层次:云应用层、云软件环境层、云软件基础构建层、软件核心层、硬件层。最上层是云应用层,是云提供给用户服务的接口,这种模型简化了云计算服务提供商的应用部署,一个云应用层部署在服务提供商的计算中心而不是用户的机器之中,可以称这种模型为软件即服务(SaaS)。第二个层次就是云软件环境层,也可以称之为软件平台层,这个层的用户是云应用的研发者,提供这个层次的服务可以称之为平台即服务(PaaS)。第三个层次就是云软件基础设施层,这个层提供基础资源给上一层。这一层提供的云服务有3种:计算资源、数据存储和通信。虚拟机是最常见的计算资源提供形式,可以称这种服务为基础设施即服务(IaaS),因此虚拟化技术是云计算的关键理论技术之一,目前开源的虚拟化技术以XEN和KVM为代表,同时VMWare虚拟化在企业虚拟化应用中也很广泛,在基础设施即服务中最出名的就是亚马逊弹性云计算平台。数据存储是第二个基础设施资源,提供存储服务,也就是数据存储即服务(DaaS)。第四个层次是软件核心层,这一层提供组成云实际物理服务的基本软件的管理。这一层的实现可以是操作系统核心、系统管理程序、虚拟机监视器或集群中间件。第五个层次硬件层是云计算的最底层,这一层的用户通常是有巨大IT需求的大企业,可以称提供的这种云服务为硬件即服务(HaaS)。
2云计算的开源软件框架Hadoop
Hadoop是Apache基金会的开源项目,为开发者提供了一个分布式系统的基础架构,用户可以在不了解分布式系统的底层细节的情况下开发分布式的应用,充分利用集群的强大功能,实现高速运算和存储。2006年1月,Hadoop之父DougCutting因为在开源项目Nutch和Lucene中表现卓越,所以获邀加入Yahoo公司,专攻Hadoop项目并对其进行开发。2006年2月,Hadoop项目从Nutch项目中脱离出来,并正式成为Apache组织中一个专注于DFS和MapReduce的开源项目。MapReduce编程思想是由Google工程师JeffreyDean于2004年提出来的,与此同时,Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。2007年,Google公司了Google’sMapReduceProgramingModel-Revisted论文,在该论文中进一步项目介绍了GoogleMapReduce模型以及Sazwall并行处理海量数据分析预研。2008年2月,Yahoo公司宣布其搜索引擎中的索引时构建在一个拥有1万个内核的Hadoop集群上的。同年4月,Hadoop搜索排序速度打破了世界纪录,成为世界上最快的TB级数据排序系统。Hadoop项目中包括一个分布式的文件系统HDFS,一个分布式的并行编程框架MapReduce,以及包括Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa在内的诸多子项目。为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性。设计人员采用了一种分层的集群框架方法。具体来讲,特定于MapReduce的功能已替换为一组新的守护程序,将该框架向新的处理模型开放,这就是2013年正式推出的第二代MapReduce(YARN)。如上图YARN总体结构图所示,YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础NodeManager(YARN的每节点)。ResourceManager还与ApplicationMaster一起分配资源,与NodeManager一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker的角色。
3云计算在安防领域中的应用
安防行业最普遍的应用是视频监控,该产业目前正以每年20%左右的增长率在持续发展,其产值和规模已取代了其他传统安防行业。随着各地“平安城市”、“数字城市”等概念的实际落地,视频接入规格从几千到几万甚至十几万、几十万都有,视频监控所采集的视频质量也从标清进步到了高清时代,因此产生的数据信息量也逐渐达到了“大数据”概念,不采用“云计算”模式根本无法存储、分析、检索如此大的数据量的视频资料。一些领军企业如海康威视,已经拥有成熟的技术与应用案例。一般来说,人对视频只有20分钟的有效监控,只有结合智能化的监控技术才能把人从视频监控中解救出来,只有与云计算相结合才能使用智能技术快速处理海量视频。云计算在高清视频监控中的应用利用云计算的并行处理能力,进行高清视频的编解码,利用云存储的可靠存储能力来完成海量数据的存储,从而实现高并发、高可靠、低成本,满足视频监控系统实现向高清、智能、IP网络化发展。运用云计算能力,实现常用的各种智能识别算法,如车牌识别、人脸识别、车身颜色、火灾烟雾检测、入侵检测等智能算法,并能以智能分析结果指导视频存储。据了解作为安防行业领头羊的海康威视目前已经拥有此类技术平台。云计算在智能楼宇中的应用平台呈现物联网的整体架构,最上层以云计算技术实现整体的管理和控制。感知层由各类网络传感器组成,包括摄像头、红外传感器、各类门禁传感器、智能水表、消防探头等,全部以网络化结构形式组成建筑“智慧化”大控制系统的传感网络。网络层由传输媒介和IP功能控制器组成。上述两个应用点可以看出,无论云计算将来以哪种模式发展,其在安防领域中的应用将会随处可见,大安防云系统的互联互通最终会诞生在我们生活中,并为安防行业带来高性能、低功耗及廉价的服务。海康威视推出的基于云计算技术的云平台重点解决了海量视频数据的处理速度和可靠性问题,相比传统系统的实现方式,能够在速度与效率上提升一个层次,犹如商用搜索引擎在互联网信息检索中所起的作用,带来更好的用户体验及价值。云平台能够对前端设备产生的实时流进行实时处理,动态分配实时布控需要的资源,满足视频监控应用中的实时性要求;对存储系统中的海量录像进行快速的分析和处理,提取其中的有用信息;支持向上级平台提供快速且多样化的信息检索接口,以期能更好的为用户提供基于海量视频信息的高质量服务。
4小结
云计算概念技术与架构范文篇6
关键词:虚拟私有云架构;虚拟专用局域网服务;云计算;VPN构建
中图分类号:TP393.1
面向智慧校园和企业实际应用的内外网互转技术中,VPN(VirtualPrivateNetwork,虚拟专用网)技术应用非常广泛,它可以实现跨网络、跨平台、跨地域的高效互通和资源共享。企业与学校搭建私有VPN平台,可以最大程度的保持现有网络,降低网络优化门槛和运营成本,有效实现企业和学校内现有基础网络设施与体系的高度融合。虚拟私有云有着与虚拟专用网相似的概念和技术思路,在现有云平台基础上,建立跨越内部云平台和外部云平台的连接通道,实现跨服务提供商、跨平台的灵活、高效、安全的互联互通。本文将VPN与云计算技术相结合,构建基于VPLS的虚拟私有云网络框架,实现面向智慧校园与企业应用的虚拟私有云,并将其在盐城工业职业技术学院校园网络中进行部署,验证本文所提方案的正确性与适用性。
1相关技术与原理
1.1虚拟私有云
云计算概念在2007年Google公司的一个内部项目中被提出,因为其理念的创新,受到诸多IT企业的关注,并投入大量资金开展应用研究。云计算的概念至今未有确切定义,目前广泛认可的是美国国家标准与技术协会(NIST)给出的定义:云计算是一种按使用量付费的模式,该模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互[1]。NIST对云计算的基本特征、服务模式和部署模型也进行说明,认为云计算从所提供的服务模式,可分为三种方式:软件即服务(SoftwareasaService,SaaS)、平台即服务(PlatformasaService,PaaS)和基础设施即服务(InfrastructureasaService,IaaS)[2]。从部署方式上可将其分为公有云、私有云、社区云和混合云等[4]。
2009年,亚马逊Web服务提出了一种新型的云计算部署模型:虚拟私有云(VirtualPrivateCloud,VPC)。它是公有云与私有云的结合体,将企业现有IT基础设施与亚马逊EC2公有云服务进行整合,企业IT技术人员通过VPN将企业数据中心(内部云)与亚马逊的公众服务计算机资源池(外部云)连接起来,将企业的加密需求与亚马逊的安全混合云服务有效整合,使VPC兼备私有云与公有云两者安全、灵活等优点,构建安全、廉价的企业级私有云应用平台。
我校近些年基于云计算构建了多种类型的云平台,推出了多种形式的云应用,完成我校一些基本的云计算和存储任务。本文研究内容采用IaaS服务模式,引入VPN思想,基于VPN的虚拟专用局域网服务(VirtualPrivateLANService,VPLS)构建企业级的虚拟私有云平台。
1.2虚拟专用网
虚拟专用网(VPN)是指在公共电信网络基础设施上,通过使用隧道技术和安全技术在用户成员之间提供安全可靠的通信[5]。虚拟专用网是使逻辑上安全隔离的用户能够在物理上共用同一网络,依托ISP提供的通信链路,将分散的用户接入企业内部私有网络,实现安全的远程或移动访问,是目前企事业单位实现内部网与外部网网络互联、资源互用的主要方式,特别是在强调移动办公的当下,VPN成为了构建移动办公网络应用的首选技术。另外,VPN网络构建不需要架设专用线路,只需在现有ISP网络基础和企事业单位现有IT设施基础上建设,成本较低。
多协议标记交换(MPLS)VPN技术可向VPN连接用户跨网络与平台的不同QoS等级、地址空间利用等区别于传统VPN的连接服务。MPLSVPN有二层和三层两种模型,两者各有优缺点,实际使用时需要ISP根据用户需要、运营成本、服务质量、网络现状、网络后续规划等进行综合考虑与分析。本文网络框架基于二层MPLSVPN网络,实现虚拟私有局域网服务(VPLS),通过构建虚拟局域交换网,实现基于用户路由MAC地址的客户端数据存储转发。
2架构设计与实现
基于VPLS的虚拟私有云网络框架设计原则主要有:(1)不同用户间网络连接可以有效、安全隔离;(2)基于底层网络对用户的透明特性,简化用户管理流程,提高系统安全性;(3)用户的分散性与资源的集中性相结合,提高资源利用率,便于网络部署与管理;(4)满足用户的个性需求,提高系统自主性;(5)保持系统的高扩展性,为网络扩容提供接口;(6)基于现有网络与设施构建网络,节约成本。
基于上述原则,我们设计构建了基于VPLS的VPC网络框架,如图1所示。企业和用户都通过租用ISP提供的VPN实现与公有云的数据连接,云服务提供商为企业数据中心提供多个虚拟机,并将虚拟机通过VLAN技术进行安全有效的互通与隔离,构建基于VPLS的企业级云端(云计算、云存储)虚拟私有云平台。企业通过VPN实现企业私有云平台的管理与维护,用户通过ISP提供的VPN连接企业加密的虚拟私有云完成连接、创建与管理工作。
3VPN部署实验
为了检验上文网络架构的正确性与适用性,我们在盐城工业职业技术学院网络中心进行了基于图1所示VPC网络架构的VPN部署实验。VPN系统的部署主要基于注重网络安全、云端与现有基础设施无缝融合、结点的动态配置等原则实施,技术层面上的部署难点主要是VPN结点的动态自动配置。
3.1VPN结点自动配置
在VPN自动配置的技术攻关中,我们借鉴文献[2]引入了集中式的VPN控制器技术,极大提高了VPN自动配置效率,提升了企业VPC的灵活度,降低了网络管理的复杂度。VPN控制器能够实现与VPC中所有站点的BGP会话,维护VPLS结点间的连接配置关系。VPN控件器以集中的方式控制VPLS结点间的隧道连接,确保用户VPN资源与其他用户与网络的安全有效隔离。
当需要在VPC资源池中增加一个资源结点时,首先,需要选定与资源结点有效连接的ISP提供的边缘路由器(此路由器中存放着与当前所属VPN关联的虚拟路由转发表,路由转发表通过一个个关联的特殊路由标识区分所属的VPN);然后,云平台的每个资源结点都需要向VPN控制器自己的路由标识,VPN控制器根据所接收到的路由标识动态将其分配关联到相应的企业VPC所属的VPN中。最后,VPN控制器通过BGP协议将重构后的路由配置信息传回给与新增加资源结点相连接的VPN边缘路由器,VPN网络的任何拓扑结构改变都可通过集中式的VPN控制器得到快速、合理、有效重构与配置。
这个技术可以改变传统VPN网络中增加结点时需要人工路由配置与网络维护的情况,方便VPN网络的拓展与重构,有效提高工作效率,节约成本。
3.2VPC部署测试
我们将基于VPLS的虚拟私有云框架在盐城工业职业技术学院网络中心进行了部署与测试,并将相关研究成果应用到测试中。
本次测试服务器采用的是联想RD650(XeonE5-2609V3),测试主机采用的是联想TD350(XeonE5-2609v3);测试使用的虚拟化平台为VMware公司的产品VMwarevSphere5.0,服务器安装VMwareCenterServer5.0,测试主机安装VMwareESX5.0。采用IBM公司的IBMSmartCloudFoundation为私有云平台。采用DELL公司的开源数据库性能测试工具DVDStoreV2为测试软件,实际模拟数据库使用过程,通过测试数据内存被改写的速度检测平台网络性能。利用网络测试工具,对VPN网络的NNTP(网络消息传输协议)、XWindow、Http和Gopher等进行了测试与比对。
通过对传统VPN部署与基于虚拟私有云VPN部署的网络运行效率与效果的比较,我们发现,基于VPLS的VPC框架下的VPN网络中因为VPN控制器技术的应用,表现得效率更高、成本更低、网络更安全,在网络结点自动配置方面优势明显。
4结束语
云计算被誉为最值得期待的技术革命,企事业单位根据企业现有IT基础设施基础,构建适合自身业务发展需求的虚拟私有云平台,基于VPN实现远程和移动办公,已成为信息技术发展的必然。本文借鉴VPN的思想,提出的基于VPLS的VPC网络架构,可有效解决企业基于现有设施优化网络配置、降低运营成本的实际需求。后续研究中,我们将对基于本文所述VPC框架构建VPN的安全性、QoS、网络拓扑和可扩展性等问题开展进一步研究。
参考文献:
[1]PeterMell,TimothyGrance.TheNISTDefinitionofCloudComputing.NISTSP800-145,2011:7.
[2]丁靖宇,乐嘉锦,金耀辉.基于VPN实现企业虚拟私有云的体系架构[J].计算机应用与软件,2011(08):212-215+264.
[3]徐小龙,涂群,BESSISNik.SATVPC:Secure-agent-basedtrustworthyvirtualprivatecloudmodelinopencomputingenvironments[J].JournalofCentralSouthUniversity,2014(08):3186-3196.
[4]冯英才.基于VPN的IaaS云接入系统的设计与实现[D].中山大学,2012.
[5]J.C.Snader.“VPNsIllustrated:Tunnels,VPNs,andIPSec”,Addison-wesley,2005.
作者简介:顾大明(1979-),男,江苏盐城人,讲师,硕士,研究方向:计算机网络、云计算应用。
云计算概念技术与架构范文
1.云计算的定义
在《“智慧的地球”――IBM云计算2.0》中,IBM公司对于云计算概念的理解进行了如下阐述:“云计算是一种计算模式,在这种模式中,应用、数据和IT资源以服务的方式通过网络提供给用户使用;云计算同时是一种基础架构管理的方法论,大量的计算资源组合成IT资源池,用于动态创建高度虚拟化的资源以供用户使用”。IBM公司将云计算视作是一个虚拟化的IT资源池。
美国加州大学伯克利分校对于云计算概念的定义:“云计算是互联网上的应用服务及在数据中心提供这些服务的软硬件设施,互联网上的应用服务一直被称作‘软件即服务’,而数据中心的软硬件设施就是所谓的‘云’”。
美国国家标准与技术研究院(NationalInstituteofStandardsandTechnology)的信息技术实验室对于云计算概念的定义:“云计算是一种资源利用模式,它能以简便的途径和以按需使用的方式通过网络访问可配置的计算资源(网络、服务器、存储、应用、服务等),这些资源可快速部署,并能以最小的管理代价或只需服务提供商开展少量的工作就可实现资源”。这一定义以技术化的语言较为全面地概括了云计算的技术特征。
北京“2008IEEEWeb服务国际大会”提出,根据对象身份来定义的云计算概念:“对于用户,云计算是‘IT即服务’,即通过互联网从中央式数据中心向用户提供计算、存储和应用服务;对于互联网应用程序开发者,云计算是互联网级别的软件开发平台和运行环境;对于基础设施提供商和管理员,云计算是由IP网络连接起来的大规模、分布式数据中心基础设施”。
虽然云计算的概念至今未有较为统一和权威的定义,但云计算的内涵已基本得到普遍认可。狭义来讲,云计算是信息化基础设施的交付和使用模式,是通过网络以按需要、易扩展的方式获取所需资源,提供资源的网络就被成为“云”,对于使用者来说,“云”可以按需使用,随时扩展,按使用付费。广义来讲,云计算是指服务的交付和使用模式,是通过网络以按需要、易扩展的方式获取所需信息化、软件或互联网等相关服务或其他服务。总之,云计算是一种分布式并行计算,由通过各种联网技术相连接的虚拟计算资源组成,通过一定的服务获取协议,以动态计算资源的形式来提供各种服务。
2.云计算的发展
在今天,科学技术的发展的日新月异,在全球各界因经济衰退、欧债危机、新兴市场经济增速放缓而不断努力寻求降低成本、推动创新的道路的背景下,云计算的应用正在迅猛发展。Google、IBM、亚马逊、微软、雅虎、英特尔等IT业巨头已经全力投入到云计算争夺战之中,将云计算作为战略制高点。云安全、云杀毒,云存储、内部云、外部云、公共云、混合云、私有云等概念先后形成出现。美国“互联网和美国人生活研究项目”的一项研究成果显示,约有70%以上的互联网网络用户在使用云计算服务。从2011年到2015年,云计算仍处于起步或初级阶段,但会是一个快速的发展阶段,到2022年才可能实现标准化、规范化、社会化,进入趋于成熟的阶段。
以下是几家公司有相当大影响的云应用:亚马逊提供用于计算的弹性计算云(EC2),以及用于存储的简单存储服务云(S3),它们都属于Amazon的基础设施层服务(AWS)。Google是提供云计算服务的一大云服务商,同时也是全世界最大的云计算使用者之一,Google云计算的三大应用是:分布式文件系统(GFS)、分布式计算框架以及分布式数据库(BigTable)。IBM公司在2007年11月推出了“蓝云”,为其客户提供即买即用的云计算平台。
3.云计算的核心技术
云计算在技术上是通过虚拟化技术架构起来的数据服务中心,实现对存储、计算、内存、网络等资源化,按照用户需求进行动态分配。用户不再是在传统的物理硬件资源上享受服务,而改变为在虚拟资源层上构建自己的应用。
(1)数据存储技术
为保证高可靠性、高可用性和经济性,云计算存储数据采用了分布式存储的方式,并采用冗余存储的方式确保存储数据的高可靠性,即为同一份数据存储多个副本或采用多份备份法,采取并行的方法为大量的用户提供服务,云计算的数据存储技术也具有高传输率和高吞吐率的特点,Google、英特尔、雅虎等厂商采用的都是这种数据存储技术。
(2)数据管理技术
为实现云计算系统对大量数据集进行处理和分析,进而向云计算用户提供高品质的服务,云计算的数据管理技术必须要实现高效的管理大数据集。同时,还要实现在规模巨大的数据中找到特定的数据。云计算的特点是对海量的数据进行存储、读取之后再进行大量的分析,数据读操作的频率远大于数据更新的频率。云计算中的数据管理是一种读优化的数据管理。因此,云计算系统的数据管理多数采用数据库领域中列存储的管理模式,将表按列划分后进行存储,Google的BigTable数据管理技术就是比较成熟的技术。
(3)编程模型
云计算上的编程模型要确保简单,以保证用户能通过编写简单的程序就实现特定的目标,轻松的体会云计算提供的服务。同时也要求这种编程模型后台复杂的并行执行以及任务调度向用户和编程人员透明。
(4)云安全
云安全融合了网格计算、并行技术、未知病毒判别等等最新的信息安全概念和技术,是当今信息安全的全新体现。通过网状的大量客户端对网络中的软件行为异常进行检测,获取互联网上木马、恶意程序等的动态情况,实时推送到服务端进行分析处理,然后再将解决方案分发到客户端,从而及时实现安全处理。
云计算的其他相关技术还有:设备架构技术,包括节点互联技术、数据中心节能技术;资源管理技术,包括数据存储技术、数据管理技术;任务管理技术,包括任务调度技术、数据切分技术;改善服务技术,包括可行性技术、容错性技术;以及云安全技术、并行计算技术、负载均衡技术、虚拟机技术等。
4.结论
云计算的飞速发展,给中小外贸企业提供了一种全新的、快捷的计算环境,免去了企业用户很多繁杂的工作,例如安装软件包,设置软件配置,甚至编写复杂软件,同时也给中小外贸企业节省了购置软硬件设备,配备专业人员的相关成本。云计算非常适合中小外贸企业的信息化建设。
云计算概念技术与架构范文篇8
云服务器:保障业务连续性
传统服务器侦听网络上客户机的请求,响应所需的信息。步入云时代,服务器所扮演的角色已不仅仅是数据的反馈方,其承担的服务范围涉及稳定性、安全性、可扩展性和易管理性等方面的内容。由此衍生出的云服务器性能更强、存储容量更大、虚拟化程度更高。在云服务器市场逐步迈向成熟的时期,怎样根据用户需求做到弹性配置和负载均衡,避免服务器宕机,保障业务的连续性,成为云服务器提供商关注的焦点。
云存储:数据保存灵活可控
对于国内个人消费者而言,经常见诸报端的云存储产品莫过于各种类型的网盘,用户在终端自由存取数据的时候可能不曾想到其后灵捷的云存储架构,云存储利用集群应用和分布式文件管理技术协同各种类型存储设备灵活地工作。云存储优势在于:按需使用、按需付费、可随时扩展增减并减少管理的难度。鉴于网络流量爆炸式的增长,如何通过部署云存储网络来应对海量数据的保存、备份、安全的挑战,您心中是否有明确的答案?
虚拟化:有效整合资源
虚拟化作为云基础架构的关键一环,可有效地降低服务器数量。虚拟化通过对物理基础架构和应用程序的高效整合,节省了数据中心所占用的空间及运营开销。有报告曾显示2012年虚拟化服务器比例将达到50%。随着虚拟化在服务器、存储、桌面和应用程序等领域的日益成熟,用户和厂商都急需一个恰当的平台进行深度的交流。
云操作系统:随时、随地、统一的操作
如果台式机、笔记本电脑和移动硬盘仍是你工作或生活“标配”,那么你可能会幻想若能在任何地点、任何轻便的终端上能完成日常所需就完美了。云操作系统的出现令人眼前一亮,只要有网络覆盖的地方,使用者就可以随时享受各种应用。当前企业移动办公人员逐渐增多,利用智能终端的云操作系统,外出一族可以非常便利地进行工作,无论使用智能手机、平板电脑还是超级本,对任一文档的修改都将同步到其它终端,也包括驻地的台式机。云操作系统的出现真正实现了“一次更改统一生效”的办公模式。您是否在想哪里可以领略到这种云端漫步的美好体验呢?
云计算基础架构答疑解惑的平台在哪里?
云计算基础架构将数据中心、服务器、存储、虚拟化和操作系统等进行了有效的融合,提升了IT资源的利用效率。高可用的laas(基础设施即服务)加快了企业业务层的敏捷性,最大限度地增加了企业的回报。那么有针对性地探讨传统网络基础架构向云迁移过程中各种疑问的平台在哪里呢?
三、云安全
云安全示意图
“云安全”
是继“云计算”“云存储”之后出现的“云”技术的重要应用,已经在反病毒软件中取得了广泛的应用,发挥了良好的效果。在病毒与反病毒软件的技术竞争当中为反病毒软件夺得了先机。紧随云计算、云存储之后,云安全也出现了。云安全是我国企业创造的概念,在国际云计算领域独树一帜。
“云安全(CloudSecurity)”计划是网络时代信息安全的最新体现,它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到Server端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。未来杀毒软件将无法有效地处理日益增多的恶意程序。来自互联网的主要威胁正在由电脑病毒转向恶意程序及木马,在这样的情况下,采用的特征库判别法显然已经过时。云安全技术应用后,识别和查杀病毒不再仅仅依靠本地硬盘中的病毒库,而是依靠庞大的网络服务,实时进行采集、分析以及处理。整个互联网就是一个巨大的“杀毒软件”,参与者越多,每个参与者就越安全,整个互联网就会更安全。
最早提出“云安全”这一概念的是趋势科技,2008年5月,趋势科技在美国正式推出了“云安全”技术。“云安全”的概念在早期曾经引起过不小争议,现在已经被普遍接受。值得一提的是,中国网络安全企业在“云安全”的技术应用上走到了世界前列。[2]
技术原理
“云安全(CloudSecurity)”计划是网络时代信息安全的最新体现,它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到Server端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
未来杀毒软件将无法有效地处理日益增多的恶意程序。来自互联网的主要威胁正在由电脑病毒转向恶意程序及木马,在这样的情况下,采用的特征库判别法显然已经过时。云安全技术应用后,识别和查杀病毒不再仅仅依靠本地硬盘中的病毒库,而是依靠庞大的网络服务,实时进行采集、分析以及处理。整个互联网就是一个巨大的“杀毒软件”,参与者越多,每个参与者就越安全,整个互联网就会更安全。
四、云安全服务----趋势科技
趋势科技SecureCloud云安全6大杀手锏: