• [技术干货] 华为虚拟化平台虚拟机与存储链路中断
    S5800T存储双盘失效临时恢复方法如下:双盘失效的处理方法可以参考这个案例:http://forum.huawei.com/enterprise/thread-273563.html不同存储系统的处理方法都大同小异如果没能及时处理,丢失的数据很可能找不回来了
  • [热门活动] 【平行云科技】虚拟仿真线上应用,随时随地访问的“云上仿真实验室”了解下?
    【导语】2018年8月28日,平行云科技(北京)有限公司入驻华为云市场,在华为云市场发布了虚拟仿真互联网应用云服务产品,打造了轻量级云仿真平台的解决方案,帮助从事虚拟仿真内容开发和运营的客户,将原本只能在线下部署使用的仿真应用便捷的搬到线上,实现跨平台跨终端的使用,引领虚拟仿真应用规模化发展。这款产品有哪些功能,又如何使用呢?一起来了解一下。       平行云科技(北京)有限公司(www.pingxingyun.com)成立于2016年11月,致力于为虚拟仿真提供互联网应用的云服务。平行云的创始团队由“虚拟仿真+多媒体+云计算”的专业团队组成,在每个方向上都有十余年的积累,在技术和业务上具有很强的竞争优势,产品与服务已在多个行业领域得到应用。作为华为云解决方案伙伴,平行云通过将虚拟仿真互联网化、SaaS化,大大了拓展虚拟仿真系统的应用领域。一、产品介绍       作为虚拟仿真互联网应用的引领者,平行云根据客户不同层级的需求,提供多种云仿真解决方案:一套Windows系统的应用,无需修改即可实现跨平台(Windows/Linux/Mac/iOS/Android)和跨终端(PC机/笔记本电脑/平板/手机)的访问。通过新技术改变传统虚拟仿真行业的交易方式和成本结构,帮助企业从项目型转为服务型,将原本面向小众专业市场的虚拟仿真,推广到面向大众的消费领域中。平行云目前已为教育培训及演练、3D GIS、在线三维展示、工业与智能制造辅助设计等多个领域的虚拟仿真应用提供了SaaS层和PaaS层服务,其中在教育领域的解决方案“训课在线”已成功为多所高校提供线上虚拟仿真实验服务,受到多个开放性仿真实验云平台建设方的关注并洽淡合作。(一)SaaS服务        “训课在线”是由平行云研发的在线实践学习云平台(www.vsapponline.com/ www.训课在线.com),将虚拟仿真实验室资源搬到“云上”,是随时随地开放的云上实训室,帮助用户实现跨平台跨终端的交互学习。“训课在线”改变了虚拟仿真实验只能在线下学习的模式,学习者可以随时随地、使用任意终端进行线上交互实践学习,既提高了学习的便捷性,也为使用者带来其他在线课程无法提供的交互体验,收获学习乐趣。 (二)PaaS服务       平行云基于公有云的IaaS层基础,为客户提供PaaS服务,为客户打造独立入口的虚拟仿真应用平台。客户拥有完全独立的虚拟仿真应用平台,可自主运营,适用于将自身积累产品,形成统一入口的管理应用平台,以及某些能够接受使用公有云资源的甲方,为其完成项目。二、产品功能及特点(一)需求分析             虚拟仿真实验教学资源的共享与传播已不仅仅是国家政策层面的要求,更是行业发展的趋势,基于此,目前已有很多的虚拟仿真互联网应用方案,最主要的是基于WebGL、 Unity Web Player、OCX插件等技术路线实现的。这些技术路线,虽然实现了基于B/S的应用模式,但是在使用过程中数据是下载到本地使用的,计算、渲染等还是要使用本地的硬件资源,没有解决硬件终端的限制瓶颈;同时,基于某一种引擎开发的特性导致非基于此系统的程序无法复用。因此,此类方案并没有解决软硬件上的兼容性。此外,对于内容开发者而言,数据下载到客户端存在知识产权保护的问题。       训课在线“0搭建门槛、0运营投入、0维护成本”的运营特点帮助更多的合作伙伴实现仿真资源的线上共享。与传统的虚拟仿真实验室相比,训课在线专属云上实训室具有如下优势:       平行云已与清华大学、北京航空航天大学、国防大学、大连海事大学、山东交通学院等多家院校及科研机构达成合作并为虚拟仿真行业内不同领域的数十家企业提供了产品及服务,参与了国家级虚拟仿真实验教学项目申报评审工作。目前正在推进平行云-华为云-开放性仿真实验云平台建设方的合作。(二)产品功能       通过平行云提供的云仿真服务,学习者可以随时随地、使用任意终端进行线上交互实践学习,既提高了学习的便捷性,也为使用者带来其他在线课程无法提供的交互体验,收获学习乐趣。SaaS服务及PaaS服务均支持全平台(Windows/Mac/Linux/安卓/ios)全终端(PC机/手机/平板)访问。(三)产品特点       通过平行云提供的云仿真服务,学习者可以随时随地、使用任意终端进行线上交互实践学习,既提高了学习的便捷性,也为使用者带来其他在线课程无法提供的交互体验,收获学习乐趣。SaaS服务及PaaS服务均支持全平台(Windows/Mac/Linux/安卓/ios)全终端(PC机/手机/平板)访问。 (1)降低开发成本:开发一个Windows版本,即可跨平台、跨终端使用 (2)降低运维成本:集中部署、集中运维,系统升级便捷 (3)降低使用成本:无需先期投入,按时按量购买服务;可以随时随地、使用任意终端访问学习 (4)保护数据安全:核心内容云端存储,客户端访问的只是视频流 (5)促进内容共享传播:无需下载、即点即用,不受网络和地点的限制三、产品应用行业及合作伙伴       平行云的解决方案已应用于虚拟仿真行业十余个细分领域,包括军事仿真模拟、建筑工程仿真实训、工业与智能制造、三维展示、安全培训演练、K12教育、教育培训、STEAM教育等。四、产品价值点       平行云提供的多层级云仿真解决方案可以帮助客户实现虚拟仿真轻量化上云,使VR内容聚合上云、渲染上云,保护知识产权,助力VR规模化发展。       目前平行云已与华为负责Cloud VR的iLab创新实验室形成紧密友好的合作,成为其在2B行业应用方向的战略合作伙伴。平行云坚持面向实用的广义VR理念,在当下软硬件以及网络条件下,提供基于PC、平板、手机等硬件终端的服务,未来可无缝对接VR眼镜等平台。       更多资讯请关注官网:www.pingxingyun.com,获取更多帮助。
  • [热门活动] 云翌通信张变革:助力企业通信快速无缝上云
    助力企业通信快速上云——云翌通信参展2018国际虚商大会圆满结束8月8日,由中国通讯企业协会虚拟运营分会增值服务专业委员会与AsiaOTT众视网联合主办的“2018MVNO国际虚拟运营大会暨VAS中国增值电信业务高峰论坛”在北京海航大厦万豪酒店隆重召开。参加本次会议的有42家虚拟运营企业、增值电信企业、国际知名MNO企业、国际**服务解决方案提供商、物联网行业合作伙伴、媒体合作伙伴等信息通信行业的嘉宾莅临。图为 中国通信企业协会会长兼虚拟运营分会会长苗建华两天会议,大咖云集,最新行业政策指导,干货满满。其中,中国通信企业协会苗建华会长、工信部网络安全管理局副局长张新、中国联通监管事业部总经理周仁杰、中国信息通信研究规划所/电信行业研究主任许立东在论坛上发表了重要政策解读以及演讲! 同时,云翌通信的运营总监张变革女士为我们带来了未来云通信市场前景以及发展趋势报告。云翌通信运营总监   张变革云翌通信张变革首先为我们详细介绍了云通信市场的发展历程,电话系统是从1960年就已经开始的模拟系统电话,到了1996年开始转变为IP电话系统,也就是从传统的模拟信号转为IP网络信号,这个时间整整花了36年。发展到现的IP统一通信时代,仅仅只用了10年的时间,现在统一通**展是非常迅猛的,尤其是云端通信,逐渐被大家所熟知并接受。 张变革表示目前统一通讯包含了两种模式,市场上应用比较多的一种是自建模式,一种是云端模式。自建的就是私有云部署,它的特点就是要一次性购买很多的硬件,投入一定的经济成本,私有云部署到企业的内部。自建模式目前在政府,大型集团应用比较广泛。另外一种云端的模式,也是现在应用比较多,而且发展比较快速的一种模式。其优点是它无需布线、无需购买硬件,云端部署,企业客户只需要按照它所需要的功能进行开通相应的套餐就可以快速的拥有一套属于自己的企业通讯系统。采用云端租用模式会大大提高企业的ARUP值,因为传统的电话系统需要专业的技术人员去维护,有可能一个企业申请一个号码,搭建一塔简易的电话系统,当出现问题时,需要专业的技术上门维护。一个客户一年产生的收益可能大部分都花在了这个客户的维护费上。单个客户ARUP值较低,现在云端的模式提高了客户的ARUP值,企业管理员在云端后台就可以操作完成增减员工或者开通相应功能的应用配置。 下图是2010年到2019年全球以及中国UC市场的发展趋势。数据上可以看出来2015年到2019年不管是全球还是中国,统一通信市场的发展增长速度都是比较快的,而且中国市场的UC解决方案总额收入也是增长比较快的,达到了20.1%的增长。下图是2010年到2019年中国SIP终端的市场发展情况,从数据可以反应出来中国的IP通信市场现状,因为现在基于云的通信平台终端是基于网络的,不需要布线插上网线就可以使用,这个增长路线可以看出中国云业务市场发展的前景。张变革女士表示现在云端企业通信已经实现了降本增效,主要体现在哪里呢?降低了硬件的投入成本,降低了企业的经济投入成本以及人工投入成本,增效是增加了企业的ARUP值,增加了企业的收入,提高了工作效率。未来企业只需要按需开通所需要的通信功能即可以实现统一通信。现在不管是全球还是中国统一通信市场非常巨大,中国统一通讯市场将迎来新的发展和机遇。 演讲的过程中张变革女士还为我们介绍了云翌通信的云通信平台。云翌通信是上海一家做企业IP通信研发的公司,目前公司开发的SaaS通信云平台应用模块包含,主要分为云总机、云呼叫中心、音视频会议、开发接口,主要对针对终端的企业用户的产品的应用,功能应用。而SaaS通信云平台的优势,张变革女士也对其做出了解释,最近两年大家都在说云,都在炒云,而云翌通信SaaS通讯云平台有什么优势呢?她说道:“首先是我们本身是做平台的,我们做云平台一定要保证我们平台的安全、平稳,我们的云平台针对的客户一部分是中小客户,一部分是大型的集团客户,中小企业客户的发展是比较快的,我们要有很好的易扩展的功能。我们做SaaS通讯云平台跟阿里云这些中国的几朵云也是有合作的,因为我们要保证我们平台的稳定性。我们这个云翌通SaaS通信云平台是电信运营级的,因为它具有高质量和高并发的特性,我们针对的企业不单单是少量的,因为要做运营可能就会涉及到全国,或者是很多很多的企业,我们要保证同一时间点的并发,所以说我们的系统是分布式构架的设计。” 演讲的最后,张变革女士做了会议最后的结尾,表示云翌通信是专业的IP通信服务商,统一通信蓝海市场巨大,助力企业通信快速上云义不容辞。未来,中国云通信市场将迎来新的发展机遇。为期两天的会议,展位参观咨询者不断,云翌通信作为行业领先的IP通信系统研发服务商,致力于为客户提供放心的通信产品及服务,此次大会增加了与虚拟运营商的合作空间,也实现了专业的企业做专业的事,建立通信良性生态圈,合作多赢!
  • [热门活动] 【云市场】南京奥工科技入驻华为云市场,助力业务上云
    【导语】2018年7月9日,南京奥工信息科技有限公司入驻华为云市场,在华为云市场发布了“芝麻开云Saasame服务”,不用关机的情况下做实时增量搬移,在异质平台的自动转换、云端API紧密整合而呈现的一键化使用体验服务。这套服务有哪些功能,又如何使用呢?一起来了解一下。一、【产品介绍】SaaSaMe Transport是一个 P2C(物理机到云)、V2C (虚拟机到云)、C2C(云到云),线上双向迁移的纯软件工具,和其他工具相比较明显的优势在于异质平台的自动转换,以及一键化的使用体验,最关键的是不用关机的情况下做实时增量迁移,这是大型企业迁移或是灾备要求在最短停机时间以及最少数据丢失上云的关键。二、【产品功能特点】 特点1上云过程几乎不停机不中断打包代理使用的服务器资源非常的小,服务器在云端恢复之前都可以继续使用。特点2支持计划性迁移和灾备恢复(DR)计划性的迁移是用户可以先将要搬移的服务停止,让Transport再去做最后一次的同步,RPO=0,在云端恢复之后完全不会有任何数据的遗失,如果是服务器因为不可控制的因素忽然停止,也就是灾备恢复模式,Transport就会基于已经在云端准备好的时间点快照恢复。特点3一键化自动化体验Transport对于每个目的云都会做深度的API整合完成服务搬移的自动化,不需要耗时又容易出错的人力介入处理恢复。特点4vMware虚机不用安装代理软件立即搬移如果是vMware虚机Transport支持agentless做搬移,让搬移大量vMware虚拟机更省时省事,也符合企业IT安全第一的原则。特点5Packer代理支持物理机及其他虚拟平台有Packer for Windows和Packer for Linux,对于非vMware的其他虚拟平台或是物理机都可以按住Packer代理做搬移特点6软件服务灵活部署架构图中所有的软件都是Windows或Linux服务,科技全部部署在一台服务器中,也可以依据搬移量跟性能分开部署。特点7轻巧部署,使用简单本地端只需要一个VM,相交于一般传统数据备份轻巧许多,传统的做法通常会绑定存储或是需要两倍的存储空间,Transport可使用各式存储,只需要传送上云前很小的缓冲区。特点8双向搬移,上的去下的来一样的使用流程可以上云也可以回企业本地端,或是在云与云之间双向搬移特点9Windows VSS确保应用数据一致性Microsoft Exchange,Active Directory,SharePoint and SQL都支持Windows VSS,Transport恢复服务器之后这些应用也都会顺利运行,Linux也有类似的机制特点10高成功率异质平台自动转换不同云和虚拟平台之间的转换时自动完成且非常快速,解决各种转换后无法顺利开机的难题。特点11支持互联网及各种IP网络复制允许不透过开启VPN或者防火墙来进行复制,简化复制设定特点12无线测试验证保留多个还原点供用户进行演练,服务器按需创建,分钟级创建时间,也能确保测试不影响原本的复制三、【产品适用操作系统】 支持的OS操作系统:Windows7,8,10;Windows2003;Windows2008/R2;Windows2012/R2;Windows2016;Red Hat5,6,7;CentOS5,6,7;SUSE Enterprise Linux 11,12 四、【解决难题】 芝麻开云Saasame 服务帮企业解决了云端: 1、 管控、操作难 2、上云需要停机过程 3、云的迁移过程繁琐 4、VMware虚机搬移 数据不一致性等问题 五、【产品价值】芝麻开云Saasame服务的上线,上云无干扰,部署灵活便巧,成本低,一键自动化用户体验服务。
  • [技术干货] 如何调整配置 Windows 系统虚拟内存?
    弹性云服务器ECS的初始状态并未配置虚拟内存,这是由于当开启虚拟内存后,硬盘I/O性能会下降。如果您需要开启虚拟内存,可以根据本文进行配置。本文中的操作适用于Windows 2008及以上系统。 说明:增加虚拟内存会导致磁盘I/O性能下降。如果您的云服务器ECS内存资源不足,如非必要,建议您通过升级实例配额(CPU + 内存)来解决。如果内存使用率已经非常高,而同时IO性能也不是很好的情况下,虚拟内存机制其实会起到相反的效果:不仅系统性能提升较小(因为内存使用率已经非常高了),而且由于频繁的内存的切换操作,会导致产生大量额外的IO操作,导致IO性能进一步降低,最终反而降低了系统总体性能。 1、右击计算机,单击属性,然后单击高级系统设置,在弹出的窗口中,单击高级选项卡,在性能区域,单击设置。2、在弹出的窗口中,单击高级选项卡,选择后台服务,然后单击更改。3、在弹出的窗口中,取消选择自动管理所有驱动器的分页文件大小。4、选择虚拟内存文件存放的驱动器,选择自定义大小,然后输入初始大小与最大值。说明:合理考虑系统蓝屏时产生Memory.dmp时的需求。建议初始大小1024MB,最大值4096MB。最好不要选择系统盘来存放虚拟内存,具体根据自己的服务器硬盘的情况来选择。19164
  • [分享交流] VPS,云服务器,虚拟主机有什么区别呢?
    本帖最后由 王八跳悬崖 于 2018-5-7 17:16 编辑什么是VPS? Virtual Private Server简称VPS。是在一台真实服务器上使用虚拟机技术虚拟成多个小主机,用VZ或VM在一台服务器上虚拟出多个类似独立服务器的部分,每个部分都可以做单独的操作系统,管理方法同服务器一样。但性能往往得不到保障, 虚拟专用服务器,一般是将一个独立服务器通过虚拟化技术虚拟成多个虚拟专用服务器。 优点:价格便宜 缺点:性能低,稳定性低(除了其所在的物理机出问题了会收到影响,虚拟化技术出问题也会收到影响) 云服务器 VS VPS 14949 什么是云服务器? 云服务器:Elastic Compute Service 简称ECS,就是我们平时说的云服务器。它是在很多台服务器组成的数量庞大的服务器阵列上虚拟猪很多个类似独立服务器的部分,集群中每个服务器上都有云服务器的一个镜像,从而大大提高了云服务器的安全稳定性,除非所有的集群内服务器全部出现问题,云服务器才会无法访问。 优点:价格适中,使用灵活,高可用性(单个或多个物理离线不会对整个服务造成太大的影响) 缺点:性能相对独立服务器偏低 什么是虚拟主机? Virtual hosts (Vhost)虚拟主机是通过物理服务器,VPS或者云服务器中划分出来的一个小空间,不管是独立服务器还是VPS或者云服务器都可以做为虚拟主机的母体。但一般不选择VPS作为虚拟主机的服务器。 优点:价格低,使用方便 缺点:性能低,稳定性低。 云服务器VS虚拟主机 14950 我们举个可能不太贴切的例子。假设物理服务器是一栋楼房,您拥有全部所有权,但是还需要小区提供水电管理等物业服务,这就是服务器托管,您必须把自己的服务器放在一个机房里才可以使用。VPS就是一个独立地产商开发的单元楼,这个单元又可以分成很多套房子,但是如果这个单元遇到水电故障,您只能寄希望于物业公司的效率。而云服务器就是一家连锁地产商的单元楼,您可以使用a地某小区中任意一个单元,也可以使用B地某小区的某个单元,即使a地全城出问题,也可以自动切换到另一地而不影响生活。最后,虚拟主机就是一套房子,它可以在上面的某个单元,它是稳定和服务取决于是来自于上面的哪个单元楼。 VPS与云服务器的有什么区别? 1.虚拟化技术应用不同:VPS与云服务器都是通过虚拟化技术产生的虚拟主机产品。不同的是VPS利用虚拟化技术,将一**立服务器分割成多个虚拟专享VPS的优质服务;而云服务器通过虚拟化技术,大规模统调度集群服务器硬件设备,并当成“一台”服务器的虚拟化产品。 2.资源配置的不同:VPS是一台机器划分成N多个,这里面可能CPU内存都是共享的,有的时候一台机器上面可能会几十、上百个VPS。但是在云服务器上,内存这些都是独享的,给你4G,你一定是得到4G,不会出现大家抢内存,谁都跑不动的情况。 3.扩展能力不同:VPS可以根据个人建站需求,选择不同的带宽、CPU、内存、硬盘等配置,但一旦选定,以后再需要改变基本是不可以的,也就是说VPS的资源配置的固定的;而云服务器最大的特点,便是弹性扩展,动态负载均衡特性,当带宽、内存、硬盘不够用的时候,可以随时点击鼠标增加相应资源配置,利用弹性调整,来实现满足各种变化的需求,同时你既可以选择按月、按年支付,也可以按照使用率来付费,这样还能控制成本。
  • [下午茶时光] 【Day 42--2018/3/23】灾难恢复、业务连续性和备份之间主要区别
    13166 【下午茶时光——业界热点陪你喝咖啡】 灾难恢复、业务连续性和备份之间主要区别 我们在业界交流时经常听到灾难恢复、业务连续性和备份等术语,但它们并不相同,如果企业希望妥善保护数据和关键任务业务系统,那么就必须了解它们之间的差异。 以下简要地阐述这些概念: 业务连续性计划描述组织如何应对灾难以及如何从灾难中恢复的内容。灾难恢复是更大的业务连续性计划的一个要素。它通常是一种基于IT的解决方案,用于保持组织的数据和关键系统安全,以便在灾难发生后进行恢复。备份可能是灾难恢复解决方案的一部分,但传统上它们不能自动执行应用程序恢复,而这是备份和复制技术之间的根本区别。为了详细说明,以下是这些概念的一些主要区别和考虑,以帮助企业制定其策略。 13170 业务连续性计划:第一步 业务连续性的讨论应该从企业的管理团队开始。企业的管理团队了解其核心系统宕机或中断的业务影响是至关重要的。并必须认真考虑一些典型的问题,其中包括以下内容:企业需要哪些系统继续提供可接受的水平的产品或服务?哪些系统是不重要的?如果应用程序不可用,还能继续开展业务创收吗?或者,如果应用程序不可用,会不会妨碍业务运营?如何应对诸如自然灾害,网络威胁或流氓软件之类的破坏性事件?如果数据中心宕机或电力中断,那么员工将如何继续工作?企业是否需要考虑采用业务连续性套件?回答这些问题有助于企业确定哪些系统和数据是关键任务,需要备份的频率,以及发生故障时需要多久的时间才能恢复。 在行业调查中,约有50%的企业在业务连续性规划方面已经制定了正式计划,确定哪些系统需要先恢复,并说明灾难会对业务收入产生什么影响。而另一半企业没有这样的计划,但可以从与第三方合作进行正式合作中而获益。最终,业务连续性规划是制定全面灾难恢复策略的第一步。然而,它往往被搁置一旁,其重要性只有在灾难来袭后才能得到充分认识。 灾难恢复:下一步 假设企业已经拥有一份业务连续性计划,那么现在是继续实施灾难恢复计划的时候了。这个过程应该总是从业务层面开始,但并不完全属于IT的范畴。 灾难恢复包括确定需要什么来支持组织的应用程序和基本数据。灾难恢复专家可以使用各种软件工具来帮助回答以下问题: 企业的服务器或虚拟机正在运行什么操作系统?绑定了多少计算资源?使用多少存储空间?硬件版本是否相关,如果是,它们是什么?哪种技术可以复制所需的工作负载?在这个阶段,企业必须注意服务器和虚拟机之间的依赖关系。应用程序可能完全驻留在一个系统上,但应用程序通常驻留在多个虚拟机或服务器上,这大大影响了恢复过程。 备份,复制或两者兼而有之? 企业可能会定期备份数据或依靠云计算提供商为其提供数据备份。异地备份有助于确保数据的可生存性。很多人错误地选择复制或传统备份仅基于应用程序的恢复时间目标(RTO)和恢复点目标(RPO)。备份绝不应该是独立的灾难恢复解决方案。复制是一种将近实时数据复制到新位置,并可在短短15分钟内恢复的备份系统,可以增强企业的安全策略。当企业的数据中心遭遇灾难或事故时,从上次恢复点检索数据是主要优先事项。备份通常每天都在进行,因此如果企业之前的备份已成功完成并在异地复制,那么可能会损失数小时的数据,这其中可能包括销售、服务、结算、库存和其他所有数据。企业还需要恢复可以访问自己数据的应用程序。异地备份计划只能备份应用程序数据,不能备份应用程序本身。如果它不包括操作系统和应用程序,则在开始恢复之前,企业必须协调替换它们。 其他考虑因素:恢复经济学和灾难恢复即服务(DRaaS)的兴起在以往,规划灾难需要企业对IT基础设施进行大量投资。鉴于云计算技术和虚拟化以及复制技术的进步,现在大多数企业都可以轻松实现高级灾难恢复技术。云计算显著降低或消除了企业的资本支出,软件定义的流程减少了错误,并缩短了恢复时间。因此,企业可以更好地利用灾难恢复策略,以便在辅助站点或云中保持最新的资源,并且可以在几分钟内将它们联机使用。 值得注意的是,灾难恢复即服务(DRaaS)是一种相对较新的产品,通过提供目标环境、基础设施、技术和专业人员来帮助企业快速恢复,从而降低复杂性。根据调研机构Gartner公司的2017年魔术象限的灾难恢复即服务报告,人们已经看到客户对灾难恢复即服务(DRaaS)的需求在过去几年稳步增长,这可能是由成本降低或消除成本所驱动的。当然,云计算技术的广泛采用和相关的商业利益使灾难恢复即服务(DRaaS)成为一种值得探索的途径。鉴于灾难带来的许多不确定因素(可能包括电力损失、水患、用户错误、恶意软件,或飓风等自然灾害),需要恢复备份并让业务运行起作用的人员可能会受到影响。由于没有人知道情况会怎样,因此最好尽可能简化和自动化企业的灾难恢复解决方案。在灾难测试和实际紧急情况下,更加简单和协调的灾难恢复总是更为成功。 作者:佚名来源:企业网D1Net
  • [下午茶时光] 【Day 32--2018/3/8】生动解读:云计算的那些事儿(不懂技术一样看的懂)
    本帖最后由 KING 于 2018-3-8 15:16 编辑11840 【下午茶时光——业界热点陪你喝咖啡】 生动解读:云计算的那些事儿(不懂技术一样看的懂) 由于大多数人并非技术出身可能对于云计算只是知道一个大概,并不清楚,但是身在后互联网时代,对这些又不能只是一知半解,因此我用这篇文章来为大家深入浅出的讲解一下关于云计算的那些事儿。 一、云计算最初是实现资源管理的灵活性 我们首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算资源,网络资源,存储资源三个方面。 11845 1、管数据中心就像配电脑 什么叫计算,网络,存储资源呢?就说你要买台笔记本电脑吧,你是不是要关心这台电脑什么样的CPU啊?多大的内存啊?这两个我们称为计算资源。这台电脑要能上网吧,需要有个网口可以插网线,或者有无线网卡可以连接我们家的路由器,您家也需要到运营商比如联通,移动,电信开通一个网络,比如100M的带宽,然后会有师傅弄一根网线到您家来,师傅可能会帮您将您的路由器和他们公司的网络连接配置好,这样您家的所有的电脑,手机,平板就都可以通过您的路由器上网了。这就是网络。您可能还会问硬盘多大啊?原来硬盘都很小,10G之类的,后来500G,1T,2T的硬盘也不新鲜了。(1T是1000G),这就是存储。对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象你有一个非常非常大的机房,里面堆了很多的服务器,这些服务器也是有CPU,内存,硬盘的,也是通过类似路由器的设备上网的。这个时候的一个问题就是,运营数据中心的人是怎么把这些设备统一的管理起来的呢? 2、灵活就是想啥时要都有,想要多少都行 管理的目标就是要达到两个方面的灵活性。哪两个方面呢?比如有个人需要一台很小很小的电脑,只有一个CPU,1G内存,10G的硬盘,一兆的带宽,你能给他吗?像这种这么小规格的电脑,现在随便一个笔记本电脑都比这个配置强了,家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上,他要想要这个资源的时候,只要一点就有了。所以说它就能达到两个方面灵活性。 第一个方面就是想什么时候要就什么时候要,比如需要的时候一点就出来了,这个叫做时间灵活性。 第二个方面就是想要多少呢就有多少,比如需要一个很小很小的电脑,可以满足,比如需要一个特别大的空间,以云盘为例,似乎云盘给每个人分配的空间动不动就就很大很大,随时上传随时有空间,永远用不完,这个叫做空间灵活性。 空间灵活性和时间灵活性,也即我们常说的云计算的弹性。为了解决这个弹性的问题,经历了漫长时间的发展。 3、物理设备不灵活 首先第一个阶段就是物理机,或者说物理设备时期。这个时期相当于客户需要一台电脑,我们就买一台放在数据中心里。物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存,例如网络设备,一个端口的带宽就能有几十G甚至上百G,例如存储,在数据中心至少是PB级别的(一个P是1000个T,一个T是1000个G)。然而物理设备不能做到很好的灵活性。首先它不能够达到想什么时候要就什么时候要、比如买台服务器,哪怕买个电脑,都有采购的时间。突然用户告诉某个云厂商,说想要开台电脑,如果使用物理服务器,当时去采购啊就很难,如果说供应商啊关系一般,可能采购一个月,供应商关系好的话也需要一个星期。用户等了一个星期后,这时候电脑才到位,用户还要登录上去开始慢慢部署自己的应用,时间灵活性非常差。第二是空间灵活性也不行,例如上述的用户,要一个很小很小的电脑,现在哪还有这么小型号的电脑啊。不能为了满足用户只要一个G的内存是80G硬盘的,就去买一个这么小的机器。但是如果买一个大的呢,因为电脑大,就向用户多收钱,用户说他只用这么小的一点,如果让用户多付钱就很冤。 4、虚拟化灵活多了 有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU,内存,硬盘中虚拟出一小块来给客户,同时也可以虚拟出一小块来给其他客户,每个客户都只能看到自己虚的那一小块,其实每个客户用的是整个大的设备上其中的一小块。虚拟化的技术能使得不同的客户的电脑看起来是隔离的,我看着好像这块盘就是我的,你看这呢这块盘就是你的,实际情况可能我这个10G和您这个10G是落在同样一个很大很大的这个存储上的。而且如果事先物理设备都准备好,虚拟化软件虚拟出一个电脑是非常快的,基本上几分钟就能解决。所以在任何一个云上要创建一台电脑,一点几分钟就出来了,就是这个道理。这个空间灵活性和时间灵活性就基本解决了。 5、 虚拟世界的赚钱与情怀 在虚拟化阶段,最牛的公司是Vmware,是实现虚拟化技术比较早的一家公司,可以实现计算,网络,存储的虚拟化,这家公司很牛,性能也做得非常好,然后虚拟化软件卖的也非常好,赚了好多的钱,后来让EMC(世界五百强,存储厂商第一品牌)给收购了。但是这个世界上还是有很多有情怀的人的,尤其是程序员里面,有情怀的人喜欢做一件什么事情呢?开源。这个世界上很多软件都是有闭源就有开源,源就是源代码。就是说某个软件做的好,所有人都爱用,这个软件的代码呢,我封闭起来只有我公司知道,其他人不知道,如果其他人想用这个软件,就要付我钱,这就叫闭源。但是世界上总有一些大牛看不惯钱都让一家赚了去。大牛们觉得,这个技术你会我也会,你能开发出来,我也能,我开发出来就是不收钱,把代码拿出来分享给大家,全世界谁用都可以,所有的人都可以享受到好处,这个叫做开源。 比如最近蒂姆·伯纳斯·李就是个非常有情怀的人,2017年,他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是,他将万维网,也就是我们常见的www的技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳,如果他将这个技术拿来收钱,应该和比尔盖茨差不多有钱。例如在闭源的世界里有windows,大家用windows都得给微软付钱,开源的世界里面就出现了Linux。比尔盖茨靠windows,Office这些闭源的软件赚了很多钱,称为世界首富,就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux,很多后台的服务器上跑的程序都是Linux上的,比如大家享受双十一,支撑双十一抢购的系统,无论是淘宝,京东,考拉,都是跑在Linux上的。 再如有apple就有安卓。apple市值很高,但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商,里面都装安卓系统,因为苹果系统不开源,而安卓系统大家都可以用。在虚拟化软件也一样,有了Vmware,这个软件非常非常的贵。那就有大牛写了两个开源的虚拟化软件,一个叫做Xen,一个叫做KVM,如果不做技术的,可以不用管这两个名字,但是后面还是会提到。 6、虚拟化的半自动和云计算的全自动 虚拟化软件似乎解决了灵活性问题,其实不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的,可能还需要比较复杂的人工配置,所以使用Vmware的虚拟化软件,需要考一个很牛的证书,能拿到这个证书的人,薪资是相当的高,也可见复杂程度。所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别的大,一般在十几台,几十台,最多百台这么一个规模。这一方面会影响时间灵活性,虽然虚拟出一台电脑的时间很短,但是随着集群规模的扩大,人工配置的过程越来越复杂,越来越耗时。另一方面也影响空间灵活性,当用户数量多的时候,这点集群规模,还远达不到想要多少要多少的程度,很可能这点资源很快就用完了,还得去采购。所以随着集群的规模越来越大,基本都是千台起步,动辄上万台,甚至几十上百万台,如果去查一下BAT,包括网易,包括谷歌,亚马逊,服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置,几乎是不可能的事情,还是需要机器去做这个事情。 人们发明了各种各样的算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点的说,就是有一个调度中心,几千台机器都在一个池子里面,无论用户需要多少CPU,内存,硬盘的虚拟电脑,调度中心会自动在大池子里面找一个能够满足用户需求的地方,把虚拟电脑启动起来做好配置,用户就直接能用了。这个阶段,我们称为池化,或者云化,到了这个阶段,才可以称为云计算,在这之前都只能叫虚拟化。 7、云计算的私有与公有 云计算大致分两种,一个是私有云,一个是公有云,还有人把私有云和公有云连接起来称为混合云,我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面,使用私有云的用户往往很有钱,自己买地建机房,自己买服务器,然后让云厂商部署在自己这里,Vmware后来除了虚拟化,也推出了云计算的产品,并且在私有云市场赚的盆满钵满。所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的,用户不需要很大的投入,只要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑。亚马逊呢为什么要做公有云呢?我们知道亚马逊原来是国外比较大的一个电商,它做电商的时候也肯定会遇到类似双11的场景,在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候,就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源,那样太浪费了。但也不能什么都不准备,看着双十一这么多用户想买东西登不上去。所以需要双十一的时候,创建一大批虚拟电脑来支撑电商应用,过了双十一再把这些资源都释放掉去干别的。所以亚马逊是需要一个云平台的。而商用的虚拟化软件实在是太贵了,亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术,如上所述的Xen或者KVM,开发了一套自己的云化软件。 8、 IaaS, 资源层面的灵活性 随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套,比如北京部署一套,杭州部署两套,广州部署一套,然后进行统一的管理。这样整个规模就更大了。在这个规模下,对于普通用户的感知来讲,基本能够做到想什么时候要就什么什么药,想要多少就要多少。还是拿云盘举例子,每个用户云盘都分配了5T甚至更大的空间,如果有1亿人,那加起来空间多大啊。其实背后的机制是这样的,分配你的空间,你可能只用了其中很少一点,比如说它分配给你了5个T,这么大的空间仅仅是你看到的,而不是真的就给你了,你其实只用了50个G,则真实给你的就是50个G,随着你文件的不断上传,分给你的空间会越来越多。当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资源,这个对用户是透明的,看不到的,从感觉上来讲,就实现了云计算的弹性。其实有点像银行,给储户的感觉是什么时候取钱都有,只要不同时挤兑,银行就不会垮。 这里做一个简单的总结,到了这个阶段,云计算基本上实现了时间灵活性和空间灵活性,实现了计算,网络,存储资源的弹性。计算,网络,存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性,管理资源的云平台,我们称为基础设施服务,就是我们常听到的IaaS,Infranstracture As A Service。 二、 云计算不光管资源,也要管应用 11851 有了IaaS,实现了资源层面的弹性就够了吗?显然不是。还有应用层面的弹性。这里举个例子,比如说实现一个电商的应用,平时十台机器就够了,双十一需要一百台。你可能觉得很好办啊,有了IaaS,新创建九十台机器就可以了啊。但是90台机器创建出来是空的啊,电商应用并没有放上去啊,只能你公司的运维人员一台一台的弄,还是需要很长时间才能安装好的。虽然资源层面实现了弹性,但是没有应用层的弹性,依然灵活性是不够的。有没有方法解决这个问题呢?于是人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。这一层往往比较难理解,其实大致分两部分,一部分我称为你自己的应用自动安装,一部分我称为通用的应用不用安装。 先来说第一部分,自己的应用自动安装。比如电商应用是你自己开发的,除了你自己,其他人是不知道怎么安装的,比如电商应用,安装的时候需要配置支付宝或者微信的账号,才能别人在你的电商上买东西的时候,付的钱是打到你的账户里面的,除了你,谁也不知道,所以安装的过程平台帮不了忙,但是能够帮你做的自动化,你需要做一些工作,将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子,双十一新创建出来的90台机器是空的,如果能够提供一个工具,能够自动在这新的90台机器上将电商应用安装好,就能够实现应用层面的真正弹性。例如Puppet, Chef, Ansible, Cloud Foundary都可以干这件事情,最新的容器技术Docker能更好的干这件事情,不做技术的可以不用管这些词。 第二部分,通用的应用不用安装。所谓通用的应用,一般指一些复杂性比较高,但是大家都在用的,例如数据库。几乎所有的应用都会用数据库,但是数据库软件是标准的,虽然安装和维护比较复杂,但是无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库的时候,一点就出来了,用户就可以直接用了。有人问,既然谁安装都一个样,那我自己来好了,不需要花钱在云平台上买。当然不是,数据库是一个非常难的东西,光Oracle这家公司,靠数据库就能赚这么多钱。买Oracle也是要花很多很多钱的。然而大多数云平台会提供Mysql这样的开源数据库,又是开源,钱不需要花这么多了,但是维护这个数据库,却需要专门招一个很大的团队,如果这个数据库能够优化到能够支撑双十一,也不是一年两年能够搞定的。比如您是一个做单车的,当然没必要招一个非常大的数据库团队来干这件事情,成本太高了,应该交给云平台来做这件事情,专业的事情专业的人来自,云平台专门养了几百人维护这套系统,您只要专注于您的单车应用就可以了。 要么是自动部署,要么是不用部署,总的来说就是应用层你也要少操心,这就是PaaS层的重要作用。 11852 虽说脚本的方式能够解决自己的应用的部署问题,然而不同的环境千差万别,一个脚本往往在一个环境上运行正确,到另一个环境就不正确了。而容器是能更好的解决这个问题的。 11853 容器是 Container,Container另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱的特点,一是封装,二是标准。 11854 在没有集装箱的时代,假设将货物从 A运到 B,中间要经过三个码头、换三次船。每次都要将货物卸下船来,摆的七零八落,然后搬上船重新整齐摆好。因此在没有集装箱的时候,每次换船,船员们都要在岸上待几天才能走。 11855 有了集装箱以后,所有的货物都打包在一起了,并且集装箱的尺寸全部一致,所以每次换船的时候,一个箱子整体搬过去就行了,小时级别就能完成,船员再也不用上岸长时间耽搁了。这是集装箱“封装”、“标准”两大特点在生活中的应用。 11856 那么容器如何对应用打包呢?还是要学习集装箱,首先要有个封闭的环境,将货物封装起来,让货物之间互不干扰,互相隔离,这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。 封闭的环境主要使用了两种技术,一种是看起来是隔离的技术,称为 Namespace,也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术,称为 Cgroups,也即明明整台机器有很多的 CPU、内存,而一个应用只能用其中的一部分。所谓的镜像,就是将你焊好集装箱的那一刻,将集装箱的状态保存下来,就像孙悟空说:“定”,集装箱里面就定在了那一刻,然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的,谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程(就是读取镜像文件,还原那个时刻的过程)就是容器运行的过程。 有了容器,使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。 文章来自作者:web开发者mp(转载须注明)
  • [下午茶时光] 【Day 30--2018/3/6】云存储的核心技术:虚拟化存储
    11595 【下午茶时光——每日精选小知识陪你喝咖啡】有人说虚拟化解决方案就好像游历一个虚拟现实的主题公园。当游客想象他正在城市上空滑翔时,传感器就会把相应的真实感觉传递给游客,如同身历其境。同样,一个好的虚拟化工具可以对企业的存储设备做相同的工作,让数据感觉自己是存储在一个真实的物理环境里,之后就可以任意改变数据存储的位置了。以下这篇文章就是聊聊在云存储中虚拟化技术的使用,有兴趣的小伙伴多加关注啦~从今日起,下午茶时光每日精选与大家分享云计算领域中的各种小知识,继续陪大家喝咖啡( ̄︶ ̄)> 云存储的核心技术:虚拟化存储 导语虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一样,物理存储设备也被抽象成虚拟磁盘(Virtual Disk)。今天我们就来聊聊虚拟化存储(Storage Virtualization)技术,究竟虚拟磁盘是怎样实现的?11577 [*]虚拟磁盘的实现 我们知道,服务器扩展存储的手段主要有直连存储(DAS)、存储区域网络(SAN)和网络附加存储(NAS)这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢? 在虚拟化环境中,类似VMWare这样的虚拟机管理程序hypervisor,要同时给很多VM分配存储空间。这个过程中,我们需要先把物理存储资源重新划分成虚拟磁盘,然后再分配给VM。 显然我们不能用DAS方式把物理磁盘直连到VM上,如果这样,需要的物理磁盘就太多了。SAN是以逻辑单元(LUN:Logic Unit)的形式提供存储资源,但虚拟环境下的VM数量很大,LUN的数量也不足以支撑这么多虚拟磁盘。 更重要的一点,虚拟磁盘对于众多的VM来说是共享的,因为VM需要随时创建、删除或者迁移,在迁移VM的时候就需要共享存储,只有这样原来的数据才不会丢失。无论DAS还是SAN,都不适合共享存储。 考虑到资源分配以及共享的问题,hypervisor采用NAS的方式来实现虚拟磁盘。VMware通常采用VMFS(Virtual Machine File System)或NFS协议来实现虚拟磁盘,VMFS是专门针对虚拟机环境的文件系统协议。 每个虚拟机的数据实际上就是一堆文件,最主要的文件就是虚拟磁盘文件(VMDK文件),此外还有交换分区文件(vswp文件,相当于swap)、非易失性内存文件(nvram相当于bios)等。每个VM对虚拟磁盘的IO操作,实际上是对这个虚拟磁盘文件的读写。 VMFS的设计、构建和优化针对虚拟服务器环境,可让多个虚拟机共同访问一个整合的群集式存储池,从而显著提高了资源利用率。采用 VMFS 可实现资源共享,使管理员轻松地从更高效率和存储利用率中直接获益。 11593 [hr]那么我们如何在云计算中使用虚拟磁盘呢? [*]实例存储 最主要的一种使用虚拟磁盘的方式就是实例存储,每一个VM就是一个虚拟机实例,hypervisor在每个实例中提供仿真的硬件环境,包括CPU、内存和磁盘。这种方式,使得虚拟磁盘成为虚拟机实例的一部分,就像物理世界一样。VM删除后,虚拟磁盘也会被删除。 这种实例存储模型中,虚拟磁盘与虚拟机之间的存储关系,实际上是DAS存储。但虚拟磁盘的底层实现,上面我们说了,是用NAS方式实现的。而hypervisor的作用就是把VM层的存储模型,与虚拟机下层的实现协议(VMFS或NFS)分离开了。 [*]卷存储 实例存储有它的限制,开发者一般希望把实例数据(比如OS以及安装的一些服务器应用软件)和用户数据分开,这样重建VM的时候可以保留用户的数据。 这个需求衍生出另外一种存储模型:卷存储。卷是存储的主要单位,相当于一个虚拟的磁盘分区。不属于虚拟机实例的一部分,可以认为是虚拟机的外置存储设备。 卷可以从一个VM卸下,然后附加给另外一个VM。这样我们就实现了实例数据与用户数据的分离。 [*]对象存储 很多云应用需要在不同的VM之间共享数据,经常需要跨越多个数据中心,对象存储可以解决这个问题。 在对象存储模型中,数据存储在存储段(bucket)中,按字面意思bucket也可以被称为“桶“。我们可以用硬盘进行类比,对象就好比文件,存储段就像是文件夹(或目录)。对象和存储段可以通过统一资源标识符(URI: Uniform Resource Identifier)查找。 对象存储的核心设计思想其实也是虚拟化,具体说来,就是把文件的物理存储位置,比如卷、目录、磁盘等,虚拟化为bucket,把文件虚拟化为对象。对应用层来说,简化了对数据的存取访问,屏蔽了底层存储技术的异构性和复杂性。 11591 NAS与对象存储各有所长当然你也许会问,NAS存储技术不是也可以解决数据共享的问题吗?由于对象存储的规模优势和成本优势,很多云环境采用对象存储来代替NAS。 由于对象存储将遍布于很多节点且最新的数据并非总是可用, 所以对象存储的数据一致性不强。如果对强一致性有要求,那么可以使用NAS。目前在云计算环境下,NAS和对象存储是共存的关系。 和NAS一样,对象存储也是软件架构,不是硬件架构。应用直接通过REST API来访问对象存储。[hr] 结语在实际的云平台应用中,我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。 [*]对于非结构化的静态数据文件,如音视频、图片等,我们一般使用对象存储。 [*]对于系统镜像以及应用程序,我们需要使用云主机实例存储或者卷存储。 [*]对于应用产生的动态数据,我们一般还需要利用云数据库来对数据进行管理。 本文转载自《微说互联网》
  • [技术干货] 虚拟机sys CPU冲高并且周期性抖动,Time_wait请求很高,导致QPS性能上不去问题解决
    本帖最后由 达康书记 于 2018-3-6 23:01 编辑问题概述: 虚拟机sys CPU冲高并且周期性抖动,Time_wait请求很高,id几乎为0,导致QPS性能上不去。调整参数 net.ipv4.tcp_max_tw_buckets=4096(kernel最大默认值是180000)即可解决sys CPU冲高抖动问题。 11547 此处涉及的内核参数: • net.ipv4.tcp_max_tw_buckets TIME_WAIT状态是怎么产生的? 要弄懂TIME_WAIT要从TCP的四次握手的分手协议说起。 11565 上面这个图片展示了TCP从连接建立到连接释放的过程中,客户端和服务端的状态变化图。如果只看连接释放阶段,四次握手 [*]客户端先发送FIN,进入FIN_WAIT1状态 [*]服务端收到FIN,发送ACK,进入CLOSE_WAIT状态,客户端收到这个ACK,进入FIN_WAIT2状态 [*]服务端发送FIN,进入LAST_ACK状态 [*]客户端收到FIN,发送ACK,进入TIME_WAIT状态,服务端收到ACK,进入CLOSE状态 [*]客户端TIME_WAIT持续2倍MSL时长,在linux体系中大概是60s,转换成CLOSE状态 当然在这个例子和上面的图片中,使用客户端和服务端来描述是不准确的,TCP主动断开连接的一方可能是客户端,也可能是服务端。所以使用主动断开的一方,和被动断开的一方替换上面的图可能更为贴切。 不管怎么说,TIME_WAIT的状态就是主动断开的一方,发送完最后一次ACK之后进入的状态。并且持续时间还挺长的。 能不能发送完ACK之后不进入TIME_WAIT就直接进入CLOSE状态呢?不行的,这个是为了TCP协议的可靠性,由于网络原因,ACK可能会发送失败,那么这个时候,被动一方会主动重新发送一次FIN,这个时候如果主动方在TIME_WAIT状态,则还会再发送一次ACK,从而保证可靠性。那么从这个解释来说,2MSL的时长设定是可以理解的,MSL是报文最大生存时间,如果重新发送,一个FIN+一个ACK,再加上不定期的延迟时间,大致是在2MSL的范围。 问题现象 Linux 实例 /var/log/message 日志全是类似 kernel: TCP: time wait bucket table overflow 的报错信息,提示 time wait bucket table 溢出,如下: [code]Mar 2 12:28:38 i-*** kernel: TCP: time wait bucket table overflow Mar 2 12:28:44 i-*** kernel: printk: 227 messages suppressed. Mar 2 12:28:44 i-*** kernel: TCP: time wait bucket table overflow Mar 2 12:28:52 i-*** kernel: printk: 121 messages suppressed. Mar 2 12:28:52 i-*** kernel: TCP: time wait bucket table overflow Mar 2 12:28:53 i-*** kernel: printk: 351 messages suppressed. Mar 2 12:28:53 i-*** kernel: TCP: time wait bucket table overflow Mar 2 12:28:59 i-*** kernel: printk: 319 messages suppressed.[/code]执行命令netstat -ant|grep TIME_WAIT|wc -l或ss -antp 统计处于TIME_WAIT 状态的 TCP 连接数,发现处于TIME_WAIT 状态的TCP 连接非常多。 11549 原因分析 参数 net.ipv4.tcp_max_tw_buckets 可以调整内核中管理TIME_WAIT状态的数量,当实例中处于 TIME_WAIT及需要转换为 TIME_WAIT状态连接数之和超过了net.ipv4.tcp_max_tw_buckets参数值时,message 日志中将报错 time wait bucket table ,同时内核关闭超出参数值的部分 TCP 连接。您需要根据实际情况适当调整net.ipv4.tcp_max_tw_buckets,同时从业务层面去改进 TCP 连接。 解决思路 1.执行命令 netstat -anp |grep tcp |wc -l 统计 TCP 连接数。 2.执行命令 vi /etc/sysctl.conf,查询参数 net.ipv4.tcp_max_tw_buckets=100000。 3.调整参数 net.ipv4.tcp_max_tw_buckets=4096(调整到4096,可以根据需要调大e.g: 50000,主要考虑local_port_range最大是5w,kernel最大默认值是180000,不同kernel版本此值可能存在差异)即可。 [code]net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.tcp_max_tw_buckets = 4096[/code]4.执行命令 # sysctl -p 使配置生效,sys很低且平稳。 11548 net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭; net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。 net.ipv4.ip_local_port_range = 10000 65000 表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为10000到65000。(注意:这里不要将最低值设的太低,否则可能会占用掉正常的端口!) net.ipv4.tcp_max_tw_buckets = 4096 表示系统同时保持TIME_WAIT的最大数量,如果超过这个数字,TIME_WAIT将立刻被清除并打印警告信息。默 认为180000,改为4096。对于Apache、Nginx等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量,但是对于 Squid,效果却不大。此项参数可以控制TIME_WAIT的最大数量,避免Squid服务器被大量的TIME_WAIT拖死。 Linux 常用内核网络参数参考表如下: 参数描述net.core.rmem_default默认的 TCP 数据接收窗口大小(字节)。net.core.rmem_max最大的 TCP 数据接收窗口(字节)。net.core.wmem_default默认的 TCP 数据发送窗口大小(字节)。net.core.wmem_max最大的 TCP 数据发送窗口(字节)。net.core.netdev_max_backlog在每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。net.core.somaxconn定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数。net.core.optmem_max表示每个套接字所允许的最大缓冲区的大小。net.ipv4.tcp_mem确定 TCP 栈应该如何反映内存使用,每个值的单位都是内存页(通常是 4KB) 第一个值是内存使用的下限; 第二个值是内存压力模式开始对缓冲区使用应用压力的上限; 第三个值是内存使用的上限。在这个层次上可以将报文丢弃,从而减少对内存的使用。对于较大的 BDP 可以增大这些值(注意:其单位是内存页而不是字节)。net.ipv4.tcp_rmem为自动调优定义 socket 使用的内存。 第一个值是为 socket 接收缓冲区分配的最少字节数; 第二个值是默认值(该值会被 rmem_default 覆盖),缓冲区在系统负载不重的情况下可以增长到这个值; 第三个值是接收缓冲区空间的最大字节数(该值会被 rmem_max 覆盖)。net.ipv4.tcp_wmem为自动调优定义 socket 使用的内存。 第一个值是为 socket 发送缓冲区分配的最少字节数; 第二个值是默认值(该值会被 wmem_default 覆盖),缓冲区在系统负载不重的情况下可以增长到这个值; 第三个值是发送缓冲区空间的最大字节数(该值会被 wmem_max 覆盖)。net.ipv4.tcp_keepalive_timeTCP 发送 keepalive 探测消息的间隔时间(秒),用于确认 TCP 连接是否有效。net.ipv4.tcp_keepalive_intvl探测消息未获得响应时,重发该消息的间隔时间(秒)。net.ipv4.tcp_keepalive_probes在认定 TCP 连接失效之前,最多发送多少个 keepalive 探测消息。net.ipv4.tcp_sack启用有选择的应答(1 表示启用),通过有选择地应答乱序接收到的报文来提高性能,让发送者只发送丢失的报文段,(对于广域网通信来说)这个选项应该启用,但是会增加对 CPU 的占用。net.ipv4.tcp_fack启用转发应答,可以进行有选择应答(SACK)从而减少拥塞情况的发生,这个选项也应该启用。net.ipv4.tcp_timestampsTCP 时间戳(会在 TCP 包头增加 12 B),以一种比重发超时更精确的方法(参考 RFC 1323)来启用对 RTT 的计算,为实现更好的性能应该启用这个选项。net.ipv4.tcp_window_scaling启用 RFC 1323 定义的 window scaling,要支持超过 64KB 的 TCP 窗口,必须启用该值(1 表示启用),TCP 窗口最大至 1GB,TCP 连接双方都启用时才生效。net.ipv4.tcp_syncookies表示是否打开 TCP 同步标签(syncookie),内核必须打开了 CONFIG_SYN_COOKIES 项进行编译,同步标签可以防止一个套接字在有过多试图连接到达时引起过载。默认值 0 表示关闭。net.ipv4.tcp_tw_reuse表示是否允许将处于 TIME-WAIT 状态的 socket (TIME-WAIT 的端口)用于新的 TCP 连接。net.ipv4.tcp_tw_recycle能够更快地回收 TIME-WAIT 套接字。net.ipv4.tcp_fin_timeout对于本端断开的 socket 连接,TCP 保持在 FIN-WAIT-2 状态的时间(秒)。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。net.ipv4.ip_local_port_range表示 TCP/UDP 协议允许使用的本地端口号。net.ipv4.tcp_max_syn_backlog对于还未获得对方确认的连接请求,可保存在队列中的最大数目。如果服务器经常出现过载,可以尝试增加这个数字。默认为 1024。net.ipv4.tcp_low_latency允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况,这个选项应该禁用。net.ipv4.tcp_westwood启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化,对于 WAN 通信来说应该启用这个选项。net.ipv4.tcp_bic为快速长距离网络启用 Binary Increase Congestion,这样可以更好地利用以 GB 速度进行操作的链接,对于 WAN 通信应该启用这个选项。net.ipv4.tcp_max_tw_buckets该参数设置系统的 TIME_WAIT 的数量,如果超过默认值则会被立即清除。默认为 180000。net.ipv4.tcp_synack_retries指明了处于 SYN_RECV 状态时重传 SYN+ACK 包的次数。net.ipv4.tcp_abort_on_overflow设置改参数为 1 时,当系统在短时间内收到了大量的请求,而相关的应用程序未能处理时,就会发送 Reset 包直接终止这些链接。建议通过优化应用程序的效率来提高处理能力,而不是简单地 Reset。 默认值: 0net.ipv4.route.max_size内核所允许的最大路由数目。net.ipv4.ip_forward接口间转发报文。net.ipv4.ip_default_ttl报文可以经过的最大跳数。net.netfilter.nf_conntrack_tcp_timeout_established让 iptables 对于已建立的连接,在设置时间内若没有活动,那么则清除掉。net.netfilter.nf_conntrack_max哈希表项最大值。
  • [大咖秀] 【云硬盘大咖秀】【第一期】整机备份之一家人就要整整齐齐
    本帖最后由 紫菜菊花汤 于 2018-3-21 10:20 编辑12959在除夕的24:00,还有许多家人没有回家,大家相约拍下各自的笑脸制作成一张全家福:大表哥:亲们,来,我们准备拍照啦!海南度蜜月的表姐:茄子!留学美国的堂弟:茄子!还在工作岗位上的码农表哥:茄子!……最后所有的照片拼在一起,一家人保持一个表情和口型,气势还是很完美的!发挥一下想象力,如果每一个家庭是一台服务器,每一个家人都是一块云硬盘,每个人给自己拍的照片都是一个快照,最后所有照片拼在一起就定格了除夕24:00点全家人的笑脸,咦~~这个全家福听起来怎么很像存储技术中的整机备份?1. 什么是整机备份整机备份又称云服务器备份(Cloud Server Backup Service,CSBS),可以为弹性云服务器(Elastic Cloud Server,ECS)提供备份服务,支持基于一致性组快照技术的多云硬盘备份服务,并支持利用备份数据恢复弹性云服务器数据,最大限度保障用户数据的安全性和正确性,确保业务安全。简而言之,就是在病毒入侵、人为误删除、软硬件故障等场景下,通过整机备份能将数据恢复到备份的时间点。要做到整机备份,首先必须要保证各个云硬盘备份的一致性,这就涉及到一致性和一致性组。2. 一致性与一致性组整机备份的“一致性”,是指在应用看来备份中的数据是同一时刻的,用该备份恢复后,应用能继续正常运行。存储领域通常将该一致性分为应用一致性(Application Consistency)和崩溃一致性(Crash Consistency)。业界权威的观点:Application Consistency :Consistent copies are created after applications are gracefully shut down, quiesced, or put in hot backup mode。Crash Consistency:Creates point-in-time copy of storage that is usable with crash recovery applications,Creates crash consistent copies without coordinating with applications. However, write ordering is maintained for dependent writes in copies across volumes. It’s a logical dependency,not a time dependency.英文很拗口?那我们就来通俗的说一说——应用一致性,简而言之就是打快照的时候业务不下IO。实现方法:(1)冻结IO,刷缓存(hold住情绪,把之前的表情从脸上刷走、保持微笑);(2)对一组云硬盘打快照(拍照);(3)解冻IO(拍完了照、想摆啥表情就摆啥表情)。崩溃一致性指系统崩溃(突然掉电或死机)时数据所处的一致性状态,理论上任何应用都应该能处理突然掉电或死机的情况,即系统恢复后应用能根据崩溃时数据的状态继续业务或正常开始新业务。崩溃一致性对应用下IO的顺序有时序上的要求,满足崩溃一致性的备份要保证数据之间时序上的依赖关系不被破坏。整机备份满足崩溃一致性的实现方法:打一致性组快照。说到一致性组快照,要先介绍一下什么是一致性组。典型的企业应用,譬如数据库场景,数据往往分布在多个云硬盘上,数据之间的依赖关系也在多个云硬盘之间存在,这多个云硬盘就组成了一致性组。[hide][/hide]图2.1 日志盘与数据盘组成的一致性组譬如,在图2.1的例子中,应用必须等待写日志(IO1)完成才会去写数据(IO2),且必须等待写数据(IO2)完成才会去删日志(IO3),因此该Log disk与Data disk组成了一个简单的崩溃一致性组。为了使一致性组快照满足崩溃一致性,底层存储对各个云硬盘创建出来的快照有时序上的要求。下面我们来看创快照的时序正确的场景:场景一:在t1ϵ(T1,T2)时刻对Log disk打快照;在t2ϵ(T1,T2)时刻对Data disk打快照图2.2 正确时序:一致性组快照中只能读到IO1如图2.2所示, Snap_log中可以读到IO1, Snap_data中不包含IO2。这种情况是从一致性组快照中只读到了IO1,满足时序。如果系统崩溃,我们可以将数据恢复到t2。场景二:在t1ϵ(T1,T2)时刻对Log disk打快照;在t3ϵ(T2,T3)时刻对Data disk打快照图2.3 正确时序:一致性组快照中能读到IO1和IO2如图2.3所示, Snap_log中可以读到IO1,Snap_data中可以读到IO2,这种情况是从一致性组快照中读到了IO1和IO2,满足时序。如果系统崩溃,我们可以将数据恢复到t3。换言之,Log disk和Data disk打快照的时序需要满足:在这两个快照中,要么三个IO都没有,要么只能读到IO1,要么能读到IO1和IO2,要么能读到IO1、IO2和IO3,即这两个快照对于这三个IO满足时序依赖。下面我们看一个错误的打快照的时序:场景三:在t0ϵ(0,T1)时刻对Log disk打快照;在t3ϵ(T2,T3)时刻对Data disk打快照图2.4 错误时序:一致性组快照中不能读到IO1可以读到IO2如图2.4所示, Snap_log中读不到IO1, Snap_data中可以读到IO2,这种情况违背了IO1->IO2->IO3的时序依赖。假如写IO2的过程中出错,此时Snap_log中没有对IO1的记录,无法通过日志正确恢复数据,造成数据丢失。3、整机备份的具体实现第2部分,我们介绍了应用一致性和崩溃一致性,对应这两种不同的一致性,整机备份有两种实现方式。3.1整机备份实现应用一致性图3.1 整机备份实现应用一致性(1) 开始进行整机备份(大表哥说:准备拍照了哦)(2) 查询虚拟机中的云硬盘列表(全家人分别用手机对准自己)(3) 后端存储收到消息后,对虚拟机冻结IO,刷缓存(大家控制表情,把之前的表情刷到脑后,脸上只留下这一刻的笑容)(4) 生产存储创建快照( “啪”地一声按快门拍照)(5) 解冻IO(拍完了照,想咋样就咋样)(6) 备份软件将快照备份到“备份存储”中(照片自动存到手机里)3.2整机备份实现崩溃一致性[hide][/hide]图3.2 整机备份实现崩溃一致性对比图3.1和图3.2,可以看出实现崩溃一致性,对上层应用不可见,不需要冻结和解冻IO,但是要在生产存储中打一致性快照,一致性组快照需要满足时序依赖,详见本文第2部分。综上,应用一致性备份间隔不能太短,否则应用需要频繁刷数据,影响业务;崩溃一致性组快照则可以在1秒内完成且应用不感知。应用一致性与崩溃一致性各有其特点,上层可根据不同的应用场景灵活选择。Finally~上文中我们详细讨论了整机备份的流程和一致性,由此我们得出一个概念,整机备份就是让虚拟机里面的“云硬盘们”能够一家人happy地拍个“全家福”,通过这个“全家福”我们随时可以感受到当年的幸福状态(恢复到备份时的数据和状态)。所以,现在你知道整机备份是什么了吗?哈哈,是的,整机备份就是一家人要整整齐齐~~在此给大家拜个晚年,祝大家新年快乐!
  • 【爆个料】创建虚拟机能够直接在界面上选择地区
    有的时候虚拟机的信息都填得差不多了,突然发现地区选错了,只能在页面最上方重新选(如华北改华东) 并且在页面最上方选完之后,虚拟机信息的内容都清空了,又得重新来一遍 希望这类选择地区的操作,能够直接在创建的页面上选择地区
  • [交流分享] 裸金属云服务哪家强?华为云笑了
    几年前,当公有云以敏捷、灵活、低成本的强大优势快速席卷国内市场的时候,记者曾经借着采访的机会问过多位行业用户和企业用户同一个问题:您会全盘接受公有云吗?当时有不少客户表达了同一个意思:公有云的确带来了革新,但短期内不会考虑将核心应用放到公有云上。核心应用拒绝公有云的原因有很多,不外乎是关键数据库业务的隔离性、核心业务的高稳定性需求、数据安全合规性等因素。但是现在,华为云裸金属服务器(Bare Metal Server,简称BMS)面市之后,之前客户们的诸多顾虑都可以烟消云散了。 9596 云端的“一亩三分地”为什么值得拥有?华为云裸金属服务器最大的特点就是让单租户拥有物理隔离的专属物理服务器,不存在任何形式的虚拟化。它既可以让客户享受到卓越的计算性能保障,也可以充分享有云服务器的快捷灵活,可以说是综合了传统托管主机的稳定性与云上资源高度弹性的两大优势。那么华为云裸金属服务器主要锁定哪些用户群体呢?且听记者一一道来。如果你的企业核心业务在上云过程中,对于性能、安全、稳定性要求很高。又期望像使用云主机服务一样使用物理机实现资源弹性使用、网络灵活配置…… 那么,交给裸金属服务器就够了。华为云BMS裸金属服务器满足企业核心业务上云的主流场景诉求:场景一 需要物理机与虚拟机结合:用户在云中需要使用多种类型和形态的计算资源,仅仅提供虚拟机无法满足复杂的应用场景,需要物理机和虚拟机结合使用才能满足应用要求。场景二 性能要求高,安全监管严:一些特殊应用场景对主机的性能和稳定性要求很高,或者对数据安全和监管的要求非常苛刻,直接使用虚拟机无法满足客户需求,需要独占物理机。场景三 传统托管不能满足需求:传统物理机托管或者租赁场景下,业务流程复杂,设备采购和部署开通周期长,无法及时响应业务变化诉求。场景四 使用物理机才有“安全感“:部分企业,尤其是大企业,在私有数据中心部署的业务系统非常复杂,需要一定专业技能,培养了一批专业人才,切换到公有云上,非常重视心理上的“安全感”和人才技能的转型,选择物理机无需改造业务、无需人才技能转型,最“安全”。简单地说,如果客户有一个需要快速上线的应用程序,或者有临时的业务负载,必须在几分钟内上线并且运行一段时间后下线,应用对性能和稳定性要求一般,那么虚拟机是不错的选择。但是如果客户的应用程序对性能很敏感,并且要求安全可靠的运行环境,那么裸金属服务器毫无疑问将是最佳选择。华为云裸金属BMS服务积淀深厚事实上,记者横向对比一番发现,虽然都冠名为裸金属服务,但是每一家厂商的侧重点和优劣势都各有不同。相比之下,华为云裸金属业务则在技术积累上拥有更多优势。早在虚拟化、私有云时期,华为就对裸金属业务积累了丰富经验,从早期的统一硬件管理平台到异构服务器管理,再到后期的云管理平台,发力公有云业务后,推出了完整的裸金属服务,因此对裸金属服务的全栈能力有深刻的理解。换而言之,裸金属服务继承了华为在硬件领域多年来的积累,华为的服务器在国内市场份额已经第一,BMS服务的推出可以说是站在巨人肩膀上的产物。凭技术实力说话的NO.1经过一番了解,记者将华为云裸金属服务器的优势概括为六点:第一,已经实现全自动化发放。用户在管理控制台自助申请裸金属服务器,无需人工介入,即可完成自动化镜像安装、网络配置、云硬盘挂载等功能,最短5分钟以内就可以拿到所需的服务器。第二,支持云硬盘。用户可以轻松地在线对裸金属服务器进行云硬盘的挂载、卸载,满足客户对弹性存储的要求。其中,对于数据库的集群部署,BMS可自动挂载共享卷,用户体验很好。(PS: 这个核心能力大部分BMS提供商都不具备噢!)第三,支持VPC网络和自定义网络。BMS支持通过VPC内的私有网络,实现裸金属服务器和云服务器之间网络互通,同时支持自定义网络实现裸金属服务器之间高速互通,灵活组网。第四,可以进行生命周期管理。华为提供了一个BMS管理控制台,用户可以在控制台上进行裸金属服务器的启动、关机、重启、挂卷、删除等基本操作,也可以进行监控、远程登陆、状态查询等自主维护功能。第五,面向细分场景的多种BMS实例。针对数据库场景,BMS推出的通用型规格,自动化发放、支持共享卷,可集群部署,可与虚拟机混合组网,支持弹性IP,挂载的云硬盘三副本保存,可靠性非常高。针对大数据场景、高性计算和异构计算场景,华为云都有丰富的实例供参考选择。第六,性能可靠、业务稳定。这应该用户最关心的问题了吧,华为的裸金属业务对于性能、数据可靠性和业务稳定性同样提供了多种解决方案。例如BMS可以挂载云硬盘EVS。3副本冗余,数据持久性高达99.99999%,保证数据安全可靠。此外像一键重装、多站点异地容灾、整机备份都已经是标配,确保客户真正无忧上云。虽然华为云的裸金属业务已经可以笑傲群雄,但是华为云还远未止步。其裸金属业务还在不断地优化各种产品能力,例如如何将服务器的启动、加载时间缩短至最少,减少用户的等待时间。相信通过这些细节,精心打磨之后的华为云裸金属业务将让有需求的用户们更加青睐。9598
  • 【德智信息】虚拟化私有云、数据中心整体方案服务提供商
    本帖最后由 德智科技 于 2018-1-24 11:27 编辑企业介绍 武汉德智信息科技有限公司成立于2013年,注册资金伍佰万元。公司主营业务涉及自主云计算软硬件产品研发销售;计算机信息系统集成;虚拟化云计算数据中心规划咨询、方案设计、建设交付及运维服务;海量数据高级工程师及云计算架构师企业培训等领域。 经过多年的经验探索和能力积累,随着虚拟化、物联网、云计算技术和应用的广泛推进,公司做为云计算企业级合作伙伴,在华中地区已打造出“虚拟化私有云专家、数据中心整体方案服务提供商”的专业定位。以搭建云计算平台、优化存备结构、护航数据中心、确保应用交付的服务理念,致力于为湖北省政府、教育、公安、医疗、金融、制造等行业,提供以云计算虚拟化数据中心建设为核心的综合信息化服务,华为认证服务解决方案伙伴! 企业文化 专注 ——我们始终坚持科技为本,追求卓越领先 沟通 ——沟通造就我们的过去,沟通引领我们的未来 创新 ——我们适时更新思维,把握科技时代脉搏,创新无处不在 责任 ——我们关注个人的成长和行业需求,促进领航发展,实现客户的投资回报最大化 企业发展历程 2013年 “武汉德智信息科技有限公司”成立,确立以建设私有云为企业发展方向,以政府、企业信息化服务为核心业务的企业经营战略。 2014年 拓展到包括系统集成、IT 维护、IT 外包、IT 教育与培训、IT 咨询和IT 运营管理服务在内的专业服务领域;网络接入服务、网络下载服务、网络游戏服务等多种形式的网络服务领域。 2015年 公司组建云计算相关技术研发与运营服务团队,为云计算数据中心的建设、运营及服务提供高效、低成本的解决方案和产品。 2016年 提供一站式云服务,通过系统服务,整合政府、高校、企业资源,构筑面向数据服务产业平台。
  • [互动交流] 请问一个虚拟机能否绑定2个弹性ip
    我创建了一个虚拟机,绑定了两个弹性ip,相当于两个网卡,但是为什么相互之间ping不通? 从其他主机ping,只能ping通其中一个ip