• [行业动态] Gartner 2022年重要战略技术趋势:生成式人工智能、数据编织、云原生平台、超级自动化、隐私增强计算、网络安全网格等
    Gartner于今日发布企业机构在2022年需要探索的重要战略技术趋势。分析师们在本周四举行的Gartner IT Symposium/Xpo峰会美洲站期间公布了他们的研究结果。Gartner研究副总裁David Groombridge表示:“首席执行官和董事会正在设法通过与客户建立直接数字联系来实现增长,因此首席信息官的优先事项必须满足这些业务要求,而这些要求贯穿于Gartner的2022年重要战略技术趋势。”“首席信息官必须找到能够成倍增加IT力量的方法,从而实现增长和创新并创建可扩展、有韧性的技术基础,通过这一可扩展性释放用于数字投资的现金。这些要求构成了今年趋势的三个主题:工程化信任、塑造变化和加速增长。”2022年重要战略技术趋势有:生成式人工智能(GenerativeArtificial Intelligence)即将上市的生成式人工智能是最引人注目和最强大的人工智能技术之一。该机器学习方法从其数据中学习内容或对象,并运用数据生成全新、完全原创的实际工件。生成式人工智能可用于多种活动,如创建软件代码、促进药物研发和有针对性的营销,但该技术也会被滥用于诈骗、欺诈、政治造谣、伪造身份等。Gartner预计到2025年,生成式人工智能将占所有生成数据的10%,而目前这一比例还不到1%。数据编织(Data Fabric)在过去的十年里,数据和应用孤岛的数量激增,而数据和分析(D&A)团队的技能型人才数量却保持不变,甚至下降。作为一种跨平台和业务用户的灵活、弹性数据整合方式,数据编织能够简化企业机构的数据整合基础设施并创建一个可扩展架构来减少大多数数据和分析团队因整合难度上升而出现的技术债务。数据编织的真正价值在于它能够通过内置的分析技术动态改进数据的使用,使数据管理工作量减少70%并加快价值实现时间。分布式企业(DistributedEnterprise)随着远程和混合工作模式的增加,以办公室为中心的传统企业机构正在演变成由分散在各地的工作者组成的分布式企业。Groombridge表示:“这就要求首席信息官通过重大技术和服务变革提供无摩擦工作体验,不过事情总有两面性:这项技术会对业务模式产生影响。从零售到教育,每家企业机构都必须重新配置交付模式才能支持分布式服务。两年前,全世界没有人想到自己能在数字试衣间里试穿衣服。”Gartner预计,到2023年,75%充分发挥分布式企业效益的企业机构将实现比竞争对手快25%的收入增长。云原生平台(Cloud-NativePlatform,CNP)为了真正能够在任何地方提供数字能力,企业必须放弃熟悉的“直接迁移”并转向CNP。CNP运用云计算的核心能力,向使用互联网技术的技术创造者提供可扩展的弹性IT相关能力“即服务”,从而加快价值实现时间并降低成本。因此,Gartner预测到2025年,云原生平台将成为95%以上新数字倡议的基础,而在2021年这一比例只有不到40%。自治系统(Autonomic Systems)随着企业的发展,传统的编程或简单的自动化将无法扩展。自治系统是可以从所在环境中学习的自我管理型物理或软件系统。与自动化甚至自主系统不同,自治系统无需外部软件更新就可以动态修改自己的算法,使它们能够像人类一样迅速适应现场的新情况。Groombridge表示:“自治行为已因为近期被部署在复杂的安全环境中而为人所知。而从长远看,这项技术将被普遍应用于机器人、无人机、制造机器和智能空间等物理系统。”决策智能(DecisionIntelligence,DI)一家企业机构的决策能力是其竞争优势的重要来源,而如今这个时代对这项能力的要求也越来越高。决策智能是一门实用的学科。该学科通过清楚理解并精心设计做出决策的方式以及根据反馈评估、管理和改进结果的方式来改进决策。Gartner预测在未来两年,三分之一的大型企业机构将使用决策智能实现结构化决策,进而提高竞争优势。组装式应用程序(Composable Applications)在不断变化的业务环境中,业务适应性需求能够引导企业转向支持快速、安全和高效应用变化的技术架构。可组合的应用架构增强了这种适应性,而采用可组合方法的企业机构在新功能的实现速度上将比竞争对手快80%。Groombridge表示:“在动荡的时代,可组合的业务原则帮助企业机构驾驭对业务韧性和增长至关重要的加速变化。没有它的现代企业机构可能会失去在市场中的前进动力和客户忠诚度。”超级自动化(Hyperautomation)超自动化通过快速识别、审核和自动执行尽可能多的流程来实现加速增长和业务韧性。Groombridge表示:“Gartner的研究表明,表现最好的超自动化团队专注于三个关键优先事项:提高工作质量、加快业务流程和增强决策敏捷性。在过去的一年中,业务技术专家平均支持4.2项自动化倡议。”隐私增强计算(Privacy-EnhancingComputation,PEC)除了应对不断成熟的国际隐私和数据保护法律外,首席信息官还必须避免因隐私事件而导致客户信任下降。因此,Gartner预计到2025年,60%的大型企业机构将使用一种或多种隐私增强计算技术。在数据、软件或硬件层面保护个人和敏感信息的PEC技术能够在不影响保密性或隐私的情况下安全地共享、汇集和分析数据。目前这项技术被应用于许多垂直领域以及公有云基础设施(例如可信的执行环境)。网络安全网格(Cybersecurity Mesh)Groombridge表示:“数据贯穿了今年的许多趋势,但只有当企业能够信任数据时,数据才会变得有用。如今,资产和用户可能出现在任何地方,这意味着传统的安全边界已经消失。这就需要有网络安全网格架构(CSMA)。”CSMA帮助提供一体化安全结构和态势,为任何位置的任何资产提供安全保障。到2024年,使用CSMA一体化安全工具组成一个合作生态系统的企业机构能够将单项安全事件的财务影响平均减少90%。人工智能工程化(AI Engineering)IT领导人想方设法地将人工智能集成到应用中,在从未投入生产的人工智能项目上浪费时间和金钱或在人工智能解决方案发布后努力保持它们的价值。人工智能工程化是一种实现人工智能模型操作化的综合方法。Groombridge表示:“从事人工智能工作的混合团队是否真正能够为他们的企业机构实现差异化,取决于他们通过快速人工智能变革不断提升价值的能力。到2025年,10%建立人工智能工程化最佳实践的企业从其人工智能工作中产生的价值将至少比90%未建立该实践的企业高出三倍。”全面体验(Total Experience,TX)全面体验是一项结合客户体验(CX)、员工体验(EX)、用户体验(UX)和多重体验(MX)学科的业务战略。TX的目标是提升客户和员工的信心、满意度、忠诚度和拥护度。企业机构将通过实现具有适应性和韧性的TX业务成果来增加收入和利润。文章转载至云技术公众号 https://mp.weixin.qq.com/s/4nsMspbnAq_o5JY_pyDndg  免责声明:转载文章版权归原作者所有。如涉及作品内容、版权等问题,请及时联系文章编辑!
  • [云运维] 敏捷开发专家一席谈:云原生技术下的DevOps实践之路
    DevOps最早在2009年被人提出,愿景非常美好,但真正实施起来困难重重。随着近几年微服务、容器等技术的兴起,使得企业对DevOps的需求更加迫切,实施变得更加容易,DevOps越来越被接受和重视。同样,为了应对业务的敏捷性持续发布,应用平台的弹性诉求,商业环境的变化,云原生时代已到来,云原生技术已经应用到企业核心业务。云原生与DevOps是什么关系?其技术优势如何与DevOps结合,才能更加高效便捷的实施呢?云原生时代下,DevOps的落地会遇到哪些困难?该如何解决?华为云是否有一些实践方案去应对?华为云社区邀请到了华为云DevCloud首席技术布道师徐毅,听他讲述云原生技术下的DevOps实践。从需求侧、平台侧、商业侧等方面来看,云原生产生的业务背景是什么?众所周知,很多变革都始于技术。技术经由积累产生势能,这些新的技术释放出很强大的生产力并带来创新,满足用户和客户新需求的爆发,从而需求驱动技术的迅速普及和优化,最终带来商业的繁荣。云原生应该是云化的延伸,在云的发展初期,并非所有的产品技术都是云原生的,随着云计算技术的不断发展,云原生的应用和系统能够更好的满足需求侧在功能和非功能各方面的诉求。从云到云原生这个过程来看,在当下创新加速的VUCA时代,也带来了一系列的变化:需求变化快,但方向暂不清楚,这就需要IT信息化支撑业务创造的过程更灵活、反应更快速;在业务板块创造出来之后,会面临着业务使用的强度和频率是不固定的,所以就需要支撑业务供给的灵活性和快速响应的速度;当下的用户需求和业务的颗粒度,随着市场发展越来越小,所以能够迅速把握市场动态、完成业务创造、提供业务这个全过程周期的速度也变得非常重要,还需要能够拉通整个组织。但不同职能组织都有自己的不同目标,无法做到说改变就改变。云原生技术的发展,使得各个职能组织去支持、去改变的难度越来越低、投入越来越小,大家更愿意拉通和协作,从而在商业侧能够给企业带来更大的竞争优势。云原生时代,在享受架构解耦与云端弹性带来的便利同时,对软件研发与交付模式提出了更高的要求,如何才能真正做到云原生下价值交付的的成功?是否有几个关键要素?首先要掌握架构解耦、云端弹性等相关技术,具备研发能力,这是第一要素。把技术能力运用起来在平衡中去解决业务问题,不能太过于完美主义。例如面对一个遗留系统,是一步到位解耦完毕还是循序渐进呢?分析业务现状的问题并针对性地应用云原生技术能力去解决,去创作价值,是第二个关键要素。第三是团队通力协作的能力。作为团队的基础,团队的每个成员都具备充分的技术能力,这样团队的能力可以等同于团队成员的合力。团队成员之间通过协作能够产生的化学效应,那将会带来乘数甚至指数级的效应,就不只是1+1=2的效果了。第四是组织变革能力。新组织可以直接招募具备云原生技术的成员组建团队,这样带来的好处就是大家没有遗留系统,理解业务就好。如果是一个现成的组织,那么团队成员既要边学习和掌握新技能,边继续发展业务,就如同“给行驶中的汽车换轮子”。这时就需要一种软实力来打消大家的顾虑,推动往云原生的交付模式转变。在一些云原生概念的描述中,DevOps被定义为云原生的关键技术之一。云原生与DevOps的关系是是什么呢?普通DevOps与云原生的DevOps有何不同?按照CNCF的说法,容器、微服务等被认作是云原生技术。DevOps主要是指一种工作方式或模式,它帮助拉通整个价值创造过程中各环节的人和组织,通力协作缩短价值创造的周期时间。在这个过程中,就需要从人、工具和流程方法三个维度去改变。如何区分普通DevOps和云原生DevOps,主要看一个组织在应用DevOps的过程中,是否使用云原生技术开发应用或者系统。举例来讲,DevOps开发一个传统的单机应用,不需要开发人员掌握容器或微服务等技术,对部署和发布的自动化要求也不高,或许也不需要灰度发布、应用监控等功能,往往只需应用几个DevOps工具就能够满足需求。当然,它是被定义为DevOps,所以代码提交之后的编译构建、测试、打包、安装启动等,都要能够以全自动化的方式完成,无需人工干预,那这个应用的研发过程就是一个普通的DevOps。云原生模式严格意义上来说,是你整个应用的生产过程都在云上,需求在云端的系统上管理,代码存放和评审、测试用例都在云上进行,甚至日常交流、开会等方面也都在云上进行,这就是比较彻底的云原生DevOps。这时就需要一个可以拉通各个环节的云原生DevOps工具的平台,我们称之为一站式云原生DevOps平台。云原生的DevOps对于开发者来说,意味着什么?如何尽快在实际工作中实践?应该说是未来的趋势。个人开发者可以利用云厂商提供的便利,以极低的成本,去学习和实践云原生DevOps开发的全过程,掌握运用各种云原生技术,去创造价值。同时,开发者要从自身的长远发展出发,自己的未来自己做主,不要仅仅依赖于工作中实践,可以考虑去主动的投资学习。毕竟自身能力的提升是带来更大回报的最常见手段,其他手段都依赖于能力的提升。在云原生2.0的趋势下,越来越成熟的云原生技术化解了开发者的诸多难题,开发者突破个人职业瓶颈的核心关键是掌握1+N关键能力,就是1个DevOps平台加上N套技术栈,再配合云原生提供的开发能力,开启第二曲线。想了解更多,可以直击文章《云原生开发者须具备的1+N技能,开启第二曲线》中做了详细的解读。
  • [云计算周刊] 万物皆上“云”时代,看云计算十年的突破与裂变
    一个时代有一个时代的基调,“Open Source is eating the world”的声音言犹在耳,一个属于云计算的时代早就不经意来临。十年前,中国的云计算市场尚处于襁褓之中,市场规模只有10余亿。此后十年,云计算市场迎来爆发式增长,年均增速超过50%,2020年市场规模已超过2000亿元,成为中国数字化升级的“顶梁柱”产业。倏忽十载,云计算产业从弱小到强大,从单一的云基础服务裂变为混合云、云原生、云安全等更契合企业业务需求的多元云服务,迈进了百花齐放的大繁荣时代。随着中国企业数字化转型不断深入,云计算已经脱离简单的市场扩张、让企业上云用云的早期阶段,逐步进入到云原生重构IT架构、上云用云兼顾优化治理、原生安全加速应用的深水区。如今,云计算走到了哪个阶段?企业应该加强哪些方面的云计算能力?如何将自身业务与云计算更好地衔接融合?近日,在2021可信云大会上,中国信息通信研究院云计算与大数据研究所所长何宝宏、中国信通院云计算与大数据研究所副所长栗蔚共同就云计算十年来的发展脉络回顾总结,对云计算产业发展的变革趋势进行全面剖析,并就云计算未来趋势开展深入解读。中国信息通信研究院云计算与大数据研究所所长何宝宏数字化转型迎来分水岭云原生加速重构IT基础设施近两年,“云原生”堪称云计算领域最热的名词之一,其出现不仅将原有IT基础设施重构为云原生基础设施,提供更高效的资源,还为企业打造更敏捷的应用开发、交付运维能力,加速企业应用的敏捷创新。从简单迁移上云的“On Cloud”到在云上基于云原生而重构企业应用的“In Cloud”,云原生成为数字化转型的重要分水岭,其要求企业既要继承过去,又要连接未来;既要立而不破,又要持续进化。根据IDC预计,到2022年,90%的新应用将采用微服务架构,35%的生产环境应用是云原生。此外,在Gartner的报告中,云原生技术也正在向应用场景、技术、生态三个方面快速演进,并将扩展到更多应用场景,比如在混合云和多云管理领域,以及边缘层的应用等。在应用价值方面,云原生能够支撑业务应用的通用技术能力下沉到基础设施,在业务应用完整生命周期中提供持续稳定服务,最大化实现云的价值,让企业在资源配置、产品交付、系统架构等方面获得更高的效能,从而可以将更多精力放在业务视角的响应、分析和决策中,使企业在竞争激烈、需求多变的市场环境中具有更强的创新优势。对于这一趋势,何宝宏表示,企业对于竞争的核心诉求正在转到注重商业模式的改变、快速感知并响应用户的需求,这在很大程度上将倒逼技术架构变革,使架构的支撑焦点由资源转向应用。为此,云原生将在发挥云计算应用价值方面产生积极作用。未来,无论是ERP、CRM等系统应用还是底层IT基础设施,都会越来越趋向于云原生,这将是近些年云计算最大的趋势。不同企业实现应用现代化的路线各不一样,例如:有先进行容器化改造的,有先做微服务架构改造的,也有直接在上云迁移的过程中同步实现微服务改造的,另加之企业内部环境各不一样,所以企业在实现应用现代化进程中遇到的挑战也不尽相同。他们往往会面临很多挑战,包括:如何让运转着的旧系统和新应用之间做到无缝的衔接?如何快速敏捷地完成应用的集成,以提高可持续的交付能力?以及如何在混合多云环境下,最大程度地降低架构转型的技术风险等。在栗蔚看来,云计算融合新技术,带动云原生进入黄金发展期。云原生融合新型信息技术,改变数、智、算的应用方式。云原生带动技术架构、应用效能、云化效益的全方位提升,传统行业用户逐步对外围系统、次核心系统、核心系统进行不同程度的云原生化改造。云原生进一步降低技术门槛,深化云数融合、云智融合、高性能计算的发展,推动云数智高质量融合发展。中国信通院云计算与大数据研究所副所长栗蔚注重云计算应用效能优化治理成为企业上云后突出诉求中国信通院最新发布的《云计算白皮书》显示,2020年云计算市场整体规模达到2091亿元,增速56.6%。对于很多企业,应用云计算为企业提升了管理效能,但也带来了相当大的复杂性。如果没有适当地策略,可能会妨碍业务的正常运行。所以随着企业用云程度的加深,企业关注点从开始上云的咨询、迁移,逐步地转到上云后的优化。企业需要仔细考虑如何管理、优化和使用云计算服务,从而可以通过降低云管理成本,进一步提升业务的数字化转型效果。对此,云优化治理成为很多企业上云后改善性能、降低成本、提升效率的主要选择,其能够给企业上云策略制定、线路规划、采用实施、云上优化进行全生命周期的优化提升,为企业数字化转型提供新的动力。在谈及云优化治理将如何发挥作用时,何宝宏认为,企业在上云过程中对价格、安全、服务能力等尤为关注,对云品牌的关注度反而降低,这也反映出企业在云计算应用方面的理念日趋成熟。优化治理是云计算永恒的主题,相比以前关注重心只停留在基础设施层面,现在更多地落到应用层面,优化治理不仅能够改善企业上云后在性能、应用、架构等方面的能力,还将充分发挥云计算的效能和价值,让企业更懂云、更好用云。混合云管理模式演变进行时是当前企业上云的最佳路径云计算最终的发展趋势将可能是朝私有云和公有云的结合——混合云发展。因为没有绝对的私有云,也没有绝对的公有云,纯粹的公有云和纯粹的私有云都有其局限性,而混合云将能够同时避免他们的劣势而发挥他们的优势,已成为企业上云的主流模式。根据中国信通院报告,相比全球市场混合云高达82%的部署比例来说,国内混合云市场由于起步较晚,这一数字则刚刚超过50%。从混合云的特性来看,要实现统一纳管、高效运维,混合云解决方案必须具备在多云管理、云网协同、安全管理、云原生等四个维度中的强大能力。这些关键能力将决定用户应用的部署位置、交互模式和协同效率,进而对业务产生巨大的影响。同时,混合云的管理模式也在不断演进,过去私有云和公有云的协作很多是利用公有云做灾备,或者对计算需求峰值的性能补充,这是合作互补的模式,但现在本地和公有云的协作越来越密切和同步。现在用户开始把不同的应用负载部署到更合适的位置,而不是把所有的应用部署在一个地方。不同的应用根据其特点分别部署到本地、边缘和公有云,混合云的协作管理正在成为趋势。推动新型信任体系构建零信任与云原生安全持续融合从业界今年的发展来看,无论是Gartner认为信任和弹性是自适应安全的两个原则,还是“零信任”理念成为业界热议的流行词,都说明整个行业已经意识到,简单堆砌安全机制已经无法抵御日渐复杂的应用场景和攻击团伙,所以回归安全的本源,思考如何构建信任体系,成为当前一种独特的现象。随着零信任的理念西风东渐,越来越多的国内机构和企业在考虑通过零信任重新构建新的业务访问模型和体系。早期以边界为核心的传统安全思维方式需要被打破,考虑到系统、资源之间的交互越来越频繁,如今的安全需要转向以用户身份为核心的安全,要持续性验证用户身份的真实性。面对零信任与云原生的融合,何宝宏将其看作是发展到一定阶段的必然趋势。零信任从私有化部署向SaaS服务演进,SD-WAN通过集成零信任实现安全防护边缘上零信任实现弹性扩展,能够应对海量访问的请求,同时微隔离作为零信任的关键技术,对云类东西向流量进行访问控制,弥补传统安全防护机制在云环境应用的不足。如今,中国数字化建设的大幕已经开启。为了让行业更好应用创新的云计算技术,中国信通院积极联合各行业龙头企业探索企业高效用云的有效路径,围绕混合云、云原生、零信任、云优化治理等热点技术领域发布一系列标准和认证,成功构建起国内权威的新型云计算安全标准体系。通过对数字时代下云计算发展的深刻洞察,中国信通院不仅实现了相关标准规范的前瞻性布局,还为体系技术的落地应用提供参考和指引,进一步夯实云计算新基建的底座,为中国数字经济发展和企业数字化转型升级打下坚实基础。站在未来十年的新起点,云计算还将裂变出无限的机会和可能,带着人们在探索的路上发现更多未知的精彩。【科技云报道原创】转载请注明“科技云报道”并附本文链接https://new.qq.com/rain/a/20210802A04ODI00
  • [技术干货] 云原生第1课:云原生发展历程与技术体系
    本篇文章来自《华为云云原生王者之路训练营》黄金系列课程第1课,由CNCF大使、Kubernetes社区Maintainer以及CNCF多个项目联合创始人王泽锋老师主讲,帮助大家了解云原生技术的发展历程、云原生的基本概念、核心理念、技术体系等。云原生技术的发展历程 云原生,其实不是一个全新的概念,而是在整个云计算发展历程中的对理念的更新和延伸。站在一个用户的角度,从时间线上看,整个云计算的技术演进是朝着越来越灵活的方向发展:核心单元从早期的物理服务器,变成后来的虚拟机,一直到现在通过Kubernetes编排调度的容器;资源分配颗粒度越来越小,启动速度也越来越快资源重建的代价越来越小,不可变基础设施逐渐成为主流软件栈从传统商业软件走向开源,用户拥有更多的选择“云”的资源,在使用者看来是可以无限扩展的,并且可以“随时获取、按需使用,随时扩展”,并按使用付费。这种特性经常被称为像水电一样使用IT基础设施。而Kubernetes做为当时众多开源平台中的一个,凭借着先进的架构理念和活跃的社区生态,热度持续上升。Kubernetes也是近30年来增长最快的开源项目之一。CNCF (2020年度)最新的调查显示,Kubernetes 已经成为约定俗成的容器编排器,有82% 的单位在生产中使用了 Kubernetes。K8s的出现带动了云原生生态的蓬勃发展,在整个IT技术发展史上也是颇具突破性的。从2015年CNCF只有Kubernetes一个项目,到了到如今80多个官方项目,以及整个云原生生生态内容丰富的宏大版图。底层有众多的容器运行时、容器存储、容器网络以及硬件加速器方案可以选择;而面向用户,K8s的北向可以运行、对接各种业界主流的数据库、中间件等。目前市面上通过认证的K8s的云服务或者发行版已经超过130款,并且有大量的厂商提供丰富的周边软件、服务的配套支持。超过250家认证服务商和培训合作伙伴提供丰富的周边软件:https://twitter.com/_Lebsky/status/1351925956504662018而在中国,云原生的生态也飞速发展,CNCF的会员数量也从2015年的1家初创&白金会员发展到今天60家成员单位。全球1/4认证的K8s服务提供商来自中国;1/3的K8s培训发生在中国;同时中国也是CNCF生态的第3大贡献者,CNCF管理的80多个官方项目中,有11个来自中国。2020年,CNCF在中国主办了首次线上会议“Cloud Native + Open Source Virtual Summit China 2020”,注册参会人数达到 近六千人,超过12万人观看了直播。整个云原生产业的规模也发展十分迅猛:调查显示,2019年中国云原生市场规模已经达到了350.2亿元,并且云原生技术在加速向各个垂直行业渗透。企业在云原生的投入比例持续增高,2019年有接近10%的企业,其云原生相关投入占IT总投入一般以上,而主要的支出是技术研发和运维。云原生技术的采用率也在持续提升以容器为例,目前已有68%的机构在生产过程中使用容器,相比2年前增长了240%。生产中使用 Kubernetes 的比例在过去两年里也有了惊人的增长,从去年的72% 增长到了82% ——  Kubernetes 已经无处不在02 云原生核心理念 关于云原生,CNCF给出了如下的定义:“云原生技术有利于各企业在各种云环境中,构建并运行可弹性扩展的应用,云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API”。在最近的几年里,云原生技术呈现如下几个明显的发展趋势:趋势1 :软硬一体化:传统基础设施的网络、存储、计算能力与云原生技术生态开始深度对接。—— (Forrester2020.7市场调研云原生战略落地聚焦的能力中高居榜首)趋势2 :基于网格的服务治理能力:服务治理与业务逻辑逐步解耦,服务治理能力下沉到基础设施,服务网格以基础设施的方式提供无侵入的连接控制、安全、可监测性、灰度发布等治理能力。趋势3 :有状态应用向云原生迁移:无状态+Job类应用趋于成熟,有状态应用逐步成为云原生市场中新的增长点。Operator 的出现,为有状态应用在云原生基础设施上运行提供一套行之有效的标准规范,降低了使用门槛,使有状态应用得以真正发展。趋势4 :多云统一管理和多云业务流量统一调度:云原生北向API区域稳定,客户更多开始关注跨区域、跨平台、跨云大规模可复制能力云原生这么受欢迎,与它先进的理念是分不开的 ,总得来说有以下几大核心理念:利用容器和服务网格等技术,解耦软件开发,提高了业务开发部署的灵活性和易维护性以Kubernetes为核心的多层次、丰富的开源软件栈,被各大厂商支持,用户选择多,避免厂商绑定以Kubernetes为核心的松耦合平台架构,易扩展,避免侵入式定制 - Kubernetes已被公认是platform for platform 中心式编排,对应用和微服务进行统一的动态管理和调度,提高工作效率和资源利用率云原生代表技术1)Kubernetes的声明式API – 面向开发者提供全新分布式原语针对期望状态(结果)给出声明,而不是针对过程 - 系统自行分析差异并触发动作API对象彼此互补、可组合2)服务网格 – 剥离业务代码和分布式框架服务网格通过非侵入式的方式接管应用的服务通信。对于每个业务单元/模块来说,他们甚至不需要对网络通信、负载均衡等有任何的感知。服务网格提供细粒度流量治理,包括灰度发布、故障注入、可观测性支持等能力,提高了业务应用的易维护性对于企业开发者来说,服务网格可以很好地帮助他们剥离业务代码和分布式框架平台团队聚焦框架层的开发和调优业务团队聚焦业务本身的开发03 云原生技术体系及CNCF核心项目 在奉行事实标准的IT界,云技术发展多年的今天:开源社区已然是云原生技术的关键推动者,同时也是相关技术标准的制定者。我们知道云原生飞速发展的背景,解决应用的标准化问题:下层基础设施不统一,如何构建通用的弹性扩缩容能力,以及分布式监控、日志和追踪等等。开源的好处是可以加快技术普及,汇集业界的力量来促进技术架构和接口的标准化,所以云原生基于开源来发展是必然。—— 可以说云原生是源自开源,而开源促进云原生的发展。华为云坚持构建标准化、开源、开放的云原生技术平台。我们不仅仅深度参与社区内包括K8s、Istio等核心项目,而且将华为云产品的核心能力对外开放。我们分别于2018年、2019年开源了KubeEdge边缘计算项目、Volcano批量计算项目,并捐献给了CNCF基金会,得到了社区的积极响应。这两个项目目前都在国内外多个企业实际生产环境得到了应用。目前KubeEdge也于2020进入了CNCF incubator孵化阶段。今年,我们又联合多家单位共同开源了多云容器编排项目Karmada,与产业伙伴一起共建云原生多云的开源标准。而在基础设施层,我们在运行时、网络、存储、异构设施等方面也都广泛参与或开放了多个开源项目,将华为云在基础设施层的丰富积累与社区共享,共同促进Kubernetes以及CNCF云原生社区的快速创新与发展。应该说云原生已经成为业界公认的主力技术领域,CNCF拥有所有开源基金会中最大的最终用户社区,云原生的企业和开发者在过去几年里增长了近20倍,越来越多的客户将云原生作为企业数字化转型的的关键一步。—21家白金、19家黄金、476家白银,白金会员集齐全球Top5云供应商云原生的技术版图CNCF的项目成熟度模型CNCF当前管理的项目主要有三个等级的划分:最初级的等级Sandbox,关键的一个考虑是帮助许多创新的开源项目去解决厂商中立、知识产权以及license的保障等孵化级:面向早期使用者和保守使用者,其对于项目成熟度的考量,除过项目本身的质量,还包括项目社区的生态以及周边的落地情况毕业级:并不意味着项目的停滞,相反来说项目的成熟度达到了巅峰的水平,业界有非常多的用户在大规模落地和使用,其社区生态也呈现了非常活跃,多元化的态势。对于很多保守的企业或采用者。可以放心的去落地使用或者跟进这个开源项目。CNCF官方项目目前有15个毕业项目,21个孵化项目,46个沙盒项目,值得一提的是,CNCF的Sandbox经过流程优化之后,2020年增长速度明显提升。云原生平台技术架构发展方向:以“应用”为中心的云“OS”从2015年的1.0发布至今,Kubernetes已经有20多个大版本发布,各项功能特性和接口API都已经趋于稳定,K8s已经进入了成熟期。虽然严格意义上的K8s核心项目迭代在逐渐放缓,但是整个云原生技术栈将会进入更高速发展的阶段,围绕K8s的技术栈将会与云计算的应用、平台、设备各层次进行更深入的结合。各类现代化的应用都将会运行在K8s之上,不仅仅是前些年已经备受关注的以互联网App、WebService为代表的无状态应用,而新型的诸如大数据、AI、分布式数据中间件等等有状态应用,以及新型的边缘应用也将会普遍运行在K8s之上,从而K8s将完成对各类现有平台的归一化,成为一个统一的应用运行的分布式云原生平台。而为了更好地支撑现代化应用以及统一的基础技术平台,下层的各类设备包括虚拟化计算/网络/存储、裸金属服务器以及专用芯片如AI、高性能网络、高性能存储等等都会与K8s更紧密的配合,围绕云原生应用,通过软硬一体化的方案来提供更高性能、更稳定可靠、更高效的基础设施。与“应用、平台、设备”三个层面的协同,意味着云原生技平台将真正成为 以“应用”为中心的云“OS”。
  • [<1024>活动] 【活动结束,已开奖】【星云闪耀1024&lt;神奇空间站&gt;】PaaS空间站,打卡获秘钥,抽大礼包!
    >>点击跳转至活动首页<<活动已开奖,中奖名单如下所示。请获奖的用户填写华为云2021星云闪耀1024程序员节获奖信息收集表(点击填写),12月12日前填写有效,奖品将于15个工作日内发出哦!活动奖励以及获取线索说明:a. 线索说明:完成领取免费产品+体验任意任务(必须在本帖回帖)将获取星耀宝盒谜题(破解后获取谜题11)b. 奖励说明:在所有完成任务的开发者中抽取10人,每人奖励酷睿冰尊A9 笔记本散热器1个活动时间:2021年10月20日~2021年11月21日 参与方式:>>点击获取PaaS空间站体验任务<<完成领取免费产品+体验任意任务可获取线索:>>点击获取PaaS空间站体验任务<<1.在PaaS空间站活动页试用专区开通任意一款免费或付费资源2.完成PaaS空间站任意一个体验任务特别说明:请务必按照以下格式要求进行回帖,否则无法计算奖励:1、华为云账号:xxx(即右上角的字母数字组合ID)2、实践感想:(产品体验建议、感想等)3、任务截图:1.成功领取任意一个免费资源截图2.完成任意一个实践任务截图4、完成任务后(完成回帖),小助手会在活动期间的工作日每天上午9点-下午4点,为符合活动要求的用户通过社区私信星耀宝盒谜题,码豆将在活动结束后统一发放。Tips:1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、 本次活动抽奖将采用巨公摇号平台(https://www.jugong.wang/random-portal/)如您对评奖方式有异议,请勿参加本次活动。
  • [技术干货] 一文带你理解云原生|云原生全景指南(下)
    上期《一文带你理解云原生|云原生全景指南(上)》带您看了云原生全景指南,说明了为什么要上云、上云的弊端、云原生概述、容器以及容器编排的问题,这次我们接着了解服务网格、云原生主流组件以及其常用网络技术,最后,对云原生做一个总结。     6. 服务网格 Istio    6.1 服务网格概述    6.2 Istio 控制面4.3 Istio 数据面     7 云原生-主流组件   7.1 Prometheus   7.2 Grafana   7.3 Elasticsearch + Fluentd + Kibana   7.4 Jaeger   7.5 Chaos Engineering    8 云原生-常用网络技术   8.1 主机网络iptables是运行在用户空间的应用软件,通过控制Linux 内核 netfilter,来管理网络数据包的处理和转发。存在“表(tables)”、“链(chain)”和“规则(rules)”三个层面:每个“表”指的是不同类型的数据包处理流程,例如 filter 表表示进行数据包过滤,而 NAT 表针对连接进行地址转换操作;每个表中又可以存在多个“链”,系统按照预订的规则将数据包通过某个内建链,例如将从本机发出的数据通过 OUTPUT 链;在“链”中可以存在若干“规则”,这些规则会被逐一进行匹配,如果匹配,可以执行相应的动作,例如修改数据包,或者跳转。   8.2 Underlay 网络技术VLAN 虚拟局域网:是将一个物理 LAN 在逻辑上划分成多个广播域的通信技术。每个 VLAN 是一个广播域,VLAN 内的主机间通信就和在一个 LAN 内一样。没有划分 VLAN:LAN 局域网:优势:简单,静态,IP 地址与交换机关联;劣势:迁移域受限,不能机房内随意迁移。交换机下 IP 需要提前规划好,约束虚拟比。划分 VLAN:虚拟局域网:优势:IP 地址与交换机无关,虚拟机可以在机房范围内迁移。VLAN 间则不能直接互通,这样广播报文就被限制在一个 VLAN 内。有人会问:交换如何区分不同 VLAN?交换机能够分辨不同 VLAN 的报文,需要在报文中添加标识 VLAN 信息的字段。数据帧中的VID(VLAN ID)字段标识了该数据帧所属的 VLAN,数据帧只能在其所属 VLAN 内进行传输。   8.3 Overlay 网络技术VXLAN 虚拟扩展局域网:是对传统 VLAN 协议的一种扩展;是一种网络虚拟化技术,试图改善云计算部署的可扩展性问题。解决哪些问题?vlan 的数量限制(12bit->24bit),VLAN 报文 Header 预留长度只有 12bit,只支持 4096 个终端;VNI(VXLAN Network Index)标识某条指定隧道;不改变 IP 实现服务器迁移。传统二三层网络架构限制了虚拟机的动态迁移范围。VXLAN 在两台 TOR 交换机之间建立一条隧道,将服务器发出的原始数据帧加以“包装”,好让原始报文可以在承载网络(比如 IP 网络)上传输。当到达目的服务器所连接的 TOR 交换机后,离开 VXLAN 隧道,并将原始数据帧恢复出来,继续转发给目的服务器。VXLAN 将整个数据中心基础网络虚拟成了一台巨大的“二层交换机”VXLAN 网络模型UDP 封装(L2 over L4):将 L2 的以太帧封装到 UDP 报文即(L2overL4)中,并在 L3 网络中传输;VTEP,VXLAN 隧道端点,对 VXLAN 报文进行封装和解封装;VNI,VXLAN 隧道标识,用于区分不同 VXLAN 隧道。矢量性协议:使用基于路径、网络策略或规则集来决定路由;AS(自治域):AS 是指在一个实体管辖下的拥有相同选路策略的 IP 网络;BGP 网络中的每个 AS 都被分配一个唯一的 AS 号,用于区分不同的 AS;eBGP(域外 BGP):运行于不同 AS 之间的 BGP,为了防止 AS 间产生环路;为了防止 AS 间产生环路,当 BGP 设备接收 EBGP 对等体发送的路由时,会将带有本地 AS 号的路由丢弃;iBGP(域内 BGP):运行于同一 AS 内部的 BGP,为了防止 AS 内产生环路;RR(路由反射器):通过集中反射同步,解决全连通的网状网格结构路由同步问题。EBGP+IBGP 实现 AS 间的路由传递:一个常见的 IP 骨干网的拓扑结构,骨干层和汇聚层分别是两个自治系统,AS100 有两个出口设备 SwitchC 和 SwitchD,两个 AS 之间需要进行路由互通。    9 总结-云原生云原生应用:docker 应用打包、发布、运行,Kubernetes 服务部署和集群管理,Istio 构建服务治理能力。云计算以“资源”为中心,关键技术:虚拟化:SDX,NFV;资源池化:弹性快速扩缩容;多租化:提升云厂商的资源利用率;典型代表:计算、网络、存储三大基础设施的云化。云计算以“应用”为中心,关键导向:设计之初,关注更好适应云,充分发挥云优势;云原生已成为企业数字创新的最短路径;云原生一系列 IAAS、PAAS、SAAS 层技术,支撑产品高效交付、稳定运维、持续运营。【私人观点】以“资源”为中心的云,将成为“底层基础设施”,利用云原生以“应用”为中心赋能自身业务;云的时代,已经来临。作为云的使用者、从业者,更多思考如何利用云赋能业务产品;商业市场模式从“大鱼吃小鱼”靠信息不对称,向“快鱼吃慢鱼”转变。我们必须利用趋势,拥抱云原生。    10 鸣谢以下小伙伴给出宝贵建议,非常感谢。鸣谢 CDG-FiT 线:Hawkliu、Cafeeqiu鸣谢腾讯 OTeam:Kubernetes 开源协同技术讲师    11 学习资料《SRE Google 运维解密》《Kubernetes 权威指南》《Kubernetes in Action》《深入剖析 Kubernetes》《Docker 容器与容器云》-浙大《云原生服务网格 Istio》华为丛书《Kubernetes 开源协同技术课程》CNCF 官网:https://www.cncf.io/Huawei-Cloud Native : https://github.com/huawei-cloudnativeDocker 官方文档:https://docs.docker.com/Kubernetes 官网:https://kubernetes.io/Istio 官网:https://istio.io/- END -*注:文章源自:https://blog.csdn.net/lianhunqianr1/article/details/118037321一文带你理解云原生|云原生全景指南(上)———————————————————————————————————————————————【   AOC社区  】AOC (Agile Open Container)集成了华为网络云化平台,以及从网络运维中抽象总结出的业务框架,以Yang模型为基础,提供了对网络的开放可编程能力。社区为大家提供了关于数通网络开放可编程一站式学习、体验、认证、交流的平台。以视频为载体构建了在线学习AOC的整个学习、认证体系。另外还提供了SDK、demo样例、以及API手册、开发指导等文档的下载,方便大家进行新项目的开发。
  • [技术干货] 一文带你理解云原生|云原生全景指南(上)
    hi, 大家好,如今几乎所有大厂都将容器和K8s列入未来的战略重心,K8s可能将成为下一代分布式操作系统,今天分享一篇很经典云原生文章(万字雄文),希望可以帮大家彻底了解到底什么是云原生。本文是一篇云原生的关键知识科普,希望给大家提供一扇云原生的“窗户”,传达三个目标:1、透过窗户看到一棵大树代表:云原生的蓝图全貌;2、树上会有很多核心树干代表:云原生的关键技术;3、希望树干上能摘到果实代表:云原生对我的启发。开始阅读文章前,请角色切换:设想你作为一位中小型 IT 公司 CTO,面对云原生技术决策,你需要回答两个问题:    1、为什么需要上云?    2、上云有何弊端?作为一家公司的技术决策者,必须理解上云的利与弊,并结合公司各阶段发展目标给出最适合的技术方案。    3、 云原生-概述    3.1 云原生-定义云原生的定义,业界也是“百家争鸣”各持观点,从技术视角理解云原生会相对清晰。云原生的关键技术包括:• 微服务架构:服务与服务之间通过高内聚低耦合的方式交互;• 容器:作为微服务的最佳载体,提供了一个自包含的打包方式;• 容器编排:解决了微服务在生产环境的部署问题;• 服务网络:作为基础设施,解决了服务之间的通信;• 不可变基础:设施提升发布效率,方便快速扩展;• 声明式 API:让系统更加健壮;命令式 API:可以直接发出让服务器执行的命令,例如:“运行容器”、”停止容器”等;声明式 API:可以声明期望的状态,系统将不断地调整实际状态,直到与期望状态保持一致。• DevOps:缩短研发周期,增加部署频率,更安全地方便:Culture :达成共识Automation:基础设施自动化Measurement:可度量Sharing:你中有我,我中有你【私人观点】云原生的定义:应用因云而生,即云原生。应用原生被设计为在云上以最佳方式运行,充分发挥云的优势,是上云的最短路径。   3.2 云原生-技术生态   3.3 云原生-关键技术云原生关键技术包括:微服务,容器,容器编排,服务网络,不可变基础,声明式 API。   3.3.1 微服务微服务是一种用于构建应用的架构方案。将一个复杂的应用拆分成多个独立自治的服务,服务与服务间通过“高内聚低耦合”的形式交互。微服务典型架构包括:服务重构:单体改造成符合业务的微服务架构;服务注册与发现:微服务模块间的服务生命周期管理;服务网关:身份认证、路由服务、限流防刷、日志统计;服务通信:通信技术方案如,RPC vs REST vs 异步消息;可靠性:服务优雅降级,容灾,熔断,多副本。  3.3.2 容器容器是一种打包应用的方式,可以打包应用中的所有软件和软件所依赖的环境,并可实现跨平台部署。容器关键技术:namespac 视图隔离,cgroups 资源隔离 ,Union File System 联合文件系统。容器优势:更高效的利用资源;更快速的启动时间;一致性的运行环境。  3.3.3 容器编排容器编排包括:自动化管理和协调容器的系统,专注于容器的生命周期管理和调度。核心功能:容器调度:依据策略完成容器与母机绑定;资源管理:CPU、MEM、GPU、Ports、Device;服务管理:负载均衡、健康检查。  3.3.4 服务网格服务网格(Service Mesh)是致力于解决服务间通讯的基础设施层。Service Mesh 应对云原生应用的复杂服务拓扑,提供可靠的通信传递;通过一组轻量级网络代理(Sidecar proxy),与应用程序代码部署在一起来实现,且对应用程序透明。Service Mesh 特点:应用程序间通讯的中间层;轻量级网络代理,应用程序无感知;解耦应用的重试、监控、追踪、服务发现。Service Mesh 主流组件:Istio、MOSN(Modular Open Smart Network)Linkerd。  3.3.5 不可变基础设施不可变基础设施(Immutable Infrastructure)(宠物 VS 牲畜)任何基础设施实例(服务器、容器等各种软硬件)一旦创建之后便成为一种只读状态,不可对其进行任何更改;如果需要修改或升级实例,唯一方式是创建一批新实例以替换。不可变基础设施的优势提升发布应用效率;没有雪花服务器;快速水平扩展。  3.3.6 声明式 API命令式 API:可直接发出让服务器执行的命令,例如:“运行容器”、“停止容器”等;声明式 API:可声明期望的状态,系统将不断地调整实际状态,直到与期望状态保持一致。为什么声明式使系统更加健壮?可以类比理解成自动化工程学的闭环自适应模型。  3.3.7 DevOpsDevOps 目标 :缩短开发周期,增加部署频率,更可靠地发布。从历史上开发和运维相对孤立到开发和运维之间建立合作,可以增加信任,更快速地发布新版本。DevOps 是一组过程,方法和系统的统称包括:Culture:文化是 DevOps 中的第一成功要素。由于目标不同,开发和运维形成一堵墙,DevOps 通过建立开发和运维之间合作和沟通的文化来消除墙。Automation:自动化软件的开发和交付,通常包含持续集成,持续交付和持续部署,云原生时代还包括基础架构的自动化,即 IaC(Infrastructureas code)。Measurement:度量尤其重要,通过客观的测量来确定正在发生的事情的真实性,验证是否按预期进行改变。并为不同职能部门达成一致建立客观基础。Sharing:开发和运维团队之间长期存在摩擦的主要原因是缺乏共同的基础。开发参与运维值班,参与软件的部署和发布,运维参与架构设计。    4 容器-Docker   4.1 Docker 概述为什么学习容器技术?云时代从业者:Docker 已成云平台运行分布式、微服务化应用的行业标准。作为有技术追求的程序员,有必要理解云原生的关键技术:容器。Docker 核心概念:镜像、容器、仓库。镜像(Image):一个只读模板;由一堆只读层(read-only layer)重叠;统一文件系统(UnionFileSystem)整合成统一视角。容器(Container):通过镜像创建的相互隔离的运行实例;容器与镜像区别:最上面那一层可读可写层;运行态容器定义:一个可读写的统一文件系统,加上隔离的进程空间,以及包含在其中的应用进程。仓库(Repository):集中存放镜像文件的地方;Docker Registry 可包含多个仓库(Repository),每个仓库可包含多个标签(Tag),每个标签对应一个镜像。   4.2 Docker 关键技术   4.2.1 Namespace 视图隔离Linux namespace 是一种内核级别的环境隔离机制,使得其中的进程好像拥有独立的系统环境。Network namespace 在 Linux 中创建相互隔离的网络视图,每个网络名字空间都有自己独立的网络配置,包括:网络设备、路由表、IPTables 规则,路由表、网络协议栈等。(默认操作是主机默认网络名字空间)  4.2.2 control groups(资源隔离)Linux Control Group 是内核用于限制进程组资源使用的功能。资源包括:CPU,内存,磁盘 IO 等。  4.2.3 Union File System(联合文件系统)Union File System, 联合文件系统:将多个不同位置的目录联合挂载(union mount)到同一个目录下。Docker 利用联合挂载能力,将容器镜像里的多层内容呈现为统一的 rootfs(根文件系统);Rootfs 打包整个操作系统的文件和目录,是应用运行所需要的最完整的“依赖库”。   4.3 Docker-网络技术Bridge 模式:Docker0 充当网桥,在默认情况下,被限制在 Network Namespace 里的容器进程,是通过 Veth Pair 设备 +宿主机网桥的方式,实现跟同其他容器的数据交换。一旦一张虚拟网卡被“插”在网桥上,它就会变成该网桥的“从设备”。从设备会被“剥夺”调用网络协议栈处理数据包的资格,从而“降级”成为网桥上的一个端口。而这个端口唯一的作用,就是接收流入的数据包,然后把这些数据包全部交给对应的网桥,由网桥完成转发或者丢弃。Veth 提供一种连接两个 network namespace 的方法。Veth 是 Linux 中一种虚拟以太设备,总是成对出现常被称为 Veth pair。可以实现点对点的虚拟连接,可看成一条连接两张网卡的网线。一端网卡在容器的 Network Namespace 上,另一端网卡在宿主机 Network Namespace 上。任何一张网卡发送的数据包,都可以对端的网卡上收到。在物理网络中,如果需要连接多个主机,会用交换机。在 Linux 中,能够起到虚拟交换机作用的网络设备,是网桥(Bridge)。它是一个工作在数据链路层的设备,主要功能是根据 MAC 地址学习来将数据包转发到网桥的不同端口(Port)上。Bridge 网桥类似交换机,两个以上 namespace 接入同一个二层网络。veth pair 一端虚拟网卡加入到 namespace,另一端到网桥上。路由 routing是通过互联的网络把信息从源地址传输到目的地址的活动,发生在 OSI 模型的第三层(网络层)。Linux 内核提供 IPForwarding 功能,实现不同子网接口间转发 IP 数据包。路由器工作原理:路由器上有多个网络接口,每个网络接口处于不同的三层子网上。根据内部路由转发表将从一个网络接口中收到的数据包转发到另一个网络接口,实现不同三层子网间互通。    5 容器编排-Kubernetes   5.1 概述&架构&核心组件我认为 Kubernetes 最大成功:让容器应用进入大规模工业生产。Kubernetes 的提供特性,几乎覆盖一个分布式系统在生产环境运行的所有关键事项。包括:Automated rollouts and rollbacks(自动化上线和回滚)使用 Kubernetes 描述已部署容器的所需状态,受控的速率将实际状态更改为期望状态。Self-healing(自我修复)Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器,并且在准备好服务之前不将其通告给客户端。Service discovery and load balancing(服务发现与负载均衡)Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器,如果进入容器的流量很大,Kubernetes 可以负载均衡并分配网络流量,从而实现部署稳定。Storage orchestration(存储编排)Kubernetes 允许你自动挂载选择的存储系统,例如本地存储、公厂商等。Automatic bin packing(自动装箱)Kubernetes 允许指定每个容器所需 CPU 和内存(RAM)。当容器指定资源请求时,Kubernetes 可以做出更好的决策来管理容器的资源。Secret and configuration management(安全和配置管理)Kubernetes 允许存储和管理敏感信息,例如密码、OAuth 令牌和 ssh 密钥。你可在不重建容器镜像的情况下部署和更新密钥和应用程序配置,也无需在堆栈配置中暴露密钥。API Service: Kubernetes 各组件通信中枢。资源操作的唯一入口,并提供认证、授权、访问控制、API 注册和发现等机制;为 Pod, Deployment, Service 等各种对象提供 Restful 接口;与 etcd 交互的唯一组件。Scheduler:负责资源调度,按照预定调度策略将 Pod 调度到相应的机器。Predicates(断言):淘汰制Priorities(优先级):权重计算总分。Controller manager:负责维护集群的状态,比如故障检测、自动扩展、滚动更新等。etcd:分布式的 K-V 存储,独立于 Kubernetes 的开源组件。主要存储关键的原数据,支持水平扩容保障元数据的高可用性;基于Raft 算法实现强一致性,独特的watch 机制是 Kubernetes 设计的关键。kubelet :负责维护 Pod 的生命周期,同时负责 Volume(CVI)和网络(CNI)的管理。kube-proxy:负责为 Service 提供 cluster 内部的服务发现和负载均衡kube-proxy 通过在节点上添加 iptables 规则以及从中移除这些规则来管理此端口重新映射过程。控制器模式的设计思想:容器类比集装箱,集装箱固然好用,但是如果它各面光秃秃的,吊车还怎么把它吊起来摆放好呢?Pod 对象其实就是容器的升级版,对容器进行组合,添加更多属性和字段。就好比在集装箱上安装了吊环,Kubernetes 这台“吊车”可以更轻松操作容器。然而Kubernetes 操作这些“集装箱”的逻辑都是由控制器完成的。Kubernetes 通过“控制器模式” 的设计思想,来统一编排各种对象和资源。   5.2 部署&资源控制&存储Kubernetes-集群部署架构所有组件通过 kubelet staticpod 的方式启动保证宿主机各组件的高可用,systemd 提供 kubelet 的高可用;每个 Master 的使用 hostNetwork 网络,controller-manager 和 scheduler 通过 localhost 连接到本节点 apiserver;controller-manager 和 scheduler 的高可用通过自身提供的 leader 选举功能(--leader-elect=true);apiserver 高可用,可通过经典的 haporxy+keepalived 保证,集群对外暴露 VIP;外部访问通过 TLS 证书,在 LB 节点做 TLS Termination,LB 出来 http 请求到对应 apiserver 实例。apiserver 到 kubelet、kube-proxy 类似。    5.3 Kubernetes-网络技术     3.3.1 对外服务Service是一个逻辑概念,一组提供相同功能 Pods 的逻辑集合,并提供四层负载统一入口和定义访问策略。交互流程:Service 可通过标签选取后端服务。匹配标签的 Pod IP 和端口列表组成 endpoints,有 kube-proxy 负责均衡到对应 endpoint。为什么需要 service?对外提供入口(容器如何被外部访问);克服 Pod 动态性(Pod IP 不一定可以稳定依赖);服务发现和稳定的服务( Pod 服务发现、负载、高可用)。Service Type 四种方式Cluster IP:配置 endpoint 列表;NodePort:默认端口范围:30000-32767,通过 nodeIP:nodePort 访问 ;LoadBalancer:适用于公有云,云厂商实现负载,配置 LoadBalance 到 podIP ;ExternalName:服务通过 DNS CNAME 记录方式转发到指定的域名。Service Type 为 Cluster IP:Kubernetes 的默认服务,配置 endpoint 列表,可以通过 proxy 模式来访问该对应服务;类似通过 Nginx 实现集群的 VIP。Service Type 为 Node Port:在集群所有节点上开放特定端口,任何发送到该端口流量借助 Service 的 Iptables 规则链发送到后端 Pod。注意事项:每个服务对应一个端口,端口范围只有 30000–32767;需要感知和发现节点变化,流量转发增加 SNAT 流程,Iptables 规则会成倍增长。适用场景:服务高可用性要求不高或成本不敏感,例如:样例服务或临时服务。Service Type 为 Load Balancer:对公网暴露服务建议采用此方式,Service 没有对其行为做任何规范,依赖云厂商 LB 具体实现(云厂商收费服务)如:腾讯公有云:CLB。Service Type 为 External Name :DNS 作为服务发现机制,在集群内提供服务名到 Cluster IP 的解析。CoreDNS :DNS 服务,CNCF 第 04 个毕业项目,KUBERNETES 的 1.11 版本已支持。CoreDNS 实现的高性能、插件式、易扩展的 DNS 服务端,支持自定义 DNS 记录及配置 upstream DNS Server,可以统一管理 Kubernetes 基于服务的内部 DNS。Ingress Controller:定义入流量规则,可做七层 HTTP 负载君合。Egress Controller:定义出流量规则。交互流程:通过与 Kubernetes API 交互,动态感知集群 Ingress 规则,按照自定义的规则生成(负载均衡器)配置文件,并通过 reload 来重新加载。   5.3.2 Underlay 与 Overlay 网络Underlay 网络模式: 底层承载网络,是网络通信的基础。优势:复用基建,网络扁平,性能优势;劣势:协作复杂,安全问题,管理成本。很多场景下业务方希望容器、物理机和虚拟机可以在同一个扁平面中直接通过 IP 进行通信,通过 Floating-IP 网络实现。Floating-IP 模式将宿主机网络同一网段的 IP 直接配置到容器中。这种模式为了保证容器与宿主机的交换机二层连通,需要在物理机上搭一个虚拟网桥。具体选择哪种网桥,主流有:Linux bridge、MacVlan、SRIOV 三种模式。BridgeBridge:设备内核最早实现的网桥,性能与 OVS 相当,可以使用到所有场景;MacVlan:一个简化版的 bridge 设备,为了隔离需要内核,实现时不允许 MacVlan 容器访问其宿主机 IP 和 ServiceCluster IP;SR-IOV 技术:一种基于硬件的虚拟化解决方案,可提高性能和可伸缩性;SR-IOV 标准允许在虚拟机之间高效共享 PCIe(快速外设组件互连)设备,并且它是在硬件中实现的,可以获得能够与本机性能媲美的 I/O 性能。Overlay 网络:是一种建立在另一网络之上的计算机网络。优势:独立自治,快速扩展,网络策略;劣势:复杂层级,性能损失,定制成本。Kubernetes 相当于云原生的操作系统。有人会问,凭什么云原生的操作系统这杆大旗?主要原因是:Kubernetes 解决了一个分布式操作系统最核心的计算、存储、网络三种资源。CNI 容器网络统一标准:CNCF 项目,为 Linux 容器提供配置网络接口的标准和以该标准扩展插件提供基础函数库;CNI 命令行调用规范,其插件在主机上直接切换进入容器网络命名空间,为容器创建网络设备,配置 IP,路由信息。CNI 规范内容:输入:ADD/DEL 控制指令,CNI 目录,容器 ID,网络命名空间,网卡名称。配置文件:标准部分:cniVersion,Name,Type,IPAM。输出:设备列表、IP 资源列表、DNS 信息。插件应用如:Bridge:Linux 网桥 CNI 实现,采用网卡对链接网桥和容器;Host-device:将主机设备直接移动到容器命名空间中;PTP:创建虚拟网卡对,采用路由方式实现对外互联;MacVlan:网卡多 Mac 地址虚拟技术完整支持 vlan;Vlan:Vlan 设备 CNI 实现,允许容器和主机分属不同 LAN;IPVlan:网卡上基于 IP 实现流量转发。   5.3.3 Overlay 网络-Flannel 方案CoreOS(被 Red Hat 收购)为 Kubernetes 专门定制设计的 overlay 网络方案。03 层网络方案实现:在每台主机部署 flanneld 进程实现网段分配,路由控制,采用多种转发机制实现流量跨机交互。Flannel 职责子网管理:每个主机分配唯一的子网;互联方式:为同 Overlay 平面容器分配唯一 IP。Etcd 存储:容器之间路由映射;SubNetManager:子网资源划分、IP 资源申请释放的接口定义;Backend:针对网络互联方式的接口定义。UDP,UDP 封包转发,建议仅调试使用;VxLAN(建议),使用内核 vxlan 特性实现封包转发;Host-GW,主机 2 层互联情况下较高性能互联方式;IPIP,使用 IPIP 隧道完成封包和转发;IPSec,使用 IPSecurity 实现加密封包转发;AliVPC,对接阿里云 VPC 路由表实现网络互联;AWSVPC,对接 Amazon VPC 路由表实现网络互联。Flannel 的单机互联方案:子网分配:充当虚拟交换机/网关角色,连接所有本机容器,完成虚拟子网构建;Bridge:通过 NAT 借助主机网络实现外部服务访问;Veth pair:一端设置到容器网络 namespace,一端链接 bridge 实现容器接入网络;对外访问:为每个节点分配独立不冲突的 24 位子网。Overlay 解决方案:跨 Node 的 Pod 之间通信通过 Node 之间的 Overlay 隧道。职责:路由控制,数据转发。主要流程:本节点设置:设备创建、本地路由创建、回写本地信息;监听其他节点信息:更新 ARP 信息、更新 FDB、更新路由信息。   5.3.4 Overlay 网络-Calico 方案Calico 项目:是纯三层的虚拟网络解决方案,旨在简化、扩展和保护云网络的容器方案。Calico 优势:可扩展性:采用 IP 路由支持大规模网络。扩展便利,容错性高;网络安全:支持 Kubernetes 网络策略,支持自定义网络策略;广泛集成:集成 Kubernetes ,Mesos,支持 OpenStack,AWS,GCE,Azure。Calico 不足:BGP 支持问题:需要网路设备支持 BGP 协议,否则需要追加 IPIP 隧道;规划 2 层直连:需要节点做良好的规划实现 2 层网络直接互联;大规模配置复杂:网络规划,手动部署 Route Reflector,增加 API 代理。关键组件:BGP Client:和其他节点互联,发布当前节点路由并学习其他节点路由;Confd:同步节点配置信息启动 BGPClient;Felix:负责虚拟设备监控,ACL 控制、状态同步的 agent;Calico:CNI 插件,负责容器设备创建;Calico-IPAM:CNI 插件,负责容器网段管理与 IP 地址管理;RouteReflector:对接 BGPclient 实现路由中转;Etcd/Kube-apiserver:Calico 数据存储;typha:应对大规模节点接入时作为数据缓存 proxy;RouteReflector 安装:集群超过100 个节点时强烈建议启用,通过 RR 中转全局路由信息。Calico 单机互联方案:Veth-pair:一端设置到容器,一端放置在主机上,为容器提供网络出入口;路由策略:针对 IP 和设备设置路由条目,在主机上实现互联。Calico 跨机互联方案:同网段/BGP 支持:主机之间通过 2 层直连或者网络支持路由转发至目标主机;跨网段 IPIP 互联:网络设备不支持 BGP 协议情况下,采用 IPIP 隧道实现跨网段互联;跨网段 VxLAN 互联(Cannel):集成 flannel,底层通过 VxLAN 实现跨机转发。*注:文章源自:https://blog.csdn.net/lianhunqianr1/article/details/118037321未完:一文带你理解云原生|云原生全景指南(下)———————————————————————————————————————————————【  AOC社区 】AOC (Agile Open Container)集成了华为网络云化平台,以及从网络运维中抽象总结出的业务框架,以Yang模型为基础,提供了对网络的开放可编程能力。社区为大家提供了关于数通网络开放可编程一站式学习、体验、认证、交流的平台。以视频为载体构建了在线学习AOC的整个学习、认证体系。另外还提供了SDK、demo样例、以及API手册、开发指导等文档的下载,方便大家进行新项目的开发。
  • [云计算周刊] 中国云计算原创能力到底什么水平?
    在互联网技术公司里存在这样一个共识,那就是中国没有多少原创技术,基本都是美国原创之后,中国直接拿来用,无论是编程语言、操作系统、数据库、技术框架等等,那在云计算领域中国是否也会如此?云计算可以说是下一代工业革命的引擎,而云原生技术则是云计算的核心。通过了解一个国家或企业的程序员对云原生项目的贡献,就可以大致得出它在云计算领域的原创能力和贡献水平。云原生计算基金会CNCF提供的开源项目的数据算是很有力的参考。云原生开源贡献国家排名从表中可以看出,美国确实遥遥领先于其他国家,其次是德国、中国、印度、英国、法国、加拿大、澳大利亚、荷兰、日本、西班牙、俄罗斯等。德国能有如此强悍的表现让我十分意外,印度排在第四说明它确实如外界传闻一样在软件领域表现得很不错,但也并不比中国强。日本只排在第十,它的软件研发能力和它的国力、人口并不成比例,说明日本在软件开发方面确实落后了。中国在软件研发方面的原创能力是值得称道的,并没有很多人吐槽得那么不堪。这里所说的软件研发并不只是互联网技术,毕竟云原生可以算是国家基建了。云原生开源贡献企业排名如果是从公司的角度来说,整个云计算领域Google做出了莫大的贡献,无论是云计算还是云原生,抑或是大数据、AI、Go语言等,Google都是鼻祖,虽然它的市场份额比AWS、微软甚至阿里巴巴都要低。在中国,开源了多个重要项目的PingCAP排在世界第八、中国第一,其次是华为世界第十、中国第二,然后是阿里巴巴、中兴通讯、DaoCloud、网易、博云、腾讯、才云科技、百度、京东、字节、七牛等。这些云原生的开源项目至少九成以上是用Go语言写的,国内未来Go语言人才应该会比较紧缺。
  • [云计算周刊] 科技云报道:云原生无处不在,数字化转型怎样才能不迷路?
    科技云报道原创。在这充满变化的年代,数字技术在快速发展,数字化发展已成为全球重要的共识。今天,全球已经有超过170个国家发布了国家数字战略。各行各业的数字化转型需求从未像今天这么迫切。对于企业尤其是传统行业的企业而言,数字化转型已经不再是一道选择题,而是一道生存题。但是,对于如何踏上数字化转型之路,不同国家、不同企业、不同行业由于所处阶段不同,所面临的挑战不同,造成各有各的道,进而认识不同,采取的战略不同、节奏不同、方案不同。要真正实现数字化,还有相当长的路要走。数字化转型下的企业IT新需求当一个企业发生数字化转型,这个企业IT部门就会发生巨大的变革。原来企业IT和企业财务、法务、人力资源都是支持部门、成本中心,但是现在他们开始变成了企业运营和实现价值、实现增长的核心抓手。在这样一个大背景之下,传统IT必然会面临多方面的需求和挑战。首先,大量新增企业应用的运维。以往运维的应用主要是ERP、财务、OA系统,数字化转型时代,大量新兴数字化业务的数量可能带来几何级的增加。第二,不断增长的企业自研应用。以前企业更多通过采购获得新的IT能力,但是现在数字化业务和企业核心业务息息相关,是企业竞争力的来源,结合业务需求不断打磨、自研才是可行途径。像房地产、工业制造这类相对传统的企业也在向“软件企业”转型,Gartner指出2020年企业有75%的业务来自于自研而非采购。第三, 业务复杂度导致业务必须要解耦。传统业务系统,更多是基于信息的记录,但是在数字化的今天,系统更多是基于交互。因此业务系统越来越复杂,传统单体架构在功能开发、软件交付、测试更新等各方面都不能胜任。从单体式架构解耦变成小服务甚至微服务才是良策。这些也是“敏态IT”的需求,敏态IT对传统IT意味着强烈的“破坏性”、“颠覆性”。基于过去标准构建的IT运维和运营体系在敏态IT的面前变得疲于应对、捉襟见肘。这就需要一些新的思维方式、新的技术体系来解决敏捷IT问题,这个解决方法就是云原生。数字化转型,怎样才能不迷路?受新冠疫情影响的这两年,产品和服务的数字化进程进一步提速,据麦肯锡的调研数据显示,全球的数字化进程整体提前了7年,其中,亚太地区更是提前了10年。毋庸置疑,数字化是中国经济转型升级的一个重点,但也是痛点。中国数字经济的快速发展为中国经济巨轮劈波斩浪前行注入新动力,但中国数字经济依然大而不强,面临着高速增长和高质量发展的双重攻坚任务。虽然目前各行业的数字化转型进度并不统一,但很多企业的数字化转型已经取得了阶段性成果。随着各行业数字化转型的深入,它们完成“上云”之后,发现其数字应用更加丰富、也更加复杂。资源弹性与简化运维的价值依然是企业上云的基础,传统云服务已经远远不能适应企业的需要。资源极致弹性、应用敏捷开发迭代正在发展成为云服务的新常态。因此,“火爆”的云原生也成为互联网企业和传统政企的共同选择,云原生不仅掀起了云计算时代一股新浪潮,也开辟出一条企业数字化转型的最佳路径。随着云原生应用深入企业各个业务场景,跨云、跨地域统一协同治理,保证一致应用体验等新的需求日渐突出。对于传统政企应用,除了自身云原生改造获得资源和敏捷收益,更要充分与大数据、AI等新的云原生能力相结合,创造更大的价值。以政务云场景为例,首先,各局办委的OA应用重复建设,需要应用市场的统一管理。应用更新发布难,需要在各个局点部署安装,面临原生云应用分发的挑战。其次,资源独享,不支持共享池,ISV应用独立建设平台,平台厂商绑定导致重复建设,资源利用率低。再次,现有的平台缺乏应用的高可用和连续性保障、缺乏业务安全防护机制。最后,市民类业务越来越多,市民服务类业务往往都有弹性的需求,缺乏弹性,无法应对突发的流量。各省、地市、县不同级别的各类单位需要全局统一的业务分发与资源管理能力。以金融场景为例,很多金融企业进行了“多云”的部署。其中,金融监管较弱的业务(消金、互金、三方支付的核心系统和行情等)和面向互联网的敏态业务部署在公有云上,主要面临着无法极速扩容和支持大规模治理、难以有效应对流量冲击等算力方面的挑战;金融监管最强的数据敏感业务(证券/银行风控,银行核心)、时延敏感业务(资管,证券核心)和信创部署在IDC中,难以满足资管衍生品定价和风险定价等业务的高性能要求,例如每次请求有100TPS并发度,需要95%的时延能在5秒内返回。在营业厅、关键安防等节点,无法有效管理海量终端,实施有效监管和运营,缺乏统一体验(云边协同)。总体来说,金融场景缺乏统一的多云/多中心联邦治理能力,金融数字化新核心需要多地多中心架构,跨中心监控与治理,业务实例秒级跨云迁移成为新需求。以汽车制造的场景来看,传统制造行业数字化转型的痛点十分突出,财务、ERP、考勤等传统稳态业务资源利用率不高,基础资源无法有效整合、资源协同性差;车联网等创新业务部署在公有云上,面临着弹性能力无法满足海量并发接入需求,难以保障业务就近接入、访问时延高等挑战;智慧门店和数字工厂等业务存在分布式集群业务交互入口分散,面临运维困难,用户体验差等问题。那么,落地到具体的业务场景,企业要想切入云原生赛道,应该从何处入手?其实并没有统一答案。有公司是从开发部门开始,有公司是从运维开始,而有公司则从整个平台的架构设计端导入,不同企业要结合自己的业务状况,根据企业的发展阶段以及业务特点来选择。比如金融行业客户,有自己的开发团队,一般开启云原生的方式会从开发部门开始,从微服务、容器化和Serverless开始导入,然后逐渐推广。再比如制造业企业,一般没有自己的开发团队,更多是从第三方软件采购商那里获得云原生应用。并且,除了应用外,还有大数据、人工智能等很多数据处理平台,这些平台本身已经云原生化。就像在工业领域应用比较广泛的深度学习框架tensorflow,就有和kubernetes相结合的项目,叫做Kubeflow,很多客户通过这种方式来落地。另外,还有一些政府类的客户,在构建新的平台的时候,直接按照云原生的方式来实施和部署。总体来看,在传统应用架构下,网络流量大多是南北走向,但是到了云原生平台时代,会变成东西走向,这对整个数据的传输、存储和计算产生非常大的压力。为了让数据移动得更快,存储得更多,适应更广泛,帮助企业快速走向云原生时代。可以预测,在未来企业加快数字化转型过程中,云原生一定会变成现代业务的基础应用,其广度和深度会远远超过当年的虚拟化,最终变成企业应用现代化之旅的坚实底座。
  • [技术干货] CNCF首个多云容器编排项目,来了!
    9月 CNCF(云原生计算基金会)正式接纳由华为云贡献的多云容器编排项目Karmada迎来CNCF首个多云容器编排项目Karmada 项目的加入,将CNCF的云原生版图进一步扩展至分布式云领域。 华为云在技术上一直积极回馈社区,已开源了以智能边缘项目KubeEdge和批量计算项目Volcano为代表的一系列云原生项目。 Karmada项目由华为云、工商银行、小红书、中国一汽等8家企业联合发起,沉淀了各企业在多云管理领域的丰富积累,为开发者提供详实有效的实践指导与帮助,使用Karmada,可以构建无极可扩展的容器资源池,让开发者像使用单个Kubernetes集群一样使用多云集群。Karmada介绍随着企业业务的快速发展,多云也逐步成为数据中心建设的基础架构,多区域容灾与多活、大规模多集群管理、跨云弹性与迁移等场景推动云原生多云相关技术的快速发展。然而,在实际的生产落地过程中,云原生的多云仍面临如下挑战:集群繁多的重复劳动:运维工程师需要应对繁琐的集群配置、不同云厂商集群间的管理差异以及碎片化的API访问入口等问题;业务过度分散的维护难题:应用在各集群的差异化配置繁琐;业务跨云访问以及集群间的应用同步难以管理;集群的边界限制:应用的可用性受限于集群;资源调度、弹性伸缩受限于集群;厂商绑定:业务部署的黏性问题,缺少自动化故障迁移;缺少中立的开源多云容器编排项目。  Karmada结合了华为云多云容器平台MCP以及Kubernetes Federation核心实践,并融入了众多新技术:包括Kubernetes原生API支持、多层级高可用部署、多集群自动故障迁移、多集群应用自动伸缩、多集群服务发现等,并且提供原生Kubernetes平滑演进路径,让基于Karmada的多云方案无缝融入云原生技术生态,为企业提供从单集群到多云架构的平滑演进方案。生态合作Karmada项目由华为云、工商银行、浦发银行、小红书、VIPKID、趣头条、中国一汽和T3出行联合发起,于2021年4月在华为开发者大会2021(Cloud)上正式宣布开源。(延伸阅读:HDC.Cloud 2021 | 华为云发布重磅新品,全栈云原生技术能力持续创新升级)Karmada自开源以来受到了广泛的关注和支持,目前已有30+大型企业/机构/高校参与社区开发及贡献。 Karmada项目源自华为云多云容器平台MCP,同时融入了工商银行、小红书、中国一汽等不同行业客户在多云管理方面的经验,可以为各企业提供详实有效的落地指导与帮助,企业通过Karmada构建跨云、跨数据中心的无极可扩展的应用资源池,可以像管理单个Kubernetes集群一样简单、便捷的管理不同云、不同数据中心里的集群与应用。——华为云CTO 张宇昕在社区贡献方面,工商银行作为 Karmada项目的头部参与单位,结合工行多年来多容器集群管理的经验,已在集群生命周期管理、核心调度控制器等核心模块进行深度定制化的开发。后续,工行将持续参与Karmada 社区的开发和管理工作,计划在多集群自动调度、多集群自动伸缩等模块继续深入研究及贡献,反哺开源社区,持续扩大业界影响力。——工商银行软件开发中心专家 鲁金彪集团型企业同时存在多个混合容器的复杂场景,跨多云技术架构的运维难题日益突出。华为Karmada作为多集群、多云及混合云的集中化、兼容原生Kubernetes API接口的管理架构,有效解决目前容器编排多集群、多环境无法集中式管理、安全隔离机制不健全等痛点。希望Karmada在加入CNCF后,通过社区的共同维护与贡献,不断壮大其功能。期待Karmada早日从CNCF毕业,反哺云原生生态。——汽体系数字化部技术运营主任 王广Karmada原生兼容Kubernetes API的能力,可以不加改造地对接现有Kubernetes生态。在落地实践过程中,我们使用Karmada对接了现有的GitOps生态,极大提高了应用跨集群部署的效率。                  ——VIPKID运维总监 谷玉虎Karmada提供丰富的多集群调度策略以及开箱即用的内置策略集,可以极大的简化两地三中心、异地容灾和同城双活架构下的系统复杂性,这对于金融行业至关重要。——浦发银行云转型处处长 吕炳刚 未来可期目前,Karmada已在华为云多云容器平台(Multi-Cloud Container Platform,MCP)商用,提供分布式云解决方案,提供跨云的多集群统一管理、应用统一部署及流量分发等关键能力。除MCP以外,Karmada已在数十家来自金融、互联网、教育等企业中落地。 此次CNCF正式将Karmada接纳为云原生领域首个多云容器编排项目,将极大促进Karmada上下游社区生态构建及合作,吸引广大云原生企业用户深度参与,Karmada将在多集群应用管理、服务治理、高可用部署等领域发挥越来越重要的作用,华为云也将在云原生领域持续耕耘、持续引领创新、繁荣生态,助力各行业走向快速智能发展之路。
  • [行业资讯] 华为云转身“定调”
    导语:华为云已经收拾好心情,迎接接下来的挑战了。雷锋网(公众号:雷锋网)按:今年上半年以来,华为云业务历经几次重大调整,而每一次组织人员层面的变化都引发外界的猜测。无疑,华为云已经成为当前全球云市场中值得关注的对手。而如今关于如何做、做什么、谁来做云业务这件事情,华为上下是否已经有了一个比较明确的发展规划?这个问题值得被解答。9月23至25日,正值华为全联接大会,华为轮值董事长徐直军,华为高级副总裁、华为云CEO、消费者云服务总裁张平安等高管,与雷锋网在内的数家媒体平台进行了开诚布公的沟通。华为轮值董事长徐直军关于华为云业务,华为轮值董事长徐直军在媒体沟通中指出,“关于华为云的定位,无论是长期还是短期发展,华为云一直都是‘备受煎熬’。一方面在于企业自身改变商业模式、销售模式这种局面是非常难的;另一方面,也在于企业客户对公有云的感受短期内仍很难改变,他们依然会倾向于买服务器、存储。今年过去之后,这种局面其实已经好很多了。但卖服务器不是我们的追求。”据雷锋网获悉,华为云今年在业务层面进行了更为细致的调整,这一操作得以让云团队能够集中力量发展。目前围绕云需求的业务场景成立了三个业务部门,分别为公有云、伙伴云、华为云Stack三个领域。而在公有云方面,徐直军坦言,华为云从分到合再到分的这个过程中,内部之间还是会不断打架,为此今年调整后,面向云原生的公有云将独立建设销售队伍。值得一提的是,华为云在今年推出分布式云时在业内引起了比较多的讨论。分布式云计算必然是未来云计算的发展方向;但同时其本质还是希望推动政企客户使用公有云,如何推动政企客户使用分布式云?这说明云产业无论在研发投入还是客户心智的影响上,仍有极大的提升空间。目前,华为云经过4年发展,已聚合了超过230万开发者、1.4万多咨询伙伴、6000多技术伙伴、云市场商品超过4500个,成为互联网公司、政府与企业数字化转型的重要平台。华为2021年研发投入将超1300亿元,而这其中云服务承载了各项基础研发投入的对外开放。而从过去半年华为云剧烈的调整背后,或许能够发现华为将云战略已经融合到了更多业务线中,而非此前单纯的能力支撑。云战略“变”与“不变”华为云是自2017年华为正式集中力量投入的一项重要业务战线。其最初是为入局的公有云而设立的业务。2017年,华为整合了IT产品线、2012实验室、软件产品线、全球公有云业务部、流程IT等具备公有云能力的团队,正式成立了华为云BU。随后,在接下来的几年间,华为云业务进行了多次重大调整。2018年年底,华为对“ICT基础设施业务”进行了组织架构的重组和优化,将公有云、私有云、AI、大数据、计算、存储、IoT等与IT强相关的产业重组为“计算与云”产业群,并在此基础上组建了“Cloud&AI产品与服务”。2019年的一季度,华为又将IoT、私有云团队合入Cloud BU。2020年1月,Cloud&AI升至华为第四大BG,与运营商BG、企业BG、消费者BG并行。到了2021年4月,华为云业务经历了新的人事任命与组织调整。华为高级副总裁、华为云CEO、消费者云服务总裁张平安而在23日的媒体沟通中,华为高级副总裁、华为云CEO、消费者云服务总裁张平安指出:“目前第一个变化是新的云组织架构调整,不再只针对单一的云服务,如计算、存储等。现在我们围绕云需求的业务场景成立了三个业务部门,分别为公有云、伙伴云、华为云Stack三个领域。第二变化主要体现在生态的投资,未来将在生态方面继续加大投资。”此前,组织层面的人员调整其实仍源自于对云业务阶段性发展的战略重点。这一阶段,华为云和华为消费者云因张平安的上任,标志着华为“端”与“云”融合的一个友好开始。实际上,华为云在云云协同战略已经有了初步成效。华为云有230万开发者,终端云有450万开发者,通过云云协同,为开发者和合作伙伴可以提供统一的服务与体验,包括统一帐号、支付、音频、视频等开放能力,以及统一开发平台、统一应用平台和运营服务。作为这一战略的主要推动者,张平安指出,“通过生态上的共享,使用了华为云的企业客户,可以将自己的业务通过终端云(已经构建的9亿用户生态)扩展;同时,B2C模式下的企业如零售快消、物流等行业,又因为终端云的需求刺激了华为云面向企业客户的服务。”实际上,回顾全联接大会上有个关键词反复出现,“深耕数字化”,这意味着如何为客户提供一致、且更优质的创新体验,成为接下来华为云与终端云、流程IT云、消费者云、车云等业务进行能力与生态等方面协同所衡量的标尺。张平安也明确了华为云接下来的目标及定位,即深耕数字化,一切皆服务。包括基础设施即服务、技术即服务、经验即服务。在基础层面,华为云仍坚持在基础云服务层面,加大全球数据中心和网络布局。面向各行业合作伙伴,加速构建行业应用平台和流程平台。而在技术层面,张平安指出,仅2021年华为在各个领域的研发投入已经超过1300亿元人民币。如何让更多企业使用,避免重复造轮子?“最佳路径就是将这些技术转化成为华为云上的服务。包括云原生的容器集群调度、AI的计算框架和算法、地图、数据库、3D超高清音视频编解码、全自动的开发测试流水线、区块链、5G、自动驾驶,都可以通过云的方式进行调取。”用云原生思维践行云原生如今,在技术层面,云厂商的关注点也正在从IaaS向PaaS层面倾斜,但正因其涉及的维度较为复杂,且需要投入的技术资源力度较大,市场仍处于起步阶段。这一阶段,云原生是必然提及的话题。张平安指出,数字化转型成功的关键是要用云原生的思维践行云原生,简单说就是全数字化、全云化,AI驱动,一切皆服务。首先,云原生正在走向分布式,跨云跨地域统一协同治理,保证一致应用体验等新的需求日渐突出。为此,华为公布了首个分布式云原生产品“华为云UCS”。“华为云UCS”,即“无处不在的云原生服务”,旨在将云原生能力带入企业的每一个业务场景,让企业使用云原生应用时能跨云跨地域统一协同治理,充分保证应用的一致性体验,加速千行百业数字化转型。其次,华为云还发布了开天aPaaS,围绕移动开发者提供相关服务。目前已经开放支付、搜索、浏览、地图、广告五个数字业务根引擎,开发者可以基于该aPaaS平台进行应用的开发,并且可以一键上架到华为应用商店。“开天aPaaS已经围绕50多个应用场景,贡献了100多个kits服务和2万多个API。”张平安在媒体沟通中指出。此外,从外部环境来看,全球企业数字化战略已经从Cloud First转向Cloud Native First。一项数据显示,企业IT投资的重心已逐步向云原生应用倾斜,其中容器产品作为一项云原生典型技术应用,已经越来越得到企业广泛认可。在此之前,华为云已经打造了较为丰富的云原生产品体系,如面向容器编排技术的不同场景推出了云原生边缘计算项目KubeEdge、云原生批量计算项目Volcano,第二代裸金属容器等等。现如今高举云原生大旗的企业,必然已经有一定在容器服务、数据服务治理等方面有了先进实践,因为云化、云原生化本身也就支撑了企业自身的数字化转型。云PaaS本身是一个需要多年技术积累与优化的体系,那么华为云需要腾出相应的时间、空间来快速推进这件事。雷锋网总结雷锋网认为,云原生时代,现在说云计算市场进入淘汰阶段仍为时尚早。尤其在中国,云计算影响的后劲才刚刚开始。过去改变的可能只是企业IT的架构模式,而如今将改变软件研发的方式。从改变炊具,到提升使用炊具的效率、寿命、周期,需要费更大的周折。首先还是将市场做到很大。据信通院《2020云计算发展白皮书》数据,2019年我国云计算整体市场规模达1334亿元,增速38.6%。其中,公有云市场规模达到689亿元,相比2018年增长 57.6%,预计2020-2022年仍将处于快速增长阶段,到2023年市场规模将超过2300亿元。总结来看,华为云的发展已经进入到了全新的第二阶段,细致剖析会看到云原生和政企市场是两个完全不同却又同时发展的赛道。目前面向政企(ToB)市场的华为云,已经在与消费者云进行了云与端上的融合。从技术演进看,分布式云计算必然是未来云计算的发展方向,分布式云的核心难题仍然是如何让政企客户接受公有云。一边是云边端的未来,一边又是云原生2.0所带来的新的冲击。但回归正题,只有客户和合作伙伴成功,才是华为云的成功。此次大会上,华为云还宣布了两个新Region开服,发布了天筹AI求解器、华为云Stack8.1、盘古药物分子大模型、华为云SparkRTC、函数计算FuctionGraph等十大新服务,同时宣布华为云打造的首个虚拟数字人云笙入职华为云。华为云已经收拾好心情,迎接接下来的挑战了。雷锋网(公众号:雷锋网)来源“雷锋网”作者 | 杨丽 原文链接 | https://www.leiphone.com/category/industrycloud/GlNjbpE6ZkwCGxSy.html
  • [热门活动] 云原生应用敏捷最佳实践(链接已变更)
    活动页地址:https://developer.huaweicloud.com/activity/paas.html活动打卡链接变更为:https://bbs.huaweicloud.com/forum/thread-161300-1-1.html
  • [技术干货] 华为徐直军:以持续创新加快数字化发展
    2021年9月23日,华为全联接2021以线上形式举行,今年的全联接大会以“深耕数字化”为主题,汇聚了业界思想领袖,商业精英,技术大咖,生态伙伴等,探讨如何深入业务场景,把数字技术与行业知识深度结合,共筑开放共赢的行业生态。感谢大家参加线上华为全联接大会,能在线上与大家沟通,也是数字化发展的有力见证。今天,我想谈的主题是:华为如何通过持续创新,加快数字化发展大家都知道,在这充满变化的年代,数字技术在快速发展。数字化发展已成为全球重要的共识,也许是唯一的共识。今天,全球已经有超过170个国家发布了国家数字战略。最近发生的一些情况,更是让全球都意识到数字化转型从未如此现实、如此迫切。首先,新冠疫情的突发及持续近两年,进一步加速了产品/服务的数字化进程。根据麦肯锡的研究,全球的数字化进程整体提前了7年,其中,亚太更是提前了10年。麦肯锡的研究还发现,数字化不再被认为困难重重,企业做事的速度比原先预想的快20~25倍。普遍认为,企业混合办公模式将成为新常态。其次,全球对于降低碳排放,应对气候变暖也越来越重视。欧盟发布了2050年实现碳中和的目标,中国发布了2030碳达峰,2060碳中和的目标。数字技术成为各行业减排的关键因素,根据世界经济论坛数据,到2030年各行各业受益于ICT技术所减少的碳排放量将达121亿吨,是ICT行业自身排放量的10倍。第三,面对日趋复杂的全球营商环境,韧性优先成为企业的重要发展战略。数字技术是实现企业韧性必需的使能技术,后疫情时代经济恢复和低碳发展的双重要求,使数字化转型加速成为全球企业和各组织的必然选择。应当说,世界也是幸运的,数字化转型所需要的基础技术从未如此完备。这一点,各个国家从抗击疫情过程中应该都已有所体会。事实上,这些数字技术和数字基础设施正在为数字化转型奠定坚实的基础。目前,5G全球商用网络已经达到176个,全球探索5G用于行业数字化的项目超过1万个,5G用户也已经超过4.9亿。根据IDG的数据,全球81%的组织已经使用云计算或有应用在云上。AI的发展更是迅速,根据罗兰贝格的研究,AI已经渗透到各行各业中,高科技与电信行业、金融行业、汽车与装配等行业已经采用AI的比例超过60%,商业、医疗、零售等行业的AI应用比例也分别达到50%,40%和38%。数字化转型和发展是形成了共识的,数字化基础技术是可以共享的。但是数字化转型之路,不同国家,不同企业,不同行业由于所处阶段不同,所面临的挑战不同,造成各有各的道,进而认识不同,采取的战略不同,节奏不同,方案不同。要真正实现数字化,还有相当长的路要走。华为的愿景和使命是把数字世界带入每个人,每个家庭,每个组织,构建万物互联的智能世界。我想,我们把数字世界带入每个人,每个家庭,每个组织,实现万物互联智能世界的过程,也是帮助各行各业实现数字化转型目标的过程。反之,如果没有能够帮助各行各业成功实现数字化转型目标,很难说我们实现了我们的使命。我们的价值主张具体包括四个方面:1无处不在的联接:我们认为联接是每个人的基本权利,将致力于实现所有人与人、物与物,人与物的全面联接,并持续提升联接体验。 2无所不及的智能:我们把AI定位成一种通用目的技术,致力于把AI注入各行各业,促进价值创造全过程、全方位的转型升级。  3个性化体验:我们主张每个人都是独特的,将致力于通过提供个性化的产品和服务,让每个人的个性得到充分尊重,潜能得到充分释放。 4数字平台:我们坚信,数字化将推动人类文明的再一次飞跃,我们打造开放、灵活、易用、安全的数字平台,激发行业创新、产业升级和社会发展。 数字化发展要靠数字技术,数字技术的生命力在于持续创新、不断创造价值。云计算,AI,网络是关键的数字技术。今天,结合本届华为全联接大会深耕数字化的主题,就加速数字化发展,我将从云服务、人工智能、网络以及低碳发展等四个方面分享一下我们的创新进展和产业思考。首先谈一谈云服务。2016年9月1日,我在华为全联接大会上发表主题演讲:“拥抱云,融入云,成为数字化企业”。2017年3月19日,在长沙举办的华为中国生态伙伴大会上,我首次宣布成立Cloud BU,并指出:从2017年开始,华为将以公有云服务为基础,强力投资打造开放的公有云平台,并将聚焦重点行业,携手合作伙伴构建云生态,共同做大产业蛋糕。4年后的今天,华为云已经聚合了超过230万开发者、1.4万多咨询伙伴、6000多技术伙伴、云市场商品超过4500个,已经成为互联网公司和传统政企数字化转型的重要平台。在全球,华为云与伙伴公有云覆盖了27个区域,为170多个国家的客户提供服务。根据Gartner 2020年研究,华为云是IaaS市场增速最快的云,已经成长为中国第二、全球Top 5的云服务提供商。所有这些进步和成绩都只是新的起点。华为云以“让云无处不在,让智能无所不及,共建智能世界云底座”为使命。伴随行业数字化步伐的加快,期待华为云有更大的发展。伴随着企业数字化转型的深入、数字应用更加丰富、也更加复杂,传统云服务的资源弹性与简化运维的价值依然是基础,但已经远远不能适应企业需要。资源极致弹性、应用敏捷开发迭代正在发展成为云服务的新常态。云原生(Cloud Native)也因此成为包括高科技类企业和传统政企的共同选择。对于传统政企应用,除了自身云原生改造获得资源和敏捷收益,更要充分与大数据、AI等新的云原生能力相结合,创造更大的价值。作为云原生的倡导者和先锋,自2016年以来,华为云陆续推出了云原生系列服务,帮助互联网及政企客户更好的进行云原生改造,基于这些积累,2020年我们进一步提出云原生2.0理念,致力于让每一个企业都能成为新的云原生企业。随着云原生应用深入企业各个业务场景,云原生正在走向分布式,跨云跨地域统一协同治理,保证一致应用体验等新的需求日渐突出。为了匹配这一需求,我们通过持续创新,推出业界首个分布式云原生产品。今天,我正式发布华为分布式云原生产品,华为云UCS!UCS的意思是无处不在的云原生服务:通过华为云UCS,我们致力于让企业使用云原生应用时感受不到地域限制,感受不到跨云限制,感受不到流量限制,充分保证应用的一致性体验。UCS的目标是要把云原生能力带入企业的每一个业务场景,加速千行百业拥抱云原生。其次,和大家探讨一下人工智能。2018年10月,我在上海华为全联接大会上发布了华为全栈全场景AI解决方案;2019年8月23日我在深圳正式宣布了AI计算框架MindSpore开源计划。发展到今天,这些计划都得到了圆满的实施。首先,硬件方面,已经有超过10个硬件合作伙伴推出基于昇腾模组、板卡的AI硬件产品。其次,MindSpore在2020年3月如期开源。截至2021年8月底的1年多时间内,社区累计下载量超过60万,目前已经是中国最活跃的AI社区,有超过100家高校选择MindSpore进行教学,可以说,MindSpore已经成为中国主流AI计算框架。此外,还有500多家合作伙伴基于昇腾开发了600多种AI解决方案,应用于各行各业。总体上,全栈全场景AI发展符合预期。在2019年的华为全联接大会上,我们首次发布了Atlas 900集群,那时候单集群支持1024个昇腾910芯片,总算力达到256P Flops。经过两年的努力,Atlas 900单集群已经能够支持4096颗昇腾910,在全无阻塞网络下进行高速计算,提供每秒100亿亿次浮点运算的强大算力。在此集群基础上,华为云ModelArts通过引入集群间动态自适应路由技术,根据电力约束的不同,可以将集群规模再扩大4~32倍,总算力最高达到32E FLOPS,训练线性加速比超过85%。目前Atlas 900集群和基于Atlas 900集群的云服务已经服务于300多企业客户,广泛应用于交通、金融、能源、制造、医疗等行业,支撑众多企业、科研单位系列大模型的开发训练。目前已经成功训练出了一系列大模型,包括:华为云盘古NLP中文大模型;华为云盘古计算视觉大模型;华为云盘古药物分子大模型;华为云盘古科学计算大模型;遥感专用框架LuojiaNet;鹏城盘古NLP中文大模型;鹏城生物制药大模型等。在我发布的全栈全场景AI战略中,ModelArts属于AI应用使能层,其使命是让AI应用开发简单、简单、再简单,以解决AI人才和专家匮乏的问题。当初的期望是,通过ModelArts,要让每一位工程师只需掌握一定的AI技能,就能够自己开发AI模型和AI应用。经过3年多的努力,数以千计的AI行业应用项目的实践,不断创新与知识沉淀,面向企业数字化转型与AI应用的不同阶段,形成了全流程、场景化的服务。基于这些服务,应当说我们初步实现了预期目标。对于企业来讲,开发AI应用有三个阶段,针对不同阶段和场景,ModelArts有了针对性的服务:在初始阶段大量的企业或总体上,或在特定任务上,还处于探索性AI试验阶段,这个阶段的主要诉求是开发出一个模型,验证初步可行性,处于这个阶段的企业的AI能力往往最为欠缺。针对性地,ModelArts通过领域套件、场景样例、盘古大模型、预训练模型等服务和开发工具,使得一般的工程师在简单学习之后,基本不用开发代码就能够快速训练出AI模型,快速验证,快速上手。第二个阶段是Quick win,即在试验成功的基础上,期望快速通过AI为企业创造价值,此时的AI开发不再是研究性模型开发,而是要针对一个或多个特定生产任务,结合特定部署场景,结合特定行业规范,满足可信等生产性要求。ModelArts通过增加可信组件与安全算法、ModelBox、AutoSearch、盘古大模型等使AI工程师能适应多样性的部署环境,快速开发生产性实战型AI应用。第三个阶段是系统性AI应用或智能子系统的开发,此时往往涉及多种应用、工具和系统的配合,ModelArts通过进一步增加MLOps、OptVerse求解器、科学计算、盘古大模型和异构分布式调度器以及来自生态伙伴的丰富的行业性组件与工具等支持企业实现极简、高效的智能系统开发。让每一位工程师都能开发AI应用,是ModelArts矢志不渝的努力方向,期待这个目标早日实现。在AI用于各行业生产场景时,即使最高水平的AI专家,也往往感到十分挑战。究其原因,各行各业场景繁多,非常碎片化,即使有自动化程度很高的工具,在通常的AI模型开发模式下,也不得不逐个定制开发,如同作坊式开发,投入人力多,开发周期长。更为挑战的是,模型的精度通常需要大量的训练样本数据,可行业场景偏偏最缺数据,由此导致模型性能往往不能满足生产要求,导致AI在这些场景不可用。大模型为解决这类问题提供了很好的方案。有了预先训练好的大模型,每个场景化AI开发,都不必再从0开始,而是基于大模型做增强训练,并自动化抽取出适合该场景部署的小模型,开发周期从月级缩短为天级,实现了AI模型从作坊式开发到工业化开发的转变。更为重要的是,由于是基于大模型做增强训练,模型性能大大提高,使很多原来AI不可用的场景变得可用了。在华为南方工厂就有一个这样的案例,由于样本数量只有40个,传统方式训练的AI模型精度只能达到80%,无法满足要求;基于大模型训练的模型精度达到99.5%,使智能检测实现可用。第三,再谈一下企业网络。伴随着数字化的进程,企业网络的复杂性将指数级增加,主要原因包括:混合办公,互联分支增多,接入位置增多;员工流动性增大,体验变化更动态;办公网融合物联网,联接数激增;云化与新应用对网络性能要求更高、变更频繁;网络设备种类多、厂家多,管理规模大;网络保障从基于联接到基于体验,要求更高。但是,运维保障工程师数量不会线性增加,甚至不会增加,网络运维复杂性与运维工程师资源之间的差距会越来越大。针对这个挑战,我们认为,企业网络的运维更应该首先用好数字化技术,用技术创新克服自身复杂性的增加,而不是依赖更多的人工。基于此,我们提出自动驾驶网络愿景,即未来的网络应该与自动驾驶汽车一样都能自己运维自己,而不是靠人。我们期望未来的自动驾驶网络应该是:支持自动,即根据用户意图业务自动部署,最终目标是业务全自动部署;支持自愈,预测预防故障并基于事件自我恢复,最终目标是实现全自动运维;支持自优,根据用户体验自适应调整优化,最终目标是实现全自动优化;支持自治,在自动、自愈、自优的基础上,网络功能自适应、自学习、自演进;这是自动驾驶网络的愿景,也是终极目标。过去两年,我们不仅在华为覆盖全球的网络开展自动驾驶网络创新,也与金融、教育、医疗等行业客户开展联合创新和部署应用。在金融行业,我们与中信银行聚焦数据中心网络的自动驾驶创新。2020年,自动驾驶网络帮助实现了单数据中心、单厂商的40多类业务场景的端到端业务自动化。今年的创新方向是支持多云、多厂商的异构场景。以一个“留学汇”的新业务上线为例,过去多域网络的协同设计、评估和变更平均耗费30多天,现在只需要30分钟就能实现。在数据中心网络里面,最头疼的问题是如何快速定位故障点,现在华为自动驾驶网络既支持了端到端的网络质量可视,还对75类典型故障实现了3分钟定位根因,5分钟给出修复建议,今年基于知识图谱的自学习能力,现网数据实现了在线增量学习,可覆盖97%的故障。在教育行业,我们与西安交通大学聚焦园区网络的自动驾驶开展创新。随着智慧教学和校园服务的发展,除了传统的摄像头、道闸等物联终端,还新增了智能门禁、教学录播等50多种终端,在西交大的四个校区有50多万台,由于终端覆盖广且分散部署,目前都是通过校园网接入的,存在安全管理隐患。我们通过自动驾驶网络帮助西交大实现了秒级的终端自识别和自接入,基于人工智能技术还能支持未知终端的在线标注和学习,将终端识别率提高到了98%。其次,园区无线接入已成为主流,WIFI干扰、漫游和应用保障问题突出,以前人工优化效率低下,现在通过AI智能调优不仅人工0介入,而且信号达标率从64%提升到了90%。最后,谈一谈华为如何通过数字技术助力低碳发展。如开头讲到的,数字技术是低碳化发展的基本要素,华为坚持数字技术创新,帮助客户实现低碳发展,主要包括三个努力方向:1 投资创新节能技术,持续提升ICT产品能效,促进ICT产业自身低碳发展;2 投资电力电子技术及与数字技术融合创新,推动清洁能源发展与传统能源数字化;3 把数字技术带给每个行业,支持各行各业通过数字化促进低碳发展;具体到第一个方向,也就是围绕ICT产业自身低碳发展。事实上数十年以来,华为所有设备和解决方案一直在围绕降低功耗、节能减排,持续创新。应对气候变暖、各行各业低碳发展的新诉求,给ICT设备提出了新的挑战,我们也愿意设定更高的节能创新目标,来迎接挑战。第二个方向是推动清洁能源发展与传统能源数字化。为了响应碳达峰和碳中和目标,加速清洁能源发展与传统能源数字化,我们专门成立了华为数字能源公司,其愿景是发展清洁能源与推动传统能源数字化双轮驱动,融合数字技术和电力电子技术、信息流和能量流,推动能源革命,共建绿色美好未来。具体地讲,华为数字能源把电力电子技术和数字技术相结合,用“比特”管理“瓦特”,用数字技术控制电力电子功率设备,面向清洁发电、能源数字化、交通电动化、绿色ICT基础设施以及综合智慧能源等五大领域提供“安全、高效、绿色、智能”的解决方案,构筑面向能源产业广泛使用的嵌入式电源、智能配电、储能等使能平台。同时,面向能源各个场景,会建设一个统一的“能源管理云服务平台”,这是一个开放的应用平台,开放给华为的客户、合作伙伴一起使用。通过提供上述产品和解决方案,华为数字能源致力于实现家庭、建筑、工厂、园区、乡村、城市等场景的低碳化,促进整个社会走向低碳,最终走向零碳。第三个方向是关于传统行业的减排,特别是碳排放相对比较高的行业,如何让这些行业降低碳排放,是全社会向低碳化发展转型的重心。我们把帮助各行各业降低碳排放作为重要的创新方向,致力于把数字技术带给每个行业,使能行业数字化、低碳化发展。应当说,这已经成为华为与几乎所有行业共同的创新方向,我们也已经取得了一些进展。比如:在智慧交通方面,我们通过对信号灯控制,减少城市交通拥堵减排;通过智慧高速,实现了自由流收费,据测算,已累计节约燃油32.17万吨等;智慧供暖已经在哈尔滨投入使用,根据哈尔滨道外区的实践,通过按需供热,平均能耗降低12.1%;中国供暖130亿平米,如都用智能供暖,每年可减少CO2排放1619.9万吨;智慧农业方案在瑞士已经显示出价值,通过大数据和5G使能的无人机巡田,效率提升20倍,通过实现瑞士农场精准除草,减少90%农药使用量。数字化将注定是一个长期的过程,不可能一蹴而就的。我们所从事的这些技术领域,有幸处在变化最活跃的环节。数字化走到今天,取得今天的进步,是因为有不断的创新。数字化走向未来,实现更加宏伟的目标,还要靠不断的创新。坚持创新永不止,祝愿未来更美好。谢谢大家!
  • [行业资讯] 独家对话火山引擎张鑫:未来3年迎来云原生容器巅峰期
    导语:探秘火山引擎云原生一隅作者 | 杨丽受访人 | 张鑫雷锋网(公众号:雷锋网)按:企业对技术路径的选择从来不存在唯一性。当下数字化势头强劲的浪潮下,云原生成为技术的流行方向,虚拟化、容器、微服务组合在一起,面向企业业务提供足够灵活的云服务,会成为下一个普世化的技术栈道。由尝试容器部署开始,字节跳动的云原生实践在近些年走得越来越快。2016年6月,字节跳动启用Kubernetes技术栈,开始对业务进行大规模容器化改造,2017、2018年进入阶段性上量阶段,到2018年这一年部署的容器单集群已经达到了上万个节点。如今,字节跳动已经有超过95%的应用实现了云原生化,从最开始的面向容器部署,过渡到面向服务的阶段,不仅用上了容器编排工具,更是在这之上建立了比较完善的微服务治理体系。2020年,火山引擎作为字节跳动旗下的企业级技术服务平台,正式将云原生的能力开放了出来。除了没有太多的历史包袱,让这家年轻的企业可以轻装上阵,无需关注替换带来的成本外,更多地还有对技术趋势的判断力和投入,很早就拥抱了云的方式。因而,字节跳动的很多业务一开始就根深蒂固长在了云上,在接下来设计新的业务系统时,也会充分考虑利用云的弹性能力。生于云、长于云,这成为企业可以借鉴的最直白、却又最具有普世化特征的云原生实践路子。在与雷锋网的访谈中,火山引擎副总经理张鑫阐释了他对云原生容器技术的趋势判断、引入这项技术的面临的难点与挑战,以及字节跳动自身过去五年的云原生实践路径。“从技术曲线上讲,虚拟化差不多经历了十年的发展历程,如今到了商业化的稳定期。同样,容器+K8s从2014年谷歌开源出来到如今,预计未来三年也会达到一个巅峰期。”但当前Kubernetes因其涉及的维度广泛,包括微服务架构理念、网络、存储等各个层级,导致无论是产品服务商还是企业实践者,都在这个过程中存在不小的技术挑战。张鑫作为火山引擎云原生应用服务的负责人,也是国内容器产业的早期研究和实践者。以下将呈现这次访谈的完整总结。初识云原生的四个方向尽管在技术战略层面,云原生被各大互联网企业列为主要发展方向,但云原生和容器是两个相关,却不能划等号的概念。一开始,外界可能会比较具象、容易理解的是容器本身,是对资源、应用的一种标准化封装。但拥有容器化部署,可能只意味着企业有了云原生的基础设施,并不意味着实现了云原生应用。从容器到云原生的进化,还是会有比较大的差异。从云原生核心技术角度判断,云原生进入成熟期应存在东南西北四个方向上的演化:先看南向,面向新一代的云原生基础架构。基础设施即代码(IaC)作为最近一段时间的流行技术趋势,目的是为了让IT基础设施变得更加高效、敏捷,通过可配置的方式,将基础设施更快地进行部署,进一步提升整体架构的性能、敏捷性。国内云厂商也推出了很多类似的产品或技术方案。再看东西向。有两个趋势:一是更多的应用、中间件,包括大数据平台、数据库、数仓、AI平台等新兴业务负载都可以实现云原生化,甚至是Serverless化;二是能够通过云原生更好地实现企业内数据孤岛的打通、系统的连接,包括API服务、API治理、API网关。然后是北向。这个方向上涌现了一批面向敏捷开发的新兴产品,如低代码、无代码工具,还有面向开发测试场景,面向工业互联网等行业场景,以及面向业务场景的BPM等,能够基于云原生微服务技术,构建面向应用开发的aPaaS。从技术曲线上讲,虚拟化差不多经历了十年的发展历程,如今到了商业化的稳定期。同样,容器(2013年Docker公司公布技术标准)+Kubernetes(2014年谷歌开源项目)到如今,预计未来三年也会达到一个巅峰期。从产业数字化发展的现状来看,现在各行各业都在如火如荼地进行建设,行业数字化在加速,理论上是一个非常好的窗口期。中国信通院的一份云原生用户调查报告显示,容器化改造依旧是主流趋势,将容器技术投入核心业务生产的受访用户同比增长2.48%。调研机构Gartner公布的数据显示,到2022年,75%的全球企业将在生产中使用云原生的容器化应用。但这中间同样存在巨大的鸿沟,也就是上述东西南北向的技术产品,如何能跟前端业务需求密切连接起来。这是需要包括供应商在内的企业,在未来三年快速去落地的事情。最优先级任务那么,火山引擎首先会在这四个层面落地哪些事情?“我们更多在做的是南北向的事情。即向下修炼内功,向上为开发者提供服务。南向是我们认为最关键的内功,任何一个云上应用、系统,最终还是要回归到稳定性、可靠性等问题,这是我们一定要做且目前也做得非常好的事情。”张鑫指出。首先,字节跳动业务自身就面临着如何在大规模数据量和业务量的情况下,仍然保持足够良好的性能的问题。字节跳动构建有一个非常庞大的数据中心,容纳了近百万台服务器。在云原生基础设施层面,包括将计算、网络、存储上如何更好地与容器技术结合上,团队已经做了很多技术创新。其次,云原生应用最终还是要提供给开发者使用,如何让开发更快、更简单,这是团队追求的一个重要优先级。但当前企业对容器的实践也可以具体拆分为三个阶段:第一阶段,面向容器编排管理,用户直接跟容器Kubernetes打交道;第二阶段,开始进一步提升,用户从面向容器变成了面向一个个服务,于是就有了各类微服务框架的治理,这时用户就不需要关注容器配置、管理等问题,而是要考虑整个业务架构如何拆分,应该有哪些微服务组件,不同组件之间如何互联互通等问题;第三阶段,即Serverless阶段,这时用户无需关心整体业务架构如何设计,只需要关注最前端的业务逻辑如何能够快速表达,这也就要求厂商需要将业务背后的中台和后台相关组件进行提前预置。值得一提的是,字节跳动本身存在一个中台的组织形态,它对内会支持很多的业务线进行构建,可以看到很多的应用或功能,其实是基于Serverless的方式进行构建的。目前来看,多数企业仍处于面向容器、面向服务的第一二阶段,而在产品层面,字节跳动已经开始着力于向第三阶段发力。一股新兴势力站在客户层面,不同类型的客户对引入云原生容器服务是会比较明显的差异的。其中,互联网行业成为云原生采用率占比最高的行业。首先,互联网企业对云原生的应用深度和广度都非常大,也愿意为高ROI技术买单。尤其是头部的互联网企业,其资源能力极强,且业务形态非常复杂,往往会选择开源深度定制+自研的方式进行技术实践,原因在于其业务体量足够大,能够通过哪怕1%的性能提升而带来比较高的ROI。相比之下,很多腰部的互联网企业可能很难为了提升1%的性能或成本,而投入大量的研发团队。字节跳动最近的一项调研也发现,将互联网行业客户群体进一步拆分,其中像在线游戏等垂直行业,其云原生的采用率占比已经超过80%。对于传统行业而言,近些年来因其数字化转型的业务驱动影响,使得他们对新技术的拥抱越来越高。如金融、零售电商、工业互联网、生信医疗、智慧政府等行业,因其数字业务创新的驱动,有了越来越多互联网相关业务。从团队最近一段时间的服务观察,这些行业对新技术的拥抱也越来越高。举个例子,在生信医疗领域,随着蛋白质测序、基因分析等业务持续涌现,以及医疗基础数字化建设的推进,企业需要越来越多的算力,构建更加敏捷的应用系统。此外,生信医疗行业本身也在着力打造一个基础科研平台,以打通医院、高校在科研方面存在重复造轮子的数据孤岛问题。企业需要追求新技术吗?外界有言,谷歌早在2003年就已经对自身实现了容器化应用,而其后多年一直作为秘密武器秘而不宣。依靠这项技术,仅在运维成本方面每年就能节约一半的费用,这无疑大大提升了企业自身的竞争优势。曾就职于这家企业的张鑫,目睹过谷歌每天20亿个容器计算集群在跑。在他看来,对于企业而言,不会单纯将追求尝试新技术为目的,尝试新技术,仍然需要业务驱动。因此从业务角度进行划分的话,首先就要看企业是不是有足够多的敏态业务,然后基于此进一步衡量使用新技术进行改造的ROI。容器技术在更多有状态应用场景中的延伸,导致IT基础层架构相应地也在持续优化,比如对存储、数据库的能力要求,对开发运维环境带来的复杂度问题,以及对大规模计算存在的短板。从应用角度来看,无状态应用、有状态应用、稳态应用等等,不同应用进行云原生化的ROI、难易程度是有差异的。首先,无状态的应用,最适合进行第一批云原生化的改造。其次,有状态应用往往可能是集群化的应用,包括中间件、数据库、Elasticsearch等业务场景。想要解决这部分场景问题需要一定的技术壁垒,但一旦将有状态应用实现云原生化之后,其实会有比较好的回报。容器环境下,有状态应用经常会遇到的一个问题是,如何做数据的持久化,这对企业存储的要求发生了改变,如选择何种存储系统,是否可以满足分布式存储性能?数据能否跟上层的应用编排结合起来?业务调度时,是否需要考虑数据的亲和性?再往后,分布式存储本身还依赖于强大的网络体系,这就要求容器本身需要自带有相应的解决方案。如何基于RDMA做高性能传输,是否能直接在硬件层面,如基于智能网卡做硬件卸载……等等这些技术难点。但换个角度看,这些问题也为很多云原生容器厂商提供了很大的空间。因为这些能力并不是在开源的技术体系内就能够解决,这也是火山引擎希望发力的领域。第三类就是传统应用或稳态应用。对于这类应用而言,首先迁移就会有一定的难度,它们可能是一些商业套装软件,可能跑在非x86架构上;其次,如果将这类应用构建完后,未必会产生很多的回报,可能不需要解决高弹性等性能问题,也不需要敏捷迭代,甚至都不建议花很多的精力和风险来换取回报。云原生时代的新机遇云原生,还将影响各家云厂商对于标准的理解和共识。一是要形成标准。否则不同厂商之间都有一套封闭系统,彼此间将很难进行兼容,且厂商自身也很难做大,企业自身也会面临越来越多的技术孤岛。其二,云原生会推动标准的形成。此前容器Docker之所以流行,是因为它定义了一套从应用打包、封装、运行的一套管理标准,Kubernetes也是建立了一套对容器如何进行编排的一套标准。虽然未来还会有越来越多的技术如Serverless、aPaaS、低代码等,但容器+Kubernetes其实已经解决了很多这些根本性的标准化问题。“这个状态是比较乐观的。”张鑫最后指出。据雷锋网观察,对开放理解的差异,因不同标准组织涉及的商业利益的平衡策略而不同。当下这个市场,竞争局面依然掌握在国际化云厂商的规模经济效益中,如何在技术层面有所突破?在赢家通吃的市场中,一起做开放标准,一起开发开源软件,以抵消市场领导者的优势地位或许才有出路。(雷锋网)雷锋网(公众号:雷锋网)来源“雷锋网”作者 | 杨丽 原文链接 | https://www.leiphone.com/category/industrycloud/hujXWE0khdxN8eCf.html
  • [<HC2021>活动] (获奖名单公布)【HC2021话题屋】#专家坐堂#Serverless和云原生应用一站式高效开发解密,和专家互动得积分抽好礼~
    获奖名单公布kswilad123445Regan Yue恭喜以上开发者,之前未填写获奖信息的开发者,请与11月5日16:00前完成获奖信息填写。为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】活动奖励a. 奖励一:参与互动用户每人获得圆梦积分3分b. 奖励二:在所有参与互动用户中抽取3个幸运奖,奖品为《ModelArts人工智能应用开发指南》书籍1本。专家简介刘毅华为云PaaS服务产品架构师15年软件开发、架构设计从业经验,工作中主要从事大型企业级软件的架构与研发,在金融,医疗等领域具备多个项目的成功实践。持续跟踪 serverless, 云原生等软件开发前沿技术,为开发者提供了丰富的应用开发最佳实践。董鑫武华为云PaaS服务产品布道师23年软件开发、架构设计从业经验,先后从事电信业务支撑系统、企业级软件解决方案设计和应用开发,在智慧城市、智慧园区等领域具备多个项目的成功实践。深耕云原生、低代码等软件开发前沿技术,并应用于开发实践,为企业、高校等各类开发者提供了丰富的应用开发最佳实践。 直播简介     1.如何高效对接华为云服务,API/SDK/CLI工具和代码示例要怎么选择? 2.数字化转型的深入,越来越多的应用将基于云开发和部署,软件需求越来越海量、零碎、善变,而专业的开发人员千金难求。如何高效地开发云原生的应用,解决传统模式开发效率低,上线慢等问题? 3.Serverless技术和应用是业界热点,如何快速开发出Serverless应用? 本次论坛华为云高级专家将为您详细解读 直播亮点1.了解云原生、Serverless应用开发的特点2.熟悉华为云原生、Serverless开发碰到的问题和解决方案3.熟悉云应用、Serverless开发的工具链4. 熟悉对接华为云的API/SDK/CLI、IDE插件等工具的使用5.了解华为云低代码开发平台AppCube应用场景及能力,以及AppCube给传统企业数字化转型带来的价值 直播时间9月25日  15:00活动时间9月22日—10月7日互动方式直播前您可以在本帖留下您感兴趣的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流,我们会在全部活动结束后对参与互动的用户进行抽奖。活动规则本次活动结束后,将由华为云工作人员将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2021年10月25日23:59。3)在HC2021开发者社区系列活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳https://bbs.huaweicloud.com/forum/thread-154048-1-1.html