大数据技术的内涵伴随着传统信息技术和数据应用的发展不断演进，而大数据技术体系的核心始终是面向海量数据的存储、计算、处理等基础技术。支撑数据存储计算的软件系统起源于20世纪60年代的数据库；70年代出现的关系型数据库成为了沿用至今最常用的数据存储计算系统；80年代末，专门面向数据分析决策的数据仓库理论被提出，成为接下来很长一段时间内发掘数据价值的主要工具和手段。2000年前后，面向非结构化数据的NoSQL数据库兴起。2010年前后，对于大量异构数据源进行统一存储使用的需求催生了数据湖概念。同时随着云计算技术的深入应用，大数据技术完成了从私有化部署到云上部署再向云原生的转变。近年来Hudi、Iceberg、Delta Lake三大开源数据湖的面世推动数据湖整体进入产品化阶段。与此同时，与容器、Serverless等云原生技术的深度融合，引领数据湖产品开始走向云原生。云原生数据湖支持异构数据灵活存储、计算资源弹性伸缩，能够帮助企业应对当前数据结构愈发复杂、数据处理分析时效性要求不断提高的业务环境。但云原生数据湖仍处于发展初期，技术路线不统一，业内产品能力良莠不齐。中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会（CCSA TC601），联合腾讯云、阿里云、华为、星环、百度、海康威视、亚信、中国移动云能力中心等企业的二十余位专家共同参与编制完成了《云原生数据湖技术要求与测试方法》，帮助大数据产品供应商及用户方评估云原生数据湖的技术能力和研发方向。本标准在体现存算分离、弹性扩缩容、统一元数据管理等云原生能力的同时，覆盖了云原生数据湖所具备的一系列能力，总体分为存储能力、计算能力、安全能力、数据管理能力、兼容能力、运维能力、湖应用能力、高可用能力八个能力域。目前，中国信通院依据该标准正式启动首批云原生数据湖评测工作，作为“可信大数据”产品能力评测体系的新项目。2022年6月份“大数据产业峰会”上将为通过首批评测的产品颁发证书。欢迎相关单位积极报名参与。

如今，企业面临着指数级递增的海量存储需求，业务也面临更多的热点和突发流量带来的挑战。由于企业需要降本增效，进行更智能的数据决策，传统的商业数据库已经难以满足和响应快速增长的业务诉求。在此背景下，云原生数据库成为大势所趋，不管是老牌的数据库厂商，还是大型云计算企业都在向这一趋势靠拢。全球知名咨询公司Gartner指出，云将主导数据库市场的未来，到2022年，75%的数据库将被部署或迁移至云平台，只有25%的数据库会在本地运行。云化无疑代表了未来，企业如何在云原生架构下使用数据库，就成为必须要思考的问题。云原生数据库正当时云原生数据库，是一种通过云平台进行构建、部署和分发的服务。这种云原生属性是相比于其他类型数据库最大的特点。作为一种云平台，云原生数据库以PaaS的形式进行分发，用户可以将该平台用于多种目的，例如存储、管理和提取数据。云原生数据库通常通过在云基础设施之上安装数据库软件来实现，这种方式使得云原生数据库具备了传统数据库所不具备的直接访问性和运行时可伸缩性。首先是普遍可访问和高可用性。因为云原生数据库是完全存在于云上的，所以可以随时随地从多前端访问，提供云服务的计算节点。因其集群部署在云上，所以单点失败对服务的影响特别小。当需要升级或更换服务的时候，可以对节点进行不中断服务的逐渐升级。其次是高扩展性与可迁移性。云原生数据库会与底层的云计算基础设施分离，所以能够灵活及时的调动资源进行扩容和缩容，从容应对流量激增可能带来的压力，以及流量低谷期因资源过剩造成的浪费。正是因为能够灵活扩缩容，云原生数据库也具备很强的可迁移性，我们甚至可以粗暴的理解为，在新的位置扩容100%，又在旧的位置缩容全部的50%。此外，云原生数据库还具备可监控性和安全性的特征。在传统数据库的黑箱状态下，是无法保证及时处理扩容、节点故障等需求和问题的，但是云原生数据库全盘部署在云上，且各服务之间相互独立，因此可以对应用或服务提供更多层的安全防护，并实现许多新的容错服务。最后是演进式设计与快速迭代。云原生数据库中的各项服务之间是相互独立的，个别服务的更新并不会对其他部分产生不利影响，而不是一旦出了问题就只能全场熄火。此外，云原生的研发测试和运维工具是高度自动化的，这使得应用的更新会更加快速频繁。下一代云原生数据库架构近十年是数据库市场发展最快的十年。根据Gartner的数据，目前数据库市场营收已经达到整个软件市场的18.4%，而云数据库贡献了其中的68%。特别是近几年，云原生数据库的理念为市场和各大云厂商所认可，各大厂商纷纷在自研云原生数据库领域持续发力，未来的云数据库市场是自研云原生数据库之间的竞争。在云原生数据库领域，AWS于2014年推出的Aurora是先行者。国内厂商也不甘落后，阿里云在2017年推出了PolarDB，腾讯云在2018年推出了CynosDB，华为云在2020年推出了GaussDB for MySQL。各大厂商都希望基于成熟的基础设施“云”化技术，解决传统数据库架构上的短板。尽管云原生数据库的出现，很好地解决了传统架构数据库的诸多缺陷，如：数据问题回档慢、维护成本高、可用性低、故障恢复慢等，让企业能够更高性能且灵活地访问数据。但不可否认的是，云原生数据库才刚刚走出了第一步。首先是实现了存储和计算分离，打破了存储的单机限制，使得存储独立弹性成为可能，并为后续的一写多读集群奠定了基础。其次是基于分布式共享存储的一写多读架构，使得数据库的读能力可以快速Scale Out，同时由于多个读节点和写节点共享同一份存储，降低了成本，提升了资源利用率。虽然当前的云原生架构解决了存储的弹性问题和读扩展问题，极大的提升了云原生数据库的弹性和扩展能力，但是依然存在两个比较大的瓶颈点，即内存弹性和单点写入问题。因此，阿里云数据库的总负责人、达摩院数据库首席科学家李飞飞认为，下一代云原生数据库架构将在以下两个方向实现突破：基于CPU和内存分离的分布式共享内存池当前的云原生架构虽然实现了存储和计算分离，存储独立弹性，但是计算节点仍然包含了CPU和内存，无法真正实现秒级弹性扩容和Serverless。因此在云原生数据库中实现CPU和内存分离，内存独立弹性非常有必要。同时CPU和内存分离可以让多个CPU共享同一份内存，降低内存资源开销。基于分布式共享内存池的多点可写技术当前一写多读的云原生架构，虽然实现了读能力的扩展，但是写能力仍然受到单机的限制，无法扩展。而采用分库分表的分布式数据库扩展，又会牺牲兼容性，需要应用感知和改造。多写架构主要困难在于信息交互的低效，导致线性扩展性低下。在CPU和内存分离以后，多个CPU可以共享同一个内存池来交换页面信息和事务信息，同时结合高性能RDMA网络和NVM，使得高性能多写架构成为可能。未来的云原生分布式数据库随着企业业务更加数字化、智能化，企业面临的数据存储量将会更加巨大，面临着更多突发状况带来的挑战。据IDC预测，2025年，三分之二的企业将会每天都发布软件版本，通过敏捷的开发能力来实现创新与交付，以形成差异化的市场竞争力。在这样的商业趋势下，数据库就需要全面进入云原生+分布式的时代，实现智能升级，充分释放云计算红利。所谓的分布式，是面向业务扩展而出现的一个概念，而分布式数据库，就是为了解决存储可扩展性的一类数据库。它是由多个相互连接的数据库组成，这些数据库分布在各个数据中心，通过中央服务器进行通信，然后组合在一起形成一个面向用户的单个数据库。基于Shared Nothing的架构，分布式数据库能够实现数据的水平分片、水平扩展。而云原生数据库是基于Shared Everything + Shared Storage 的存储计算分离架构，能够实现资源池化高效管理。因此，云原生数据库的优势+分布式数据库的效率，可以将两者的特性完美结合，代表了一种未来的解决方案。事实上，云原生和分布式如今已经融为一体。如果底层基础设施全部云化，人们思考技术问题的角度自然变成“云原生”角度。正如华为轮值董事长徐直军所说，随着云原生应用深入企业各个业务场景，云原生正在走向分布式，满足跨云跨地域统一协同治理、保证一致应用体验等新需求。未来，将云原生与分布式结合起来，全新的云原生分布式架构的数据库将具备高扩展性、易用性、迭代快速、成本降低等特点，具体而言：高扩展性云原生分布式数据库与底层的云计算基础设施分离，所以能够灵活及时调动资源进行扩容缩容，以从容应对流量激增带来的压力，以及流量低谷期因资源过剩造成的浪费。生态兼容的特点，也让云原生数据库具备很强的可迁移性。易用性云原生分布式数据库非常易于使用，它的计算节点在云端部署，可以随时随地从多前端访问。因其集群部署在云上，通过自动化的容灾与高可用能力，单点失败对服务的影响非常小。当需要升级或更换服务时，还可以对节点进行不中断服务的轮转升级。快速迭代云原生分布式数据库中的各项服务之间相互独立，个别服务的更新不会对其他部分产生影响。此外，云原生的研发测试和运维工具高度自动化，也就可以实现更加敏捷的更新与迭代。节约成本建立数据中心是一项独立而完备的工程，需要大量的硬件投资以及管理和维护数据中心的专业运维人员。此外，持续运维会造成很大的财务压力。云原生分布式数据库以较低的前期成本，获得一个可扩展的数据库，实现更优化的资源分配。结语应用程序和软件开发正在经历一场云原生的变革，从编排、管理到分析，所有的东西都开始在云上从头构建。由于在功能和可靠性上优于传统数据库，再加上增强的可伸缩性，云原生分布式数据库无疑代表了数据库的未来。可以预见，谁能够把云原生和分布式技术结合得更加完美，谁就会在未来的市场竞争中占得先机。文章来源：https://www.fromgeek.com/itcloudbd/459896.html

直播主题：企业级SaaS能力构建，云原生赋能数字化创新直播时间：2022年1月6日16:00直播嘉宾：汉得信息副总裁&甄合科技CEO 刘福东专家答疑：云原生技术如何赋能企业数字化？企业级SaaS如何承载数字化战略落地？企业级数字化创新平台的构建思路？>>>点击报名<<<VIP专家交流群

直播主题：企业级SaaS能力构建，云原生赋能数字化创新直播时间：2022年1月6日16:00直播嘉宾：汉得信息副总裁&甄合科技CEO 刘福东专家答疑：云原生技术如何赋能企业数字化？企业级SaaS如何承载数字化战略落地？企业级数字化创新平台的构建思路？>>>点击报名<<<观看链接：VIP专家交流群

【摘要】 华为云沃土认证，方案分享，沃趣科技QFusion云原生数据库平台获华为鲲鹏&沃土云创认证本文分享自华为云社区《【沃土认证--方案分享】沃趣科技QFusion云原生数据库平台获华为鲲鹏&沃土云创认证 》，作者DTSEDeveloper近日，沃趣科技面向创新生态的云原生数据库运维管理平台沃趣QFusion v3.12获鲲鹏Compatible和Enabled认证。沃趣科技联合中原鲲鹏生态创新中心，推出基于ARM CPU 架构的云原生数据库运维管理平台产品QFusion v3.12，在帮助客户实现数据库自主可控的同时，为客户数据库上云，进行多类型数据库运维管理和跨云部署等实际业务场景，提出了切实可行的解决方案。此次通过鲲鹏认证的QFusion云原生数据库运维管理平台，是沃趣科技基于Docker和Kubernetes技术,全栈自主研发的，数据库即服务（DBaaS）云原生产品。在平台内提供MySQL/PostgreSQL/Redis/MongoDB/达梦/GaussDB/TiDB等多类型数据库的全生命周期管理服务，支持快捷安装部署，帮助企业更全面的管理数据库，提升业务敏捷度，轻松实现云化管理。作为华为OSC首批生态合作伙伴，沃趣科技已与鲲鹏生态深度对接，将全线数据库即服务整合到了华为-云原生应用市场。在中原鲲鹏生态创新中心此次部署认证的方案，更是充分利用了产品架构优势,结合华为云高阶服务云容器引擎CCE和云数据库GaussDB，更强劲的发挥了产品性能，并完全适配鲲鹏版国产数据库：达梦、TiDB和GaussDB，在数据库生态信创领域拥有不可替代的技术优势。目前，ARM版本的QFusion已完成与鲲鹏服务器的适配，除了基础的弹性云服务器ECS兼容适配之外，在中原鲲鹏创新中心的大力推荐和支持下，QFusion本次适配特别与华为云容器引擎CCE进行深度结合，进行集群的容器化部署与自动运维，完成易用性、实用性与性能的全面飞跃。未来并会将云容器引擎CCE作为QFusion的核心部署场景，主要看中了CCE的以下四个特点：1.简单易用通过WEB界面一键创建Kubernetes集群，支持管理虚拟机节点或裸金属节点，支持虚拟机与物理机混用场景。一站式自动化部署和运维容器应用，整个生命周期都在容器服务内一站式完成。通过Web界面轻松实现集群节点和工作负载的扩容和缩容，自由组合策略以应对多变的突发浪涌。通过Web界面一键完成Kubernetes集群的升级。深度集成应用服务网格和Helm标准模板，真正实现开箱即用。2.高性能基于华为在计算、网络、存储、异构等方面多年的行业技术积累，提供业界领先的高性能云容器引擎，支撑您业务的高并发、大规模场景。采用高性能裸金属NUMA架构和高速IB网卡，AI计算性能提升3-5倍以上。3.安全可靠高可靠：集群控制面支持3 Master HA高可用，3个Master节点可以处于不同可用区，保障您的业务高可用。集群内节点和工作负载支持跨可用区（AZ）部署，帮助您轻松构建多活业务架构，保证业务系统在主机故障、机房中断、自然灾害等情况下可持续运行，获得生产环境的高稳定性，实现业务系统零中断。高安全：私有集群，完全由用户掌控，并深度整合华为云帐号和Kubernetes RBAC能力，支持用户在界面为子用户设置不同的RBAC权限。4.开放兼容四个特点。云容器引擎在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。云容器引擎基于业界主流的Kubernetes实现，完全兼容Kubernetes/Docker社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。沃趣科技致力于提供更高效 、更稳定、更便捷的云原生数据库应用服务，进一步提升沃趣云原生数据库平台在国产助力各行业实现全面云化的能力，让数据库云延伸至业务领域需求最大的地方，为客户提供最优质高效的国产化数据库云解决方案。友情链接：开发者技术支持社区：https://bbs.huaweicloud.com/forum/forumdisplay-fid-1175-orderby-lastpost.html博客主页专区：https://bbs.huaweicloud.com/community/usersnew/id_1612437390514409技术支持提单平台：https://support.developer.huaweicloud.com/feedback/#/

>摘要：在云原生2.0阶段，我们到底需要构建一个什么样的架构？华为云首席架构师为你一一解答。本文分享自华为云社区[《华为云首席架构师独家分享：云原生2.0架构设计的8大关键趋势》](https://bbs.huaweicloud.com/blogs/314122?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content)，作者：技术火炬手。 云原生2.0是企业智能升级新阶段，企业的云化从“ON Cloud”走向“IN Cloud”，当一切应用都生于云，长于云，云架构的迭代也会进入一个新的阶段。 围绕云原生2.0，**华为云首席架构师顾炯炯提出了8个关键模式：** 分布式云，混合调度，应用驱动基础设施，存算分离与数据治理自动化，可信、平民化DevOps，基于软总线的异构集成，多模态可迭代AI模型，全方位立体式云安全。 # 分布式云 随着云化和数字化渗透到制造类、工业互联网类场景，5G技术在to B领域应用的快速成熟，以及物联网 、AI技术的成熟，现在云的服务对象不仅是企业的后台IT支撑系统，它延伸到了前端的“现场”，类似于工业场景里的近场计算。如果还是将所有的数字化应用系统都放在集中的数据中心，它的时延无法满足实时生产系统的要求。 另外，有一些行业的敏感数据不能从现场或者数据产生地直接简单的上传到云端，它存在数据安全、隐私保密的问题。再比如医疗里的基因大数据、视频监控等场景，如果所有数据都上传到云端，带宽的成本非常高昂。 所以，我们必须要**引入云边端协同的分布式概念，构建分布式云的架构。** 这个架构可以和核心侧架构配合，覆盖核心区域、热点区域、本地机房、业务现场等不同接入时延敏感度，数据隐私合规要求及数据上云带宽成本的应用上云场景。 举个例子，通过这样的方式，可以把云端的很多算力和计算逻辑，甚至是训练好的AI模型推送到更加靠近用户数据产生地的位置上，进行就近的计算，将海量的数据做一定的收敛、分析、脱敏等，再发送到云端进行闭环的处理和控制反馈。 # 混合调度 在很多算法专家的努力下，华为云通过瑶光调度平台大大提高了资源的分配效率，达到甚至超过了80~90%的程度，已经接近于业界的领先水平。但是资源的实际利用率仍然处在一个比较低的水平，当然业界平均也不是特别理想，领先者差不多20%左右。为了解决这样的问题，**华为云引入混合调动、柔性计算的能力，将在线和离线的不同优先级的业务，进行QoS感知的智能调用，实现资源利用率最大化。** 柔性计算不仅仅具备弹性的特征，保证了横向的资源扩展，而且它也能实现纵向资源规格的可大可小。目前，消费者云已经在内部验证了柔性计算的能力，可以在不改变上层业务的前提下提高利用率，实现性能的倍增。关于柔性计算的更多内容参考 华为云首席架构师顾炯炯：[敢为人先，探索架构创新之路如何走。](https://bbs.huaweicloud.com/blogs/314131) # 应用驱动的基础设施 如今，软硬件的垂直整合，特别是靠近操作系统底层的硬件和云服务基础设施层的服务软件之间的纵向整合能力，成为新的趋势，它把基础设施服务底层的硬件和相应的服务封装层打包在一起。 云服务厂商可以设计研发定制芯片，比如存储和网络的硬件卸载的芯片、匹配深度学习逻辑处理框架的芯片等等。如果有能力构建这样的软硬件垂直整合的能力，就能拥有相比其他云服务商更优的价格优势，也得以呈现自身独特的硬件、芯片优势。 有了应用驱动的基础设施之后，**根据应用的性能SLA需求，来定义是使用与软件完全解耦的通用硬件资源，还是匹配应用场景特殊诉求的软硬件深度协同的卸载卡或异构计算资源。** 这也能发挥华为软硬件兼长的优势，我们在硬件领域有不少核心创新：**一个是 SDI**， 叫软件驱动的基础设施，也就是把分布式存储\分布式网络，还有Hypervisor的一些系统能力从服务器卸载到PCI卡上，也即SDI/擎天卸载卡。二是**鲲鹏硬件支撑云存储和数据湖的处理**， 鲲鹏单核处理能力虽弱于X86，但核密度则达到X86 CPU的2倍，因此在对IO及内存带宽作为其性能瓶颈的大数据及分布式存储场景，是比X86更好的选择。同时，我们也在用自研的**昇腾NPU取代GPU构建AI平台**， 它在深度学习的训练推理中体现出更高的能效比。 # 存算分离和数据治理的自动化 未来企业的所有的数据孤岛都将汇聚到云端的数据湖，进行统一生命周期的治理和管理，所以必须要解决数据计算分析的资源需求。数据湖里有各种各样的结构化、半结构化、非结构化的数据，**但这些数据的分析计算和底层的存储容量之间的需求，并不是线性匹配的关系。** 比如对于深度学习的场景，数据量需要不断的计算迭代，它需要更多的计算能力，相对较少的存储需求。因此在不同的业务场景下，数据分析计算和存储的要求是不一样的，最终一定要走向存算分离。 在存算分离领域里面，华为云已经积累优势，从最早的去中心化的分布式存储引擎FusionStorage开始，七年磨一剑，我们从内部验证到向外部的推广，从块存储延伸到对象存储、文件存储、分布式的集群数据库，把原先在开源架构里五花八门的底层存储技术引擎架构实现了统一。经过实际的测试，在业界同样支持存算分离数据湖架构的云场景中，华为云体现了领先30-60%以上性能优势。 **再就是数据治理自动化。** 现在的数据治理的还是人力密集型工作，整个过程非常低效，很难满足很多行业的要求。所以在这个架构模式里面，除了存算分离的数据库，还要构建数据治理自动化。 通过引入AI的技术，将数据的获取、清洗以及最终数据知识的提取，主题库的建立、数据目录的发布，都实现完全的自动化。用户只需要指定入湖的数据源和所属业务主题域，系统自动化创建入湖任务，底层资源根据入湖数据量自动扩缩容，智能完成入湖数据的安全等级、分级分类、隐私等级等数据标签的自动识别打标。这个能力对企业数据资产的快速沉淀能力的构建是至关重要的。 # 可信、平民化DevOps **通过将一系列安全可信措施嵌入到敏捷开发运维模式，** 构建所谓的DevSecOps流水线，实现敏捷快速迭代与严格质量管控兼顾；并**通过低代码/无代码实现更多行业应用资产的沉淀**， 将行业应用的开发效率再上一个新台阶。 Devops实现了应用的敏捷开发，但在面向政企时，还需要满足应用质量和安全可信的要求。因此在遵循DevOps的同时，将安全能力集成到其中，升级成为DevSecOps。使用安全左移、默认安全、运行时安全、安全服务自动化/自助化、基础设施即代码（IaC）等技术， 实现管理与协同、设计与开发、CI/CD、应用管理、运维、安全可信等各个环节的一体化趋势。 此外，由于传统政企开发投入有限，需要通过低码化无码化，来实现对应用进行快速构建及改造。华为云低代码平台AppCube可支持多种页面类型和丰富的组件能力，基于它的服务能力编排和业务流程无代码定制，可实现灵活流程触发方式、多种权限配置方式、自定义业务编排等。 # 基于软件总线的异构集成 即帮助企业**构建可平滑演进的IT架构**， 实现老旧应用与新建云原生应用，线上与线下应用的平滑融合集成。 云原生下，企业很多应用都要进行微服务解耦，遵从微服务的治理架构，进行水平扩展的架构的设计，甚至把原来的单体架构逐步进行拆解。但这个过程不是一蹴而就的，尤其是那些包袱比较重的传统行业，他们还面临很多现实的挑战。所以我们要在企业传统IT架构和云原生架构之间搭建无缝的桥梁，在确保企业业务连续性最大化的前提下，实现平滑的切换和演进。 以Roma Connect为例，它可以通过软总线的形式，把云原生和非云原生的传统世界无缝的连接起来，支持异构的应用和数据库源的对接，也可以对接到云上开发平台、数据湖，实现无缝互通。 在架构的平滑演进中，首先需要将传统非云原生应用封装为REST接口与云原生应用对接，通过统一接口服务层APIC进行开放，业务云原生应用通过标准接口即可获取老系统信息。同样的机制可以将线上线下，及部署在多云环境上企业IT系统的无缝互通。 其次传统Oracle/Sybase等传统数据库及中间件与设备协议接入上云：云上云原生应用通过云上标准API调用、数据库访问、消息订阅等方式即可获取传统数据。 最后，通过全生命周期的API管理能力，包含从设计、发布、上架、治理的全过程，帮助企业构建整个跨地域，跨组织、跨部门的应用网络，并沉淀行业应用资产。 # 多模态可迭代的AI模型 AI在行业落地面临的问题是能够获取到的训练数据是非常有限的，单纯的依赖数据驱动的深度学习训练，使得行业AI模型是非常难以泛化、通用化。 预训练大模型是解决AI应用开发定制化和碎片化的重要方法。 通过一个AI大模型实现在众多场景通用、泛化和规模化复制，减少对数据标注的依赖，赋能AI开发由作坊式转变为工业化开发，比如华为云之前推出的盘古大模型。 另外也要**引入知识计算的能力**， 类似于把知识图谱这样的能力和基于感知计算的数据驱动的AI模型互补结合起来。也就是说把知识模型和数据模型，在数据样本相对缺少的情况下结合在一起，更好服务于行业AI的落地。帮助企业打造自己的知识计算平台，整合分散在不同系统、多种形态的企业数据，形成带有建议性的知识体系。 # 全方位的立体式云安全 1.0阶段的云安全服务更多的是孤立的安全能力：虚拟化安全，hyporvisor防逃逸能力，云防火墙能力其实都是割裂的，并没有跟所有的云服务形成互锁。 **全方位的立体式运营安全通过打通离散的云安全服务能力，将其与其他云服务及客户应用形式互锁**， 构建安全Build-in的云原生应用，以及引入可信智能计算，解决跨行业数据隐私保护与流通碰撞、价值挖掘之间的矛盾。 首先通过可信智能计算提供四个核心能力，进行安全可信的数据计算。包括： 1、跨组织、跨行业的多方数据融合分析和多方横向与纵向联邦学习建模； 2、支持对接主流数据源和深度学习框架； 3、支持安全多方计算（例如同态加密，差分隐私等），并支持用户自定义隐私策略； 4、基于区块链的数据计算轨迹的可追溯可审计。 此外，为了全方位安全，还需要将全栈云（及其子集）下沉部署（连线/非连线），彻底解决敏感行业上云安全顾虑，以及将全栈云服务、企业新开发云原生应用、aPaaS/SaaS等与全栈云安全能力互锁，为用户构建体系化的云安全平台。

>摘要：K8s正在向边缘计算渗透，它为边缘侧的应用部署提供了便利性，在一定程度上转变了边缘应用与硬件之间的关系，将两者的耦合度降低。 本文分享自华为云社区[《云原生在物联网中的应用【拜托了，物联网！】》](https://bbs.huaweicloud.com/blogs/301069?utm_source=zhihu&utm_medium=bbs-ex&utm_campaign=iot&utm_content=content)，作者： kaliarch。 # 前言 物联网已经产生了数量惊人的数据，随着5G网络的部署，这些数据将呈指数级增长。管理和使用这些数据是一个挑战。 无论是从交通摄像头、气象传感器、电表等会产生信息，这些信息与智能城市环境中，其他摄像头和传感器的数据相结合，在一个中心位置处理起来可能会太多，尤其是当你在预期设备会对事件做出反应时。 超大规模云计算环境中已被普遍使用的Kubernetes（简称K8s），带入到物联网边缘计算场景中。新成立的Kubernetes物联网边缘工作组将采用运行容器的理念并扩展到边缘，促进K8s在边缘环境中的适用。 - 支持将工业物联网IoT的连接设备数量扩展到百万量级，既可支持IP设备以直连方式接入K8s云平台，又可支持非IP设备通过物联网网关接入。 - 利用边缘节点，让计算更贴近设备侧，以便减少延迟、降低带宽需求和提高可靠性，满足用户实时、智能、数据聚合和安全需求： - 将流数据应用部署到边缘节点，降低设备和云平台之间通信的带宽需求。 - 部署无服务器应用框架，使得边缘侧无需与云端通讯，便可对某些紧急情况做出快速响应。 - 在混合云和边缘环境中提供通用控制平台，以简化管理和操作。 # 一 背景  ## 1.1 KubeEdge简介 KubeEdge 是一个开源的系统，可将本机容器化应用编排和管理扩展到边缘端设备。 它基于Kubernetes构建，为网络和应用程序提供核心基础架构支持，并在云端和边缘端部署应用，同步元数据。KubeEdge 还支持 **MQTT** 协议，允许开发人员编写客户逻辑，并在边缘端启用设备通信的资源约束。KubeEdge 包含云端和边缘端两部分。 ## 1.2 KubeEdge特点 **边缘计算** 通过在边缘端运行业务逻辑，可以在本地保护和处理大量数据。KubeEdge 减少了边和云之间的带宽请求，加快响应速度，并保护客户数据隐私。 **简化开发** 开发人员可以编写常规的基于 http 或 mqtt 的应用程序，容器化并在边缘或云端任何地方运行。 **Kubernetes 原生支持** 使用 KubeEdge 用户可以在边缘节点上编排应用、管理设备并监控应用程序/设备状态，就如同在云端操作 Kubernetes 集群一样。 **丰富的应用程序** 用户可以轻松地将复杂的机器学习、图像识别、事件处理等高层应用程序部署到边缘端。 # 二 KubeEdge简介 ## 2.1 KubeEdge架构  ## 2.2 架构详解 ### 2.2.1 云上部分 - CloudHub: CloudHub 是一个 Web Socket 服务端，负责监听云端的变化, 缓存并发送消息到 EdgeHub。 - EdgeController: EdgeController 是一个扩展的 Kubernetes 控制器，管理边缘节点和 Pods 的元数据确保数据能够传递到指定的边缘节点。 - DeviceController: DeviceController 是一个扩展的 Kubernetes 控制器，管理边缘设备，确保设备信息、设备状态的云边同步。 ### 2.2.2 边缘部分 - EdgeHub: EdgeHub 是一个 Web Socket 客户端，负责与边缘计算的云服务（例如 KubeEdge 架构图中的 Edge Controller）交互，包括同步云端资源更新、报告边缘主机和设备状态变化到云端等功能。 - Edged: Edged 是运行在边缘节点的代理，用于管理容器化的应用程序。 - EventBus: EventBus 是一个与 MQTT 服务器（mosquitto）交互的 MQTT 客户端，为其他组件提供订阅和发布功能。 - ServiceBus: ServiceBus是一个运行在边缘的HTTP客户端，接受来自云上服务的请求，与运行在边缘端的HTTP服务器交互，提供了云上服务通过HTTP协议访问边缘端HTTP服务器的能力。 - DeviceTwin: DeviceTwin 负责存储设备状态并将设备状态同步到云，它还为应用程序提供查询接口。 - MetaManager: MetaManager 是消息处理器，位于 Edged 和 Edgehub 之间，它负责向轻量级数据库（SQLite）存储/检索元数据。 # 三 实战部署 ## 3.1 keadm部署 注意事项： - 目前支持keadmUbuntu 和 CentOS 操作系统。RaspberryPi 支持正在进行中。 - 需要超级用户权限（或 root 权限）才能运行。 ### 3.1.1 设置云端（KubeEdge 主节点） 默认情况下10000，10002边缘节点需要可以访问 Cloudcore 中的端口和端口。 keadm init将安装 cloudcore，生成证书并安装 CRD。它还提供了一个可以设置特定版本的标志。 **重要说明：** 1. kubeconfig 或 master 中至少一个必须正确配置，以便用于验证 k8s 集群的版本和其他信息。1.请确保边缘节点可以使用云节点的本地IP连接云节点，或者您需要使用--advertise-address标志指定云节点的公共IP 。1. --advertise-address（1.3版本后才有效）是云端暴露的地址（会加入到CloudCore证书的SAN中），默认值为本地IP。 例子： `keadm init --advertise-address="THE-EXPOSED-IP"(only work since 1.3 release)` 输出： Kubernetes version verification passed, KubeEdge installation will start... ... KubeEdge cloudcore is running, For logs visit: /var/log/kubeedge/cloudcore.log ### 3.1.2 设置边缘端（KubeEdge 工作节点） - 从云端获取令牌 keadm gettoken在**云端**运行将返回令牌，该令牌将在加入边缘节点时使用。 keadm gettoken 27a37ef16159f7d3be8fae95d588b79b3adaaf92727b72659eb89758c66ffda2.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1OTAyMTYwNzd9.JBj8LLYWXwbbvHKffJBpPd5CyxqapRQYDIXtFZErgYE - 加入边缘节点 keadm join将安装 edgecore 和 mqtt。它还提供了一个可以设置特定版本的标志。 例子： `keadm join --cloudcore-ipport=192.168.20.50:10000 --token=27a37ef16159f7d3be8fae95d588b79b3adaaf92727b72659eb89758c66ffda2.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE1OTAyMTYwNzd9.JBj8LLYWXwbbvHKffJBpPd5CyxqapRQYDIXtFZErgYE` - **重要说明：** 1. --cloudcore-ipportflag 是强制性标志。1. 如果要自动为边缘节点申请证书，--token则需要。1.云端和边缘端使用的kubeEdge版本要一致。 输出： Host has mosquit+ already installed and running. Hence skipping the installation steps !!! ... KubeEdge edgecore is running, For logs visit: /var/log/kubeedge/edgecore.log ## 3.2 二进制部署 注意事项： - 需要超级用户权限（或 root 权限）才能运行。 ### 3.2.1 设置云端（KubeEdge 主节点） - 创建 CRD kubectl apply -f https://raw.githubusercontent.com/kubeedge/kubeedge/master/build/crds/devices/devices_v1alpha2_device.yaml kubectl apply -f https://raw.githubusercontent.com/kubeedge/kubeedge/master/build/crds/devices/devices_v1alpha2_devicemodel.yaml kubectl apply -f https://raw.githubusercontent.com/kubeedge/kubeedge/master/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml kubectl apply -f https://raw.githubusercontent.com/kubeedge/kubeedge/master/build/crds/reliablesyncs/objectsync_v1alpha1.yaml - 准备配置文件 `cloudcore --minconfig > cloudcore.yaml` 详情请参考云配置。 - 运行 ` cloudcore --config cloudcore.yaml` ### 3.2.2 设置边缘端（KubeEdge 工作节点） #### 3.2.2.1 准备配置文件 - 生成配置文件 `edgecore --minconfig > edgecore.yaml` - 在云端获取代币值： `kubectl get secret -nkubeedge tokensecret -o=jsonpath='{.data.tokendata}' | base64 -d` - 更新 edgecore 配置文件中的令牌值： `sed -i -e "s|token: .*|token: ${token}|g" edgecore.yaml` 这token就是上面步骤得到的。 详情请参考edge的配置。 #### 3.2.2.2 运行 如果要在同一台主机上运行 cloudcore 和 edgecore，请先运行以下命令： export CHECK_EDGECORE_ENVIRONMENT="false" 启动边缘核： `edgecore --config edgecore.yaml` 运行edgecore -h以获取帮助信息并根据需要添加选项。 # 四 反思 K8s正在向边缘计算渗透，它为边缘侧的应用部署提供了便利性，在一定程度上转变了边缘应用与硬件之间的关系，将两者的耦合度降低。通过KubeEdge，拓展“边缘场景”，可帮助用户加速实现云边协同，在海量边、端设备上完成大规模应用的统一交付、运维与管控。 据Gartner估计，到2025年，超过75%的企业生成数据可以在传统数据中心和云之外创建和处理，像Kubernetes这样的编排系统前景光明，它已经被证明是完成这一任务的最佳工具。 # 参考资料 - kubeedge/README_zh.md at master · kubeedge/kubeedge · GitHub - https://www.cncf.io/blog/2020/09/25/kubernetes-could-be-the-one-to-make-the-internet-of-things-iot-reach-its-potential/

>摘要：CNCF（云原生计算基金会）正式接纳由华为云贡献的多云容器编排项目Karmada，迎来CNCF首个多云容器编排项目。 本文分享自华为云社区[《华为云开源的Karmada正式成为CNCF首个多云容器编排项目》](https://blog.csdn.net/devcloud/article/details/120566049?spm=1001.2014.3001.5501)，作者：华为云开发者社区 北京时间9月15日，CNCF（云原生计算基金会）正式接纳由华为云贡献的多云容器编排项目Karmada（https://github.com/karmada-io/karmada），迎来CNCF首个多云容器编排项目。Karmada 项目的加入，将CNCF的云原生版图进一步扩展至分布式云领域。 华为云在技术上一直积极回馈社区，已开源了以智能边缘项目KubeEdge和批量计算项目Volcano为代表的一系列云原生项目。Karmada项目由华为云、工商银行、小红书、中国一汽等8家企业联合发起，沉淀了各企业在多云管理领域的丰富积累，为开发者提供详实有效的实践指导与帮助，使用Karmada，可以构建无极可扩展的容器资源池，让开发者像使用单个Kubernetes集群一样使用多云集群。 # Karmada介绍 随着企业业务的快速发展，多云也逐步成为数据中心建设的基础架构，多区域容灾与多活、大规模多集群管理、跨云弹性与迁移等场景推动云原生多云相关技术的快速发展。 然而，在实际的生产落地过程中，云原生的多云仍面临如下挑战： - 集群繁多的重复劳动：运维工程师需要应对繁琐的集群配置、不同云厂商集群间的管理差异以及碎片化的API访问入口等问题； - 业务过度分散的维护难题：应用在各集群的差异化配置繁琐；业务跨云访问以及集群间的应用同步难以管理； - 集群的边界限制：应用的可用性受限于集群；资源调度、弹性伸缩受限于集群； - 厂商绑定：业务部署的黏性问题，缺少自动化故障迁移；缺少中立的开源多云容器编排项目。 Karmada结合了华为云多云容器平台MCP以及Kubernetes Federation核心实践，并融入了众多新技术：包括Kubernetes原生API支持、多层级高可用部署、多集群自动故障迁移、多集群应用自动伸缩、多集群服务发现等，并且提供原生Kubernetes平滑演进路径，让基于Karmada的多云方案无缝融入云原生技术生态，为企业提供从单集群到多云架构的平滑演进方案。  Karmada项目全景 # 生态合作 Karmada项目由华为云、工商银行、浦发银行、小红书、VIPKID、趣头条、中国一汽和T3出行联合发起，于2021年4月25日在华为开发者大会（HDC.Cloud）2021上正式宣布开源。Karmada自开源以来受到了广泛的关注和支持，目前已有30+大型企业/机构/高校参与社区开发及贡献。 >Karmada项目源自华为云多云容器平台MCP，同时融入了工商银行、小红书、中国一汽等不同行业客户在多云管理方面的经验，可以为各企业提供详实有效的落地指导与帮助，企业通过Karmada构建跨云、跨数据中心的无极可扩展的应用资源池，可以像管理单个Kubernetes集群一样简单、便捷的管理不同云、不同数据中心里的集群与应用。——华为云CTO 张宇昕>在社区贡献方面，工商银行作为 Karmada项目的头部参与单位，结合工行多年来多容器集群管理的经验，已在集群生命周期管理、核心调度控制器等核心模块进行深度定制化的开发。后续，工行将持续参与Karmada 社区的开发和管理工作，计划在多集群自动调度、多集群自动伸缩等模块继续深入研究及贡献，反哺开源社区，持续扩大业界影响力。——工商银行软件开发中心专家 鲁金彪>集团型企业同时存在多个混合容器的复杂场景，跨多云技术架构的运维难题日益突出。华为Karmada作为多集群、多云及混合云的集中化、兼容原生Kubernetes API接口的管理架构，有效解决目前容器编排多集群、多环境无法集中式管理、安全隔离机制不健全等痛点。希望Karmada在加入CNCF后，通过社区的共同维护与贡献，不断壮大其功能。期待Karmada早日从CNCF毕业，反哺云原生生态。——一汽体系数字化部技术运营主任 王广>Karmada原生兼容Kubernetes API的能力，可以不加改造地对接现有Kubernetes生态。在落地实践过程中，我们使用Karmada对接了现有的GitOps生态，极大提高了应用跨集群部署的效率。 ——VIPKID运维总监 谷玉虎>Karmada提供丰富的多集群调度策略以及开箱即用的内置策略集，可以极大的简化两地三中心、异地容灾和同城双活架构下的系统复杂性，这对于金融行业至关重要。 ——浦发银行云转型处处长 吕炳刚 # 未来可期 目前，Karmada已在华为云多云容器平台（Multi-Cloud Container Platform，MCP）商用，提供分布式云解决方案，提供跨云的多集群统一管理、应用统一部署及流量分发等关键能力。 除MCP以外，Karmada已在数十家来自金融、互联网、教育等企业中落地。 此次CNCF正式将Karmada接纳为云原生领域首个多云容器编排项目，将极大促进Karmada上下游社区生态构建及合作，吸引广大云原生企业用户深度参与，Karmada将在多集群应用管理、服务治理、高可用部署等领域发挥越来越重要的作用，华为云也将在云原生领域持续耕耘、持续引领创新、繁荣生态，助力各行业走向快速智能发展之路。

此贴为《华为云原生大数据serverless服务DLI》课后操作任务打卡专用查看更多操作任务请点击：》》点击前往《《查看全部活动任务&信息请点击：》》点击前往《《按要求完成考核打卡可获得活动积分  +20积分》》参与活动前请先点击这里报名活动《《本实验逻辑ecs用来模拟数据流流式数据通过kafka接入DLI进行流式数据分析DLI分析后的数据结果存在rds参与考核中可能会存在使用产品的情况，请提前领取课程专属免费试用：（1）https://activity.huaweicloud.com/Date-free.html（2）https://activity.huaweicloud.com/free_test/index.html领取时请注意数据中心节点与实验要求一致！！！推荐  华南-广州 实验请联系小助手开通白名单提供信息：截图中的 我的凭证-API凭证-项目ID&所属区域【项目ID】↓联系小助手企业微信↓ 操作考核方式：《华为云原生大数据serverless服务DLI》课后操作任务用户前往 》》课程报名《《 课程，并按照操作文档进行操作，按照指导完成实验，最后按照要求截图+华为云账号回复至本帖内，视为完成任务。在步骤6中项目名称使用此贴右上角华为云账号昵称需要截图截出步骤7中的结果，并显示用户名称，无名称则无效将截图回复至本帖活动规则：a. 回复非按要求的图片，视为无效楼层。b.按照规定完成打，并按照规定将帖子截图回复到本帖可获得20积分课程积分完成三个操作任务并对应回复截图后，可获得实体证书请在此问卷中登记信息：https://devcloud.huaweicloud.com/expertmobile/qtn?id=bcdc4692db4a48f5808bce295ebd0666更多活动信息请查看：https://bbs.huaweicloud.com/forum/thread-166386-1-1.html

>摘要：遥感影像，作为地球自拍照，能够从更广阔的视角，为人们提供更多维度的辅助信息，来帮助人类感知自然资源、农林水利、交通灾害等多领域信息。本文分享自华为云社区[《AI+云原生，把卫星遥感虐的死去活来》](https://bbs.huaweicloud.com/blogs/296183?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content)，作者：tsjsdbd。 # AI牛啊，云原生牛啊，所以1+1>2？ 遥感影像，作为地球自拍照，能够从更广阔的视角，为人们提供更多维度的辅助信息，来帮助人类感知自然资源、农林水利、交通灾害等多领域信息。 AI技术，可以在很多领域超过人类，关键是它是自动的，省时又省力。可显著提升遥感影像解译的工作效率，对各类地物元素进行自动化的检测，例如建筑物，河道，道路，农作物等。能为智慧城市发展&治理提供决策依据。  云原生技术，近年来可谓是一片火热。易构建，可重复，无依赖等优势，无论从哪个角度看都与AI算法天生一对。所以大家也可以看到，各领域的AI场景，大都是将AI推理算法运行在Docker容器里面的。 AI+云原生这么6，那么强强联手后，地物分类、目标提取、变化检测等高性能AI解译不就手到擒来？我们也是这么认为的，所以基于AI+Kubernetes云原生，构建了支持遥感影像AI处理的空天地平台。 不过理想是好的，过程却跟西天取经一般，九九八十一难，最终修成正果。 # 业务场景介绍 遇到问题的业务场景叫影像融合（Pansharpen），也就是对地球自拍照进行“多镜头合作美颜”功能。（可以理解成：手机的多个摄像头，同时拍照，合并成一张高清彩色大图）。  所以业务简单总结就是：读取2张图片，生成1张新的图片。该功能我们放在一个容器里面执行，每张融合后的结果图片大约5GB。 问题的关键是，一个批次业务量需要处理的是3000多张卫星影像，所以每批任务只需要同时运行完成3000多个容器就OK啦。云原生YYDS！ # 业务架构图示 为了帮助理解，这里分解使用云原生架构实现该业务场景的逻辑图如下：  在云上，原始数据，以及结果数据，一定是要存放在对象存储桶里面的。因为这个数据量，只有对象存储的价格是合适的。（对象存储，1毛钱/GB。文件存储则需要3毛钱/GB） 因为容器之间是互相独立无影响的，每个容器只需要处理自己的那幅影像就行。例如1号容器处理 1.tif影像；2号容器处理2.tif影像；一次类推。 所以管理程序，只需要投递对应数量的容器（3000+），并监控每个容器是否成功执行完毕就行（此处为简化说明，实际业务场景是一个pipeline处理流程）。那么，需求已经按照云原生理想的状态分解，咱们开始起(tang)飞(keng)吧~ 注：以下描述的问题，是经过梳理后呈现的，实际问题出现时是互相穿插错综复杂的。 # K8s死掉了 当作业投递后，不多久系统就显示作业纷纷失败。查看日志报调用K8s接口失败，再一看，K8s的Master都已经挂了。。。 K8s-Master处理过程，总结版： 1. 发现Master挂是因为CPU爆了 2. 所以扩容Master节点（此次重复N次）； 3. 性能优化：扩容集群节点数量； 4. 性能优化：容器分批投放； 5. 性能优化：查询容器执行进度，少用ListPod接口； 详细版： 看监控Master节点的CPU已经爆掉了，所以最简单粗暴的想法就是给Master扩容呀，嘎嘎的扩。于是从4U8G * 3 一路扩容一路测试一路失败，扩到了32U64G * 3。可以发现CPU还是爆满。看来简单的扩容是行不通了。  3000多个容器，投给K8s后，大量的容器都处于Pending状态（集群整体资源不够，所以容器都在排队呢）。而正在Pending的Pod，K8s的Scheduler会不停的轮训，去判断能否有资源可以给它安排上。所以这也会给Scheduler巨大的CPU压力。扩容集群节点数量，可以减少排队的Pod数量。  另外，既然排队的太多，不如就把容器分批投递给K8s吧。于是开始分批次投递任务，想着别一次把K8s压垮了。每次投递数量，减少到1千，然后到500，再到100。 同时，查询Pod进度的时候，避免使用ListPod接口，改为直接查询具体的Pod信息。因为List接口，在K8s内部的处理会列出所有Pod信息，处理压力也很大。 这一套组合拳下来，Master节点终于不挂了。不过，一头问题按下去了，另一头问题就冒出来了。 # 容器跑一半，挂了 虽然Master不挂了，但是当投递1~2批次作业后，容器又纷纷失败。 容器挂掉的处理过程，总结版： 1. 发现容器挂掉是被eviction驱逐了； 2. Eviction驱逐，发现原因是节点报Disk Pressure（存储容量满了）； 3. 于是扩容节点存储容量； 4. 延长驱逐容器（主动kill容器）前的容忍时间； 详细版： （注：以下问题是定位梳理后，按顺序呈现给大家。但其实出问题的时候，顺序没有这么友好） 容器执行失败，首先想到的是先看看容器里面脚本执行的日志呗：结果报日志找不到~  于是查询Pod信息，从event事件中发现有些容器是被Eviction驱逐干掉了。同时也可以看到，驱逐的原因是 DiskPressure（即节点的存储满了）。  当Disk Pressure发生后，节点被打上了驱逐标签，随后启动主动驱逐容器的逻辑：  由于节点进入Eviction驱逐状态，节点上面的容器，如果在5分钟后，还没有运行完，就被Kubelet主动杀死了。（因为K8s想通过干掉容器来腾出更多资源，从而尽快退出Eviction状态）。  这里我们假设每个容器的正常运行时间为1~2个小时，那么不应该一发生驱动就马上杀死容器（因为已经执行到一半的容器，杀掉重新执行是有成本浪费的）。我们期望应该尽量等待所有容器都运行结束才动手。所以这个 pod-eviction-timeout 容忍时间，应该设置为24小时（大于每个容器的平均执行时间）。 Disk Pressure的直接原因就是本地盘容量不够了。所以得进行节点存储扩容，有2个选择：1）使用云存储EVS（给节点挂载云存储）。 2）扩容本地盘（节点自带本地存储的VM）。 由于云存储（EVS）的带宽实在太低了，350MB/s。一个节点咱们能同时跑30多个容器，带宽完全满足不了。最终选择使用 i3类型的VM。这种VM自带本地存储。并且将8块NVMe盘，组成Raid0，带宽还能x8。 # 对象存储写入失败 容器执行继续纷纷失败。 容器往对象存储写入失败处理过程，总结版： 1. 不直接写入，而是先写到本地，然后cp过去。 2. 将普通对象桶，改为支持文件语义的并行文件桶。 详细版： 查看日志发现，脚本在生成新的影像时，往存储中写入时出错：  我们整集群是500核的规模，同时运行的容器数量大概在250个（每个2u2g）。这么多的容器同时往1个对象存储桶里面并发追加写入。这个应该是导致该IO问题的原因。 对象存储协议s3fs，本身并不适合大文件的追加写入。因为它对文件的操作都是整体的，即使你往一个文件追加写入1字节，也会导致整个文件重新写一遍。 最终这里改为：先往本地生成目标影像文件，然后脚本的最后，再拷贝到对象存储上。相当于增加一个临时存储中转一下。  在临时中转存储选择中，2种本地存储都试过： 1）块存储带宽太低，350MB/s影响整体作业速度。2）可以选择带本地存储的VM，多块本地存储组成Raid阵列，带宽速度都杠杠滴。 同时，华为云在对象存储协议上也有一个扩展，使其支持追加写入这种的POSIX语义，称为并行文件桶。后续将普通的对象桶，都改为了文件语义桶。以此来支撑大规模的并发追加写入文件的操作。 # K8s计算节点挂了 So，继续跑任务。但是这容器作业，执行又纷纷失败鸟~ 计算节点挂掉，定位梳理后，总结版： 1. 计算节点挂掉，是因为好久没上报K8s心跳了。 2. 没上报心跳，是因为kubelet（K8s节点的agent）过得不太好（死掉了）。 3. 是因为Kubelet的资源被容器抢光了（由于不想容器经常oom kill，并未设置limit限制） 4. 为了保护kubelet，所有容器全都设置好limit。 详细版，直接从各类奇葩乱象等问题入手： - 容器启动失败，报超时错误。  - 然后，什么PVC共享存储挂载失败：  - 或者，又有些容器无法正常结束（删不掉）。  - 查询节点Kubelet日志，可以看到充满了各种超时错误：  啊，这么多的底层容器超时，一开始感觉的Docker的Daemon进程挂了，通过重启Docker服务来试图修复问题。 后面继续定位发现，K8s集群显示，好多计算节点Unavailable了（节点都死掉啦）。  继续分析节点不可用（Unavailable），可以发现是Kubelet好久没有给Master上报心跳了，所以Master认为节点挂了。说明不仅仅是Docker的Daemon受影响，节点的Kubelet也有受影响。 那什么情况会导致Kubelet，Docker这些主机进程都不正常呢？这个就要提到Kubernetes在调度容器时，所设计的Request和Limit这2个概念了。 Request是K8s用来调度容器到空闲计算节点上的。而Limit则会传递给Docker用于限制容器资源上限（触发上限容易被oom killer 杀掉）。前期我们为了防止作业被杀死，仅为容器设置了Request，没有设置Limit。也就是每个容器实际可以超出请求的资源量，去抢占额外的主机资源。大量容器并发时，主机资源会受影响。 考虑到虽然不杀死作业，对用户挺友好，但是平台自己受不了也不是个事。于是给所有的容器都加上了Limit限制，防止容器超限使用资源，强制用户进程运行在容器Limit资源之内，超过就Kill它。以此来确保主机进程（如Docker，Kubelet等），一定是有足够的运行资源的。 # K8s计算节点，又挂了 于是，继续跑任务。不少作业执行又双叒失败鸟~ 节点又挂了，总结版： 1. 分析日志，这次挂是因为PLEG（Pod Lifecycle Event Generator）失败。 2. PLEG异常是因为节点上面存留的历史容器太多（>500个），查询用时太久超时了。 3. 及时清理已经运行结束的容器（即使跑完的容器，还是会占用节点存储资源）。 4. 容器接口各种超时（cpu+memory是有limit保护，但是io还是会被抢占）。 5. 提升系统磁盘的io性能，防止Docker容器接口（如list等）超时。 详细版： 现象还是节点Unavailable了，查看Kubelet日志搜索心跳情况，发现有PLEG is not healthy 的错误：  于是搜索PLEG相关的Kubelet日志，发现该错误还挺多：  这个错误，是因为kubelet去list当前节点所有容器（包括已经运行结束的容器）时，超时了。看了代码：https://github.com/kubernetes/kubernetes/blob/master/pkg/kubelet/pleg/generic.go#L203 kubelet判断超时的时间，3分钟的长度是写死的。所以当pod数量越多，这个超时概率越大。很多场景案例表明，节点上的累计容器数量到达500以上，容易出现PLEG问题。（此处也说明K8s可以更加Flexible一点，超时时长应该动态调整）。 缓解措施就是及时的清理已经运行完毕的容器。但是运行结束的容器一旦清理，容器记录以及容器日志也会被清理，所以需要有相应的功能来弥补这些问题（比如日志采集系统等）。 List所有容器接口，除了容器数量多，IO慢的话，也会导致超时。 这时，从后台可以看到，在投递作业期间，大量并发容器同时运行时，云硬盘的写入带宽被大量占用：  对存储池的冲击也很大：  这也导致了IO性能变很差，也会一定程度影响list容器接口超时，从而导致PLEG错误。 该问题的解决措施：尽量使用的带本地高速盘的VM，并且将多块数据盘组成Raid阵列，提高读写带宽。  这样，该VM作为K8s的节点，节点上的容器都直接读写本地盘，io性能较好。（跟大数据集群的节点用法一样了，强依赖本地shuffle~）。 在这多条措施实施后，后续多批次的作业都可以平稳的运行完。

说到数据库，大家并不陌生，因为数据库是企业的数据底座。在曾庆聪从业的多年里，可以明显感觉到相比从前，数据库变得非常热门，业务也已经不满足于传统集中式的数据库了，分布式数据库、云数据库、云原生，自主可控等技术话题被广泛讨论。这些现象的背后是数据库正在经历一个云+分布式的重要里程碑，这将深刻的影响企业对数据库的选型，乃至企业的数字化转型。曾庆聪是华为云数据库NoSQL域高级产品经理，曾就职于大型国企、外企，担任DBA和研发工作，获得Oracle OCP认证。在华为云也曾担任MySQL域产品经理，负责推动RDS、GaussDB(for MySQL)的上线和商用。在华为云负责数据库产品这些年来，他也见证了企业使用数据库方式的变革。为了满足不同业务场景的需求，华为云GaussDB也从单一的数据库升级为一个产品家族、一个统一的数据库品牌。GaussDB代表了华为先进的计算存储分离的架构，遵循“日志即数据”的原则，使用了算子下推先进的云内生性等技术，满足金融、政企、大型企业等的核心业务方方面面诉求。下面，曾庆聪将从生态和业务两方面解读华为云GaussDB的产品能力。开源到自研，开放的数据库生态GaussDB坚持开放，可以分为2大生态：上半部分是广泛认知的生态，下半部分是华为自有生态，不同的生态意味着不同的自主程度，可以适应企业的不同选择。广泛认知的生态兼容市面上主流开源数据库，其中关系型数据库有GaussDB(for MySQL)、NoSQL有GaussDB for Mongo、for Canssandra、for Redis、for Influx，和社区一样的用法但拥有更优秀的能力。华为自有生态包含两条线：一套是社区版本，一套是云上版本，两者同源。以openGauss为例，去年openGauss社区正式开源，云上的单机和主备版本下沉到了社区，经过一段时间发展后于上个月发布了第二大版本，上线了许多关键能力，社区主备版可以平滑切换至云上分布式。同时华为将持续运营社区，一同与合作伙伴、高校、开发者来促进生态繁荣。 从架构看GaussDB层次解耦的存算分离华为云GaussDB支持混合云方案，互联网和中小企业可以直接通过华为云订阅云数据库服务，而金融、政企、大企业则可以通过华为stack，在本地部署和云上体验一致的云服务，共享华为云的创新能力，并实现无缝的升级和演进。说完生态，我们来介绍一下GaussDB的架构。GaussDB架构的核心就是计算存储分离，我们先看下图右边的物理情况：上面是无状态的计算层、CPU和内存，下面是有状态的数据存储层。云原生数据库如果要实现一套统一的架构，同时支持不同的多种数据模型接入。那么它必然面临2个问题：不同的数据库SQL语法不同，数据组织形式和访问形式也不同。所以计算层又分为2个逻辑层：SQL接口层和数据索引组织层来解决这个问题。SQL接口层面向的是生态，负责兼容语法，考虑到不同的数据库SQL语法不相同，所以这一层设计无法做到统一，它的要点是接口接入，做到生态兼容。数据索引组织层面向的是数据的组织和访问，A数据库的数据组织和B数据库的数据组织是不一样的，关系型数据库和非关系型数据库数据组织也是完全不同的，所以这一层也无法做到统一，它的设计要点是插件化接入。存储层面向的是数据，这一层可以做到统一，它提供脱离语义的数据理解能力，只聚焦数据。分布式存储提供基础的分布式一致性可扩展存储能力，跨AZ、Region的部署模式，所有的数据引擎都可以部署到统一的存储层。总结下这样的架构：计算层面负责无状态的SQL语义和数据组织，通过存储管理模块与存储层进行通讯。存储层面负责有状态的数据持久化，上层无需关心数据的分布式一致性。这样全面解耦的架构，是目前所看到的最先进的分布式云原生数据库架构，通过层次解耦的存算分离，向生态兼容，数据融合，多模接入走出了关键一步。 如何解决热点数据问题，保证数据0丢失？ 基于云原生存算分离的架构，GaussDB能够轻松地解决一些长期存在的问题，比如这套架构可以避免数据库层分库分表难以优雅处理的数据分片热点问题。在分库分表中，如果分片容量不够大，就很容易出现某个分片访问压力特别大。但是存算分离的架构，加上华为存储的软硬件深度整合的数据库插件，可以做到在存储层实现数据分片的映射，打散IO。而且经由我们各研究所的算法专家，尤其是俄研所的数学家们研发的分布算法，能基于大小、IO等因素均匀分布数据块。另一方面，由于存算分离后计算层无状态，因此可以做到RTO低于10秒。基于华为DFV分布式存储软件的能力，可以做到存储RPO=0。数据库和存储深度融合，实现多副本强一致。基于存储快照级别备份，实现分钟级别的备份性能。在与500家以上不同行业的政企客户深度交流和研讨过程中，我们发现客户将其核心数据安全上云方面主要有3个顾虑：一方面，数据库繁杂的类型造成选型难与核心数据业务强绑定，所以不影响业务是客户首要考虑的问题。另一方面，客户上层应用与业务的改造范围希望尽量小，且成本在可接受范围内。第三个顾虑是上云后的核心数据是否好管理、好运维。基于多年的企业客户服务经验，以及华为自身对云化、数字化的理解，华为云提供全场景、全开放的数据库生态选择，不必担心被封闭生态锁定。同时为解决客户核心数据上云的痛点，我们打造了一站式的数据库架构+应用+数据一体化迁移方案。下面，我将分别介绍华为云GaussDB数据库的产品特性，帮助大家理解云原生数据库的技术优势是如何解决业务难点的。 GaussDB(for OpenGauss)GaussDB(for openGauss)定位是华为自有生态下的金融级+分布式数据库，该产品具备企业级复杂事务混合负载能力，同时支持优异的分布式事务，同城跨AZ部署，数据0丢失。支持1000+扩展能力，PB级海量存储等企业级数据库特性。GaussDB(for openGauss)拥有云上高可用、高可靠、高安全、弹性伸缩、一键部署、快速备份恢复、监控告警等关键能力，能为企业提供功能全面、稳定可靠、扩展性强、性能优越的企业级数据库服务。同时，开源openGauss单机主备社区版本，鼓励更多伙伴、开发者共同繁荣中国数据库生态。 GaussDB (for MySQL)GaussDB (for MySQL)定位是一写多读云原生数据库，是云原生元素最多的一款产品。通过这个架构，GaussDB for MySQL可以提供超高的性能，很好的扩展性，极高的可靠性，以及高度兼容MySQL。单节点读轻松达到100W，写50W，可以创建15个只读副本。有高达128T的存储空间，提供存储级别的跨AZ部署，数据三副本强一致，四个九的可用性，也能配合DRS服务实现MySQL的在线迁移。它非常适合对数据库有高吞吐、高可用、高可靠、异地容灾、弹性伸缩、大数据量处理需求的行业。常言道，软件优化到一定程度，不如硬件一个小的提升。华为DFV存储原生具备算子下推能力，所以GaussDB (for MySQL)在DFV上实现了算子下推的多个算子，例如聚合、MVCC等。同时也在Server层上实现优化器的并行查询，以及NDP的感知，可以判断查询是否触发NDP。同时支持PQ+NDP结合，多线程批量操作下发，以Count（*）计数操作为例，在PQ+NDP的双重加持下，有超百倍的性能提升，网络传输减少到趋于1次，仅仅返回计数结果即可。GaussDB NoSQLGaussDB NoSQL 属于云原生多模NoSQL数据库，包括MongoDB、Cassandra、Redis和InfluxDB 4种开源接口，相比较自建NoSQL数据库，它们的优势明显。基于计算存储分离架构构建，计算节点和存储可以分别扩容，以MongoDB为例，添加分片的时候不需要数据的rebalance，可以在5分钟内即添加好一个分片，效率非常高，并且在添加分片的时候对数据库性能无影响，相比于自建NoSQL数据库添加分片，效率达到了百倍的提高。计算存储分离还带来了极致的高可用，理论上可以达到N-1个节点故障容忍。举个例子：假设一个GaussDB NoSQL集群具备12个节点的分片，可以容忍11个节点故障的情况下还能提供访问。GaussDB NoSQL单个集群最大可支持96TB的数据存储，而且计算和存储之间通过高速的RDMA直连网络，带来极大的性能提升，在相同资源消耗情况下，比自建NoSQL集群性能有平均3倍的提升。在可靠性方面，DFV存储池实现数据三副本，支持业务无感的坏块修复。DFV池化技术使单台存储设备故障对数据库无影响，支持跨3AZ部署。另外，数据库存储通过DFV快照技术实现极速的备份和恢复能力，带来极致的备份恢复体验。 大规模商用正在进行时业界有句俗话叫狗粮自己吃，华为云数据库在向外部客户推出前，已经在内部的消费者云得到充分验证。消费者云整体数据量达到PB级别，单业务最大数据容量超过100T，有900套数据库遍布全球。消费者云最开始是多AZ四副本架构，由第三方组件来选主，单点故障后会选择新的主节点接替服务，实现准强一致。但是遇到AZ级别的故障，却无法依靠数据库本身来确保绝对安全。升级到GaussDB(for MySQL)之后，基于DFV存储底座的3AZ强一致，消费者云物理存储从8份（有RAID）减少到3份，从准强一致升级到强一致。分布式存储可以动态均衡压力，也能避免单点数据库访问过热，大大提升了消费者云的数据库服务能力并降低了成本。NoSQL生态方面，GaussDB帮助天地图为4亿客户提供了最佳体验。在GaussDB的架构和能力下，客户数据库系统的备份性能提高了20倍，数据恢复速度提升7倍，扩容速度和性能提升3倍，大大提升了客户数据库的可维护性和可靠性。当前，华为云GaussDB案例已经覆盖全场景客户，在1000+大客户的业务上规模化商用。无论是泛金融、政府、运营商，还是快递、电商领域，都有华为云数据库的身影。华为云数据库将继续努力，做好技术提升和帮助客户成功，为更多企业上云数字化转型提供坚实可靠的数据库底座。数据组织形式和访问形式也不同。

华为云1024程序员节云原生应用敏捷最佳实践，模拟真实操作场景，快速调动资源，深度学习和体验，帮助客户应用敏捷、业务智能，安全可信，面向未来持续演进参与活动赢大礼包！点击了解活动详情>>>活动链接：https://developer.huaweicloud.com/activity/paas.html活动时间：即日起至11月21日

华为云1024程序员节云原生应用敏捷最佳实践，模拟真实操作场景，快速调动资源，深度学习和体验，帮助客户应用敏捷、业务智能，安全可信，面向未来持续演进参与活动赢大礼包！点击了解活动详情>>>活动链接：https://developer.huaweicloud.com/activity/paas.html活动时间：即日起至11月21日

Gartner于今日发布企业机构在2022年需要探索的重要战略技术趋势。分析师们在本周四举行的Gartner IT Symposium/Xpo峰会美洲站期间公布了他们的研究结果。Gartner研究副总裁David Groombridge表示：“首席执行官和董事会正在设法通过与客户建立直接数字联系来实现增长，因此首席信息官的优先事项必须满足这些业务要求，而这些要求贯穿于Gartner的2022年重要战略技术趋势。”“首席信息官必须找到能够成倍增加IT力量的方法，从而实现增长和创新并创建可扩展、有韧性的技术基础，通过这一可扩展性释放用于数字投资的现金。这些要求构成了今年趋势的三个主题：工程化信任、塑造变化和加速增长。”2022年重要战略技术趋势有：生成式人工智能（GenerativeArtificial Intelligence）即将上市的生成式人工智能是最引人注目和最强大的人工智能技术之一。该机器学习方法从其数据中学习内容或对象，并运用数据生成全新、完全原创的实际工件。生成式人工智能可用于多种活动，如创建软件代码、促进药物研发和有针对性的营销，但该技术也会被滥用于诈骗、欺诈、政治造谣、伪造身份等。Gartner预计到2025年，生成式人工智能将占所有生成数据的10%，而目前这一比例还不到1%。数据编织（Data Fabric）在过去的十年里，数据和应用孤岛的数量激增，而数据和分析（D&A）团队的技能型人才数量却保持不变，甚至下降。作为一种跨平台和业务用户的灵活、弹性数据整合方式，数据编织能够简化企业机构的数据整合基础设施并创建一个可扩展架构来减少大多数数据和分析团队因整合难度上升而出现的技术债务。数据编织的真正价值在于它能够通过内置的分析技术动态改进数据的使用，使数据管理工作量减少70%并加快价值实现时间。分布式企业（DistributedEnterprise）随着远程和混合工作模式的增加，以办公室为中心的传统企业机构正在演变成由分散在各地的工作者组成的分布式企业。Groombridge表示：“这就要求首席信息官通过重大技术和服务变革提供无摩擦工作体验，不过事情总有两面性：这项技术会对业务模式产生影响。从零售到教育，每家企业机构都必须重新配置交付模式才能支持分布式服务。两年前，全世界没有人想到自己能在数字试衣间里试穿衣服。”Gartner预计，到2023年，75%充分发挥分布式企业效益的企业机构将实现比竞争对手快25%的收入增长。云原生平台（Cloud-NativePlatform，CNP）为了真正能够在任何地方提供数字能力，企业必须放弃熟悉的“直接迁移”并转向CNP。CNP运用云计算的核心能力，向使用互联网技术的技术创造者提供可扩展的弹性IT相关能力“即服务”，从而加快价值实现时间并降低成本。因此，Gartner预测到2025年，云原生平台将成为95%以上新数字倡议的基础，而在2021年这一比例只有不到40%。自治系统（Autonomic Systems）随着企业的发展，传统的编程或简单的自动化将无法扩展。自治系统是可以从所在环境中学习的自我管理型物理或软件系统。与自动化甚至自主系统不同，自治系统无需外部软件更新就可以动态修改自己的算法，使它们能够像人类一样迅速适应现场的新情况。Groombridge表示：“自治行为已因为近期被部署在复杂的安全环境中而为人所知。而从长远看，这项技术将被普遍应用于机器人、无人机、制造机器和智能空间等物理系统。”决策智能（DecisionIntelligence，DI）一家企业机构的决策能力是其竞争优势的重要来源，而如今这个时代对这项能力的要求也越来越高。决策智能是一门实用的学科。该学科通过清楚理解并精心设计做出决策的方式以及根据反馈评估、管理和改进结果的方式来改进决策。Gartner预测在未来两年，三分之一的大型企业机构将使用决策智能实现结构化决策，进而提高竞争优势。组装式应用程序（Composable Applications）在不断变化的业务环境中，业务适应性需求能够引导企业转向支持快速、安全和高效应用变化的技术架构。可组合的应用架构增强了这种适应性，而采用可组合方法的企业机构在新功能的实现速度上将比竞争对手快80%。Groombridge表示：“在动荡的时代，可组合的业务原则帮助企业机构驾驭对业务韧性和增长至关重要的加速变化。没有它的现代企业机构可能会失去在市场中的前进动力和客户忠诚度。”超级自动化（Hyperautomation）超自动化通过快速识别、审核和自动执行尽可能多的流程来实现加速增长和业务韧性。Groombridge表示：“Gartner的研究表明，表现最好的超自动化团队专注于三个关键优先事项：提高工作质量、加快业务流程和增强决策敏捷性。在过去的一年中，业务技术专家平均支持4.2项自动化倡议。”隐私增强计算（Privacy-EnhancingComputation，PEC）除了应对不断成熟的国际隐私和数据保护法律外，首席信息官还必须避免因隐私事件而导致客户信任下降。因此，Gartner预计到2025年，60%的大型企业机构将使用一种或多种隐私增强计算技术。在数据、软件或硬件层面保护个人和敏感信息的PEC技术能够在不影响保密性或隐私的情况下安全地共享、汇集和分析数据。目前这项技术被应用于许多垂直领域以及公有云基础设施（例如可信的执行环境）。网络安全网格（Cybersecurity Mesh）Groombridge表示：“数据贯穿了今年的许多趋势，但只有当企业能够信任数据时，数据才会变得有用。如今，资产和用户可能出现在任何地方，这意味着传统的安全边界已经消失。这就需要有网络安全网格架构（CSMA）。”CSMA帮助提供一体化安全结构和态势，为任何位置的任何资产提供安全保障。到2024年，使用CSMA一体化安全工具组成一个合作生态系统的企业机构能够将单项安全事件的财务影响平均减少90%。人工智能工程化（AI Engineering）IT领导人想方设法地将人工智能集成到应用中，在从未投入生产的人工智能项目上浪费时间和金钱或在人工智能解决方案发布后努力保持它们的价值。人工智能工程化是一种实现人工智能模型操作化的综合方法。Groombridge表示：“从事人工智能工作的混合团队是否真正能够为他们的企业机构实现差异化，取决于他们通过快速人工智能变革不断提升价值的能力。到2025年，10%建立人工智能工程化最佳实践的企业从其人工智能工作中产生的价值将至少比90%未建立该实践的企业高出三倍。”全面体验（Total Experience，TX）全面体验是一项结合客户体验（CX）、员工体验（EX）、用户体验（UX）和多重体验（MX）学科的业务战略。TX的目标是提升客户和员工的信心、满意度、忠诚度和拥护度。企业机构将通过实现具有适应性和韧性的TX业务成果来增加收入和利润。文章转载至云技术公众号 https://mp.weixin.qq.com/s/4nsMspbnAq_o5JY_pyDndg  免责声明：转载文章版权归原作者所有。如涉及作品内容、版权等问题，请及时联系文章编辑！

一个时代有一个时代的基调，“Open Source is eating the world”的声音言犹在耳，一个属于云计算的时代早就不经意来临。十年前，中国的云计算市场尚处于襁褓之中，市场规模只有10余亿。此后十年，云计算市场迎来爆发式增长，年均增速超过50%，2020年市场规模已超过2000亿元，成为中国数字化升级的“顶梁柱”产业。倏忽十载，云计算产业从弱小到强大，从单一的云基础服务裂变为混合云、云原生、云安全等更契合企业业务需求的多元云服务，迈进了百花齐放的大繁荣时代。随着中国企业数字化转型不断深入，云计算已经脱离简单的市场扩张、让企业上云用云的早期阶段，逐步进入到云原生重构IT架构、上云用云兼顾优化治理、原生安全加速应用的深水区。如今，云计算走到了哪个阶段？企业应该加强哪些方面的云计算能力？如何将自身业务与云计算更好地衔接融合？近日，在2021可信云大会上，中国信息通信研究院云计算与大数据研究所所长何宝宏、中国信通院云计算与大数据研究所副所长栗蔚共同就云计算十年来的发展脉络回顾总结，对云计算产业发展的变革趋势进行全面剖析，并就云计算未来趋势开展深入解读。中国信息通信研究院云计算与大数据研究所所长何宝宏数字化转型迎来分水岭云原生加速重构IT基础设施近两年，“云原生”堪称云计算领域最热的名词之一，其出现不仅将原有IT基础设施重构为云原生基础设施，提供更高效的资源，还为企业打造更敏捷的应用开发、交付运维能力，加速企业应用的敏捷创新。从简单迁移上云的“On Cloud”到在云上基于云原生而重构企业应用的“In Cloud”，云原生成为数字化转型的重要分水岭，其要求企业既要继承过去，又要连接未来；既要立而不破，又要持续进化。根据IDC预计，到2022年，90%的新应用将采用微服务架构，35%的生产环境应用是云原生。此外，在Gartner的报告中，云原生技术也正在向应用场景、技术、生态三个方面快速演进，并将扩展到更多应用场景，比如在混合云和多云管理领域，以及边缘层的应用等。在应用价值方面，云原生能够支撑业务应用的通用技术能力下沉到基础设施，在业务应用完整生命周期中提供持续稳定服务，最大化实现云的价值，让企业在资源配置、产品交付、系统架构等方面获得更高的效能，从而可以将更多精力放在业务视角的响应、分析和决策中，使企业在竞争激烈、需求多变的市场环境中具有更强的创新优势。对于这一趋势，何宝宏表示，企业对于竞争的核心诉求正在转到注重商业模式的改变、快速感知并响应用户的需求，这在很大程度上将倒逼技术架构变革，使架构的支撑焦点由资源转向应用。为此，云原生将在发挥云计算应用价值方面产生积极作用。未来，无论是ERP、CRM等系统应用还是底层IT基础设施，都会越来越趋向于云原生，这将是近些年云计算最大的趋势。不同企业实现应用现代化的路线各不一样，例如：有先进行容器化改造的，有先做微服务架构改造的，也有直接在上云迁移的过程中同步实现微服务改造的，另加之企业内部环境各不一样，所以企业在实现应用现代化进程中遇到的挑战也不尽相同。他们往往会面临很多挑战，包括：如何让运转着的旧系统和新应用之间做到无缝的衔接？如何快速敏捷地完成应用的集成，以提高可持续的交付能力？以及如何在混合多云环境下，最大程度地降低架构转型的技术风险等。在栗蔚看来，云计算融合新技术，带动云原生进入黄金发展期。云原生融合新型信息技术，改变数、智、算的应用方式。云原生带动技术架构、应用效能、云化效益的全方位提升，传统行业用户逐步对外围系统、次核心系统、核心系统进行不同程度的云原生化改造。云原生进一步降低技术门槛，深化云数融合、云智融合、高性能计算的发展，推动云数智高质量融合发展。中国信通院云计算与大数据研究所副所长栗蔚注重云计算应用效能优化治理成为企业上云后突出诉求中国信通院最新发布的《云计算白皮书》显示，2020年云计算市场整体规模达到2091亿元，增速56.6%。对于很多企业，应用云计算为企业提升了管理效能，但也带来了相当大的复杂性。如果没有适当地策略，可能会妨碍业务的正常运行。所以随着企业用云程度的加深，企业关注点从开始上云的咨询、迁移，逐步地转到上云后的优化。企业需要仔细考虑如何管理、优化和使用云计算服务，从而可以通过降低云管理成本，进一步提升业务的数字化转型效果。对此，云优化治理成为很多企业上云后改善性能、降低成本、提升效率的主要选择，其能够给企业上云策略制定、线路规划、采用实施、云上优化进行全生命周期的优化提升，为企业数字化转型提供新的动力。在谈及云优化治理将如何发挥作用时，何宝宏认为，企业在上云过程中对价格、安全、服务能力等尤为关注，对云品牌的关注度反而降低，这也反映出企业在云计算应用方面的理念日趋成熟。优化治理是云计算永恒的主题，相比以前关注重心只停留在基础设施层面，现在更多地落到应用层面，优化治理不仅能够改善企业上云后在性能、应用、架构等方面的能力，还将充分发挥云计算的效能和价值，让企业更懂云、更好用云。混合云管理模式演变进行时是当前企业上云的最佳路径云计算最终的发展趋势将可能是朝私有云和公有云的结合——混合云发展。因为没有绝对的私有云，也没有绝对的公有云，纯粹的公有云和纯粹的私有云都有其局限性，而混合云将能够同时避免他们的劣势而发挥他们的优势，已成为企业上云的主流模式。根据中国信通院报告，相比全球市场混合云高达82%的部署比例来说，国内混合云市场由于起步较晚，这一数字则刚刚超过50%。从混合云的特性来看，要实现统一纳管、高效运维，混合云解决方案必须具备在多云管理、云网协同、安全管理、云原生等四个维度中的强大能力。这些关键能力将决定用户应用的部署位置、交互模式和协同效率，进而对业务产生巨大的影响。同时，混合云的管理模式也在不断演进，过去私有云和公有云的协作很多是利用公有云做灾备，或者对计算需求峰值的性能补充，这是合作互补的模式，但现在本地和公有云的协作越来越密切和同步。现在用户开始把不同的应用负载部署到更合适的位置，而不是把所有的应用部署在一个地方。不同的应用根据其特点分别部署到本地、边缘和公有云，混合云的协作管理正在成为趋势。推动新型信任体系构建零信任与云原生安全持续融合从业界今年的发展来看，无论是Gartner认为信任和弹性是自适应安全的两个原则，还是“零信任”理念成为业界热议的流行词，都说明整个行业已经意识到，简单堆砌安全机制已经无法抵御日渐复杂的应用场景和攻击团伙，所以回归安全的本源，思考如何构建信任体系，成为当前一种独特的现象。随着零信任的理念西风东渐，越来越多的国内机构和企业在考虑通过零信任重新构建新的业务访问模型和体系。早期以边界为核心的传统安全思维方式需要被打破，考虑到系统、资源之间的交互越来越频繁，如今的安全需要转向以用户身份为核心的安全，要持续性验证用户身份的真实性。面对零信任与云原生的融合，何宝宏将其看作是发展到一定阶段的必然趋势。零信任从私有化部署向SaaS服务演进，SD-WAN通过集成零信任实现安全防护边缘上零信任实现弹性扩展，能够应对海量访问的请求，同时微隔离作为零信任的关键技术，对云类东西向流量进行访问控制，弥补传统安全防护机制在云环境应用的不足。如今，中国数字化建设的大幕已经开启。为了让行业更好应用创新的云计算技术，中国信通院积极联合各行业龙头企业探索企业高效用云的有效路径，围绕混合云、云原生、零信任、云优化治理等热点技术领域发布一系列标准和认证，成功构建起国内权威的新型云计算安全标准体系。通过对数字时代下云计算发展的深刻洞察，中国信通院不仅实现了相关标准规范的前瞻性布局，还为体系技术的落地应用提供参考和指引，进一步夯实云计算新基建的底座，为中国数字经济发展和企业数字化转型升级打下坚实基础。站在未来十年的新起点，云计算还将裂变出无限的机会和可能，带着人们在探索的路上发现更多未知的精彩。【科技云报道原创】转载请注明“科技云报道”并附本文链接https://new.qq.com/rain/a/20210802A04ODI00