华为云云原生容器团队致力于成为技术创新先锋，通过云原生容器化技术，为企业数字化转型提供强大动力，让云无处不在，让智能无所不及，共建智能世界云底座。云原生产业方面，我们连续4年位居云容器软件市场份额国内TOP 1，深入理解不同行业需求，先后在云容器引擎、Serverless、边缘计算、分布式云等多个场景推出成熟的云服务，在互联网、金融、政企等多个领域打下良好口碑。云原生技术方面，我们是CNCF国内唯一初始成员，拥有本土唯一CNCF TOC席位和多个CNCF项目技术委员会/治理委员会成员及核心Maintainer，先后主导开源了KubeEdge、Volcano、Karmada、Kuasar等多个CNCF项目，是全球云原生开源技术的领导者之一。 岗位描述 云原生产品架构师 / 研发工程师负责华为云云原生产品及服务的系统设计、代码研发、技术攻关及关键技术预研等，保障云容器服务的持续稳定运行，构建产品技术竞争力，提升产品的市场竞争力和客户价值。云原生开源架构师 / 研发工程师参与云原生开源项目需求分析，洞察业界趋势，用户场景挖掘，构筑高可靠、高性能的开源项目竞争力参与云原生开源项目的代码开发、维护，构建最活跃的开源社区参与云原生开源项目的社区治理与生态建设，打造社区生态参加业界会议，布道宣传开源生态，打造云原生项目的技术品牌和影响力任职要求 本科及以上学历，计算机或相关专业，5年以上软件或行业相关工作经验。了解云计算常用技术，如云原生、容器化、虚拟化、AI、容器引擎、服务治理等技术和架构，熟悉云服务的部署、监控和维护，能够处理常见的故障和问题。具备较强的技术架构设计和方案设计能力，良好的沟通和团队协作能力，能够与客户和合作伙伴进行有效的交流和合作。具备良好的自我学习和创新意识，能够跟踪最新的技术发展趋势，不断提高自己的技术水平和创新能力拥有CNCF社区贡献，熟悉CNCF项目（如Volcano、Kubeflow、KubeEdge、confidential-containers、kepler、OpenTelemetry等项目）优先简历投递 华为云云容器团队社招HC，北京、杭州、深圳、上海均有岗位，欢迎感兴趣的朋友联系。联系方式：手机/微信：15191581137邮箱：chengtenglang@huawei.com

8月21日-23日，由云原生计算基金会（CNCF）和 Linux 基金会联合主办的KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 大会在中国香港盛大召开。会上，华为云云原生开源负责人，CNCF TOC王泽锋，蔚来汽车战略新业务数字系统架构师蒋旭辉联合发表“云原生技术加速电动汽车创新”主题演讲，深入探讨云原生解决方案在革新EV领域中的转变影响和未来前景。KubeCon China 2024 主题演讲作为一家全球化的智能电动汽车公司，蔚来致力于提供高性能的智能电动汽车与极致用户体验，坚持核心技术的正向研发，建立了由12个领域的技术栈构成的“蔚来技术全栈”。硬件基础决定软件形态，随着车载算力的不断增强，车端软件数量也在爆发式的增长。车端作为其团队重点，在新的行业变革中也产生了新的需求和挑战。E/E架构与SDV趋势下车端软件开发挑战根据博世2019年提出的整车电子电器架构的演进图，当前的新能源汽车有一部分已经达到了3.0时代，即区域控制器和车载电脑；在向车云计算的演进过程中，部分功能已在实现车云协同。基于3.0架构，汽车行业有一个比较热门的话题，是软件定义汽车。软件定义汽车实际是SOA架构和中央计算E/E架构的合体。其中的核心就是中央计算单元。当前的中央计算单元已经融合核座舱、网联、智驾的能力，软件平台的重要性更加突出。在规划中央计算单元的规划定义阶段，将云端的能力当成整体平台的一部分，实现车云的一体化设计。行业趋势 – SDV蔚来数字系统团队，主要聚焦于整个平台中的智能网联和工具链的部分。在智能网联的研发环节，面临的行业环境变化有：敏捷开发敏捷交付需求：软件研发周期变短，汽车换代时间由以前的8年左右现在提速到1年多。随着软件比重的增加，交付后版本更新成为一个必须项。硬件平台异构，开发人员很并行开发难度高。研发与测试管理成本提升：汽车软件除了一些硬件的差异化配置外，软件也开始出现差异化。为了实现软件的千人千面，需要平台提供定向推送的能力，管理复杂。传统的汽车厂商作为集成商，更多的是做整车的功能测试。随着汽车厂商的软件自研能力提高，软件测试项目的内容和复杂度也大幅提高，这些变化带来了测试成本的挑战。跨领域团队协作愈发频繁：中央计算单元集成的功能递增，车和云之间，自动驾驶、网联、座舱等团队的交叉协作越来越密切。汽车软件的开发也在引入互联网的模式，由传统的V模型，转变到V模型与敏捷开发混合。技术生态双重优势云原生助力车端软件平台构建对于当前车企研发所面临的问题，王泽锋提到，构建车端软件平台，云原生从技术维度和生态维度均具备明显优势。技术层面，云原生提供便捷的软件依赖管理，灵活的编排部署策略，技术栈开放，灵活可定制；生态层面，成熟的云原生生态为企业提供了丰富的选择，厂商基于标准接口提供服务，互操作性强且开源为主，拥有丰富的标准软件生态，与此同时，云原生行业人才系统成熟，这为车企提供了众多方案选择与研发力量后盾。CNCF TOC 华为云云原生开源负责人 王泽锋如何基于云原生技术构建车端软件平台？将云原生技术栈应用到车的领域，也面临着以下挑战：1. 算力稀缺：车端算力成本比云数据中心、消费电子高出很多；2. 海量边缘节点接入：汽车的接入数量级在数十万到数百万之间，对于平台的管理规模本身就是巨大的挑战；3. 运行环境差异：汽车的网络环境稳定性差（经常处于地下室、隧道等无网络环境），本身的高速移动也会表现为网络的高延迟高丢包现象。以KubeEdge为核心构建蔚来整套车云协同平台蒋旭辉提到，经过大量调研和选型工作后，我们发现KubeEdge能够很好地解决这些挑战，因此我们选择使用KubeEdge作为平台的核心，以Kubernetes + KubeEdge为技术底座，构建了整套车云协同平台。在实车端应用的容器化后，蔚来在车上引入了KubeEdge，将车端的容器应用也纳入到API-Server统一管理。KubeEdge在给车端带来容器应用编排能力的同时，自身占用资源较少，并且启动非常迅速，可以满足汽车软件的使用场景需求。借助KubeEdge的离线自治能力，在弱网/断网环境下，平台也可以实现车端软件的稳定运行和故障恢复。蔚来汽车战略新业务数字系统架构师 蒋旭辉KubeEdge架构优势作为专为云边协同开发的平台，KubeEdge兼顾各种边缘场景的特殊性：使用K8s作为控制面，并将KubeEdge的额外功能也通过K8s API提供，最大限度地帮助用户融合云数据中心与边缘的生态；针对边缘环境受限的场景，KubeEdge在完成自身轻量化的基础上支持用户自定义功能裁剪，以满足不同的资源需求。并且KubeEdge提供了节点级元数据持久化，支持边缘离线自治；KubeEdge双向多路复用的云边消息通道，替代原本的节点与控制面之间链接，实现对于APIserver连接数的放大，并且引入全时段可靠增量同步的机制应对弱网环境挑战。KubeEdge设计理念在车上引入KubeEdge，将车端的容器应用也纳入到API-Server统一管理，在给车端带来容器应用编排能力的同时，KubeEdge自身占用资源较少，并且启动非常迅速，可以满足汽车软件的使用场景需求。借助KubeEdge的离线自治能力，在弱网/断网环境下，也可以实现车端软件的稳定运行和故障恢复，蒋旭辉在演讲中表示。▍突破APIserver连接数限制，实现超大规模边缘汽车管理在量产车型大规模接入的场景中，需要实现高出传统云数据中心几个数量级的节点管理规模，并且应对节点联接的潮汐效应问题。在KubeEdge的云边通信机制中，配合车端的持久化存储，我们实现了全时段的增量同步机制，可以有效降低车辆启动和断联恢复时的网络冲击，以及状态同步过程中持续开销。通过云边消息通道的双向多路复用机制，KubeEdge可以突破APIserver的连接数限制，实现超大规模的边缘汽车管理。蔚来基于KubeEdge构建车云协同平台架构KubeEdge使用K8s作为控制面，将车的Node、Pod等资源对象的管理实现为K8s原生的API，屏蔽了车端与云端资源的管理差异。业务系统可以很方便地管理车上的容器应用，而不需要感知应用在不同环境应该如何部署。▍场景实际落地, 开发速度、软件质量提升,有效降低使用成本新能源汽车电池健康安全数据分析新能源汽车电池安全一直是用户比较关心的重点，蔚来在电池安全和电池健康方面也一直投入了大量的精力去实现更优的体验，除了电池本身的技术演进外，还运用大数据和人工智能算法来预测和分析电池健康程度，从而优化电池策略，提高电池寿命。场景1 数据分析-电池健康安全检测在具体的工程侧，由于成本和网络的限制，数据分析团队需要进行车和云端结合的算法来达到最佳效果。边缘算法部署在车端，进行特征提取等计算，云端进行时间序列分析等。基于此场景，蔚来数字系统团队创新使用云原生技术，在算法开发阶段，算法开发同事使用容器化的方式进行边缘算法的开发。统一使用容器打包镜像，通过K8s，使云端的算法和车端的算法同步部署。在工程车辆验证阶段，算法团队只需切换依赖的基础镜像，就可以将边缘计算的容器应用快速小批量地部署到工程车辆，进行算法的验证。验证通过后，整个算法主体部分开发完成，算法团队只需根据目标车型替换对应的量产基础镜像，即可完成量产包的制作，无需关心车端的运行环境、系统版本等细节问题。引入云原生能力构建车端软件测试管理平台蔚来在开发阶段使用云原生技术以外，在软件测试阶段也引入云原生的能力。以往的的测试台架资源主要为离线的人工管理方式，不能充分利用台架资源。实车、台架本身具备较大的差异，各测试阶段和测试环境比较孤立，难以覆盖组合场景的测试需求。场景二 功能软件测试引入云原生能力后，Virtual car、台架和实车通过接入到K8s的统一监控和管理，可以更合理地安排测试任务，从而提高测试资源的利用率。蔚来团队同时创新性地将Testcase也进行了容器化，通过基于K8s Job的调度机制，可以更灵活地进行让我们的测试用例在不同测试环境上交叉执行，覆盖更多的场景。通过以上的两种场景应用，实现效能提升：开发速度提升：平台提供了统一的容器化环境依赖管理和部署方式，降低了开发门槛，提高了效率；软件质量提升：平台提供了多环境多节点的统一管理，可以支持规模的自动化测试并行执行；使用成本方面：平台学习门槛低，灵活的发布策略使得整个平台的台架等硬件环境可以更高效合理地被分配和使用。车载硬件和算力的提升带来了车端软件新的发展，在车云协同的当下，智能汽车领域更需要更新的平台技术，来支撑汽车软件的持续演进。蔚来汽车基于Kubernetes + KubeEdge开发云原生车云协同平台，并且首次搭载于量产车型，这是云原生生态领域中一次全新的尝试，为车企带来开发交付效率、团队协作等方面的巨大提升。也相信云原生技术将持续推进整个车端软件的研发创新与深入应用，助力汽车行业迎来更广阔的未来。更多云原生技术动向关注容器魔方

中奖结果公示感谢各位小伙伴参与本次活动，欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下（部分视频号抽奖用户无账号名）：账号名 奖项名称 奖品名称 wangziying007优质提问HDC定制双肩包mitenkilee优质提问HDC定制双肩包xiaozhongy官网抽奖开发者定制短袖T恤Crazy926官网抽奖开发者定制短袖T恤视频号抽奖开发者定制短袖Polo衫视频号抽奖华为云云宝手办-盲盒款视频号抽奖开发者定制折叠雨伞

8 月 21 日至 23 日，由云原生计算基金会（CNCF）和 Linux 基金会联合主办的KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 大会将在中国香港隆重举行。作为三大重量级会议组成的综合盛会，本届大会汇集全球顶尖开发者、行业领袖和技术专家，共同探讨云原生、开源及 AI 等领域的最新进展、核心技术及最佳实践。Linux 基金会执行董事 Jim Zemlin、Linux 与 Git 的创始人 Linus Torvalds、CNCF 首席技术官 Chris Aniszczyk、CNCF 执行董事 Priyanka Sharma、LF AI & Data 基金会执行董事 Ibrahim Haddad、Linux 基金会研究员 Greg Kroah-Hartman 等 200 多位国际演讲嘉宾将亲临现场，分享各自领域的深刻见解和宝贵经验。Volcano云原生批量计算社区将在本届大会上带来多个技术演讲、圆桌分享等精彩议程。Volcano 是业界首个云原生批量计算引擎，项目主要用于 AI、大数据、基因、渲染等诸多高性能计算场景，对主流通用计算框架均有很好的支持。目前，Volcano在人工智能、大数据、基因测序等海量数据计算和分析场景已得到广泛应用，完成对 Spark、Flink、Tensorflow、PyTorch、Argo、MindSpore、Paddlepaddle 、Kubeflow、MPI、Horovod、Mxnet、KubeGene、Ray 等众多主流计算框架的支持，并构建起完善的上下游生态。社区生产环境落地用户超过50+，吸引了900+全球TOP级企业贡献者。聚焦云原生与AI的参会者们，和这么高纯度“云原生AI”属性的Volcano来一场淋漓尽致的现场探讨准没错！Volcano社区技术专家在本届大会上的精彩分享如下：扫码添加社区小助手回复Volcano进交流群

8 月 21 日至 23 日，由 Linux 基金会、云原生计算基金会 (CNCF）联合主办的 KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 将于中国香港盛大召开。作为 Linux 基金会旗下云原生与开源顶级盛会，大会汇聚全球顶尖技术专家与前沿企业。Linux 基金会执行董事 Jim Zemlin、Linux & Git 创始人 Linus Torvalds、CNCF 首席技术官 Chris Aniszczyk 等世界级巨擘及 200 多位国际演讲嘉宾将莅临现场，分享他们在各自领域的独到见解和实践经验。华为云一直是云原生领域的领导者和践行者，对 Kubernetes、Istio 等项目的贡献一直位居全球前列，先后主导开源了业界首个智能边缘计算项目 KubeEdge、业界首个云原生 AI 调度引擎 Volcano、业界首个云原生多云容器编排引擎 Karmada 等多个 CNCF 项目，并持续带来了 Kuasar、Kmesh、openGemini 等项目创新，拥有在任CNCF 技术监督委员会 TOC 成员，多个 CNCF 项目技术委员会，治理委员会成员及核心Maintainer 席位，是全球云原生开源技术的领导者之一。持续引领全行业智能化发展趋势，华为在云原生 Al 基础设施、Serverless 架构、多云和混合云战略、云边端协同等领域均有领先的商用级产品，以技术革新为驱动，打造业界领先的云原生解决方案，连续八次中国容器软件市场份额 TOP1，为企业数智化转型提供强大动力。本次大会上，华为将带来 3 场 Keynote 主题演讲，20+ 场技术分享，交流云原生 AI、智能边缘、多云容器、容器沙箱、AI 调度、数据库、流量治理等领域的前沿技术与解决方案，期待与您探讨云原生 x AI 的无限可能！关注容器魔方获取更多华为云参会动态

8 月 21 日至 23 日，由 云原生计算基金会 (CNCF）和Linux 基金会联合主办的 KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 将于中国香港盛大召开。本次大会汇聚全球顶尖开发者、行业领袖和技术专家，共同探讨云原生、开源及 AI 等领域的最新进展、核心技术及最佳实践。KubeEdge云原生边缘计算社区将在本次大会上带来Keynote、分论坛等精彩演讲，赋能多领域、多场景边云协同AI智算，敬请期待！大会期间，KubeEdge技术专家也将在CNCF 项目展区（展位号：T7），与您零距离畅聊技术与应用（详见下方展台时间表），KubeEdge邀您共聚KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024！扫码回复“Mentorship”进入技术交流群

dge 1.18.0 版本现已正式发布。新版本在稳定性、安全性等方面有了显著的提升，同时持续在易用性等方面做了增强。KubeEdge v1.18.0 新增特性：RouterManager 支持高可用CloudCore 云边通道鉴权增强支持设备状态上报keadm 能力增强封装 Token，CA 和证书操作，提高扩展性升级 K8s 依赖到 v1.29  新特性概览  ▍RouterManager支持高可用针对 CloudCore 采用高可用部署时，RouterManager 无法准确路由的问题，在新版本中，对 RouterManager 在高可用部署时做了优化与增强，云端发往边缘的自定义消息将会被路由到对应 EdgeNode 所连接的 CloudCore中，并正确下发到对应的 EdgeNode。同时考虑了边界情况，在转发过程中，如果 EdgeNode重连到其他 CloudCore 时，消息将会被重新转发到正确的 CloudCore 中。更多信息可参考：cid:link_1cid:link_2▍CloudCore云边通道鉴权增强 CloudCore 作为连接边缘节点和 Kube-APIServer 的桥梁，需要限制边缘节点对集群资源的访问权限。在新版本中，我们对云边通道的安全性进行了增强，CloudHub 会识别消息发送方并校验其是否有足够的权限，从而限制边缘节点操作其他节点的资源。v1.18.0 目前已支持 node authorization 模式。该特性引入了如下配置参数，在新版本中默认关闭，开启如下开关即可启用该特性。apiVersion: v1 data: cloudcore.yaml: ... modules： cloudhub: authorization: // optional, default false, toggle authoration enable: true // optional, default to false, do authorization but always allow all the requests debug: false // required, an authorizer chain authorizers: // node authorization mode - node: ebable：true ... 为了安全启用此特性，可以先开启 debug。当鉴权失败时，CloudCore 只记录日志，但请求仍会正常处理。更多信息可参考：cid:link_3cid:link_4▍支持设备状态上报 设备有其自身的状态，比如在线、离线、异常等。1.18.0版本支持了设备状态上报的能力。该特性在 Mapper-Framework 已经默认实现，用户基于 Mapper-Framework 生成自己需要的 mapper，即可使用。状态上报成功后，可通过 device 的资源查看结果：apiVersion: devices.kubeedge.io/v1beta1 kind: Device ... spec: status: lastOnlineTime: "2024-07-30T17:55:49Z" state: ok twins: - observedDesired: ....更多信息可参考：cid:link_5cid:link_6cid:link_7▍Keadm能力增强 在旧版本中，使用 keadm join 安装 EdgeCore 只能指定部分参数的配置。在最新版本中，我们对 EdgeCore 的配置流程进行了显著优化。现在，您无需等待节点接入完成,手动编辑 edgecore.yaml 配置文件，再重启 EdgeCore。通过在 keadm join 命令中使用新增的 --set 参数，您可以在节点加入时直接设置配置，就像使用 Helm 配置 values.yaml 一样便捷。这一改进大大简化了配置管理过程，提高了效率。下列指令是一个开启 MetaServer 的样例：keadm join --set modules.metaManager.enable=true,modules.metaManager.metaServer.enable=true,modules.metaManager.remoteQueryTimeout=32更多信息可参考：cid:link_8https://github.com/kubeedge/kubeedge/pull/5564 ▍封装Token，CA和证书操作，提高扩展性在本版本中，我们对 Token 和 Certificate 的处理进行了彻底的整理和优化。原先分散在代码各处的处理逻辑现在已被集中管理，显著降低了维护成本。Token 处理已被集成到一个统一的工具包中，而 Certificate 的处理则通过接口抽象化，不仅支持自建 CA 流程，还适配了通过 Kubernetes CSR 申请 Certificate 的流程。此外，我们的设计允许未来轻松扩展以支持更多类型的私钥和客户自定义的 Certificate。此次重构不仅提升了 Token 和 Certificate 业务代码的可读性和可维护性，而且保持了对外接口的完全向下兼容性，确保了现有系统的无缝升级。更多信息可参考：cid:link_9cid:link_10▍升级K8s依赖到v1.29新版本将依赖的 Kubernetes 版本升级到 v1.29.6，您可以在云和边缘使用新版本的特性。更多信息可参考：cid:link_11▍致谢感谢 KubeEdge 社区技术指导委员会(TSC)、各 SIG 成员对 v1.18.0 版本开发的支持与贡献，未来 KubeEdge 将持续在新场景探索与支持、稳定性、安全性、可扩展性等方面持续发展与演进！▍相关链接Release Notes：cid:link_0扫码回复“Mentorship”进入技术交流群

LFX Mentorship计划，由Linux Foundation组织，从19年开始为CNCF各个开源社区中的开发人员持续提供带薪实习和指导。往年已获10w+申请，发起800+课题，毕业600+实习生，发放超过230万美金报酬。2024年秋季申请时间为7月31日-8月13日，远程实习将从 9 月 3 日开始为期三个月。参与到LFX Mentorship计划中，为开源项目做贡献、获得开源社区的认可同时，完成工作还能获取报酬 (位于中国的开发者报酬为$3000美金，约合￥20000人民币）。今年KubeEdge社区在LFX Mentorship计划中准备了多个课题，感兴趣的读者可于8月13日前到官方平台申请:https://mentorship.lfx.linuxfoundation.org/  KubeEdge社区介绍  KubeEdge社区已经连续4年参与LFX Mentorship计划，过去已为学员提供20+个项目。KubeEdge是业界首个云原生边缘计算框架、云原生计算基金会内部唯一孵化级边缘计算开源项目。在GitHub获得7.6k+Stars和2.1k+Fork，吸引了全球来自30+国家的100+贡献组织及16万+开发者。近年来，KubeEdge社区持续开拓创新，完成业界最大规模云原生边云协同高速公路项目（统一管理10万边缘节点/50万边缘应用）、业界首个云原生星地协同卫星、业界首个云原生车云协同汽车、业界首个云原生油田项目，开源业界首个分布式协同AI框架Sedna及业界首个边云协同终身学习范式、开源业界首个分布式协同AI基准测试Ianvs。在LFX Mentorship 2024秋季计划，KubeEdge期待再次和计算机领域新生力量一起，开拓数字未来。  面向对象  秋季计划申请者需在2024年8月13日前在LFX官网完成Mentee注册及项目申请。若被接收作为Mentee，您将能在开源社区经验丰富、积极贡献的Mentor指导下为开源项目做出贡献。依据官方规定[1]，对Mentee的申请者有以下要求:计划开始时至少年满18周岁所在单位和组织不禁止该实习未参加另外的Linux Mentorship计划开发者以个人身份参与（在校或已毕业均可）具备所注册国家中工作权利且所注册国家未被计划禁止 (中国已获许可)并非社区中高于最低限度贡献成员（如Maintainer、Recurring Contributor）满足具体所属项目中提及的其它前置需求  课题参与方式  根据官方安排 [2]，LFX Mentorship 2024年秋季活动流程如下：Mentee注册与项目申请 July 31 - Aug 13, 5:00 PM PDT申请者评审及人事工作 Aug 14 - 27, 5:00 PM PDT实习启动及任务发放 Sept 9 (Week 1)中期考核及首次津贴支付 Oct 15 (Week 6)结项考核、实习生报告提交，最终津贴支付批准 Nov 26, 5:00 PM PST (Week 12)活动结束 Nov 29申请者需要在8月13日前完成Mentee注册和项目申请，流程详见[3]：https://docs.linuxfoundation.org/lfx/mentorship/mentee-guide/how-to-apply实习申请结果预计将在 9 月 3 日通知到申请人。主线开发日期为2024年9月9日 – 11月26日，全程线上协作，无需线下参与。结项需要在2024年11月26日前以 PR 的形式提交到项目所在的开源社区仓库中并完成合并。  KubeEdge课题  最后，向各位申请者推荐CNCF KubeEdge社区下列课题：▍KubeEdge: Decouple the node cooperation ability and batch management ability of the edgeapplication课题描述：EdgeApplication可以通过节点组来override应用的配置(如副本数、镜像、命令和环境)，同时节点组内的 pod 流量是闭环的(由 EdgeApplication 管理的Deployment共享一个 Service)。但是在实际场景中，需要批量操作的节点范围与需要相互协作的节点范围并不一致。因此我们需要有一种解决方案来解耦 EdgeApplication 的节点协作能力和批量管理能力。预计输出件：需求方案实现EdgeApplication可以被节点组或者指定lable的节点override解决流量闭环 前置技能：Golang, Kubernetes, KubeEdge课题导师：WillardHu | wei.hu@daocloud.ioElias Wang | wangbincheng4@huawei.com课题链接：https://mentorship.lfx.linuxfoundation.org/project/89fe7f6c-052b-4597-9ba3-c016858b1835Github Issue：cid:link_1▍KubeEdge: Elastic Inference for Deep Learning Models Using KubeEdge课题描述：人工智能的快速发展使得深度学习模型在各个领域得到广泛应用。然而，模型推理任务所需资源可能会显著波动，尤其是在高峰期，可能会给系统的计算能力带来挑战。为了应对这种不同的负载需求，我们提出了一种利用 KubeEdge 和 Pod 水平自动扩缩(HPA) 实现推理任务动态扩缩的弹性推理解决方案。通过利用 KubeEdge，我们可以在不同的边缘设备和云资源之间分配推理任务，实现资源利用和任务处理的效率。预计输出件：基于 KubeEdge 实现弹性扩缩 AI 推理示例基于 KubeEdge 和 Sedna 实现联合推理任务的弹性扩缩的开发和输出示例输出Blog前置技能：KubeEdge，Sedna部署及管理Kubernetes的经验，包括配置及调优HPA机制开发与调优深度学习模型的知识Go与Python的编程经验课题导师：ming tang  | ming.tang@daocloud.ioShelley Bao | baoyue2@huawei.com课题链接：https://mentorship.lfx.linuxfoundation.org/project/1f58cbe5-fe3a-4d0f-9875-b1725ecac223Github Issue：cid:link_2▍KubeEdge: Multimodal Large Model Joint Learning Algorithm: Reproduction Based on KubeEdge-Ianvs课题描述：KubeEdge-Ianvs目前主要专注于单数据模态的云边协同学习(训练和推理)。然而，诸如自动驾驶汽车等边缘设备通常会捕捉包括GPS、LIDAR和摄像头数据在内的多模态数据。单一模态的学习已经无法满足边缘设备的精确推理需求。因此，该项目旨在将主流的多模态大模型联合学习算法整合到KubeEdge-Ianvs的云边协同学习中，提供多模态学习能力。预计输出件：使用 KubeEdge-Ianvs 在边缘部署多模态大语言模型的基准测试套件修改和调整现有的边-云数据收集接口，以满足多模态数据收集的需求基于 Ianvs 实现一个多模态大语言模型 (MLLM) 基准测试套件复制主流的多模态联合学习(训练和推理)算法，并将其集成到 Ianvs 单任务学习中(可选) 在 Ianvs 的至少一种高级范式(终身学习、增量学习、联邦学习等)中测试多模态联合学习的有效性。前置技能：TensorFlow/Pytorch, LLMs, KubeEdge-Ianvs课题导师：Chuang Hu | hchuchuang@gmail.com)Zimu Zheng | zimu.zheng@huawei.com)课题链接：https://mentorship.lfx.linuxfoundation.org/project/d5d315c7-aaee-46ee-895e-a0f9e6ffed4bGithub Issue：cid:link_4▍KubeEdge: Cloud-edge collaborative speculative decoding for LLM based on KubeEdge-Ianvs课题描述：大语言模型(LLM)的自回归解码模式决定了它只能串行解码，这限制了其推理速度。可以使用推测式解码技术结合草稿模型并行解码LLM，从而在不损失准确性的情况下提高LLM的推理速度。然而，LLM的推测式解码技术并没有考虑在云边协同环境中的应用。本项目旨在基于开源的云边协同分布式机器学习平台KubeEdge-Ianvs实现云边协作推测式解码，进一步提高云边环境下LLM的推理速度。预计输出件：基于 KubeEdge-Ianvs 实现一个云边协同推测解码的示例。(可选) 提出一种更加高效的云边协同推测解码算法。前置技能：KubeEdge-Ianvs, LLM, Pytorch, Python课题导师：Shijing Hu | sjhu21@m.fudan.edu.cnZimu Zheng | zimu.zheng@huawei.com课题链接：https://mentorship.lfx.linuxfoundation.org/project/bfa8251f-a975-4e07-8e7a-915df3518551Github Issue：cid:link_5▍KubeEdge: Integrate KubeEdge, Sedna, and Volcano for Efficient Task Scheduling课题描述：KubeEdge 和 Sedna 已经实现了云边协同训练和协同推理的能力。我们旨在与更多社区进行探索和合作，提供更强的 AI 能力。本项目旨在通过在KubeEdge与Sedna的云边协同框架内集成 Volcano实现高性能调度，从而推动分布式 AI 和边缘计算的发展。预计输出件：使用 KubeEdge 和 Sedna 成功部署训练任务，并提供example。在 Sedna 中集成 Volcano 实现高性能的训练任务调度。（可选）在 KubeEdge 中成功部署 Kubeflow，并完成训练任务的部署，输出一篇Blog前置技能：KubeEdge, KubeEdge-Sedna, Volcano课题导师：Shelley Bao | baoyue2@huawei.comFisher Xu | fisherxu1@gmail.com课题链接：https://mentorship.lfx.linuxfoundation.org/project/49fa6dab-9cb5-4889-bbeb-66c4a5545f8fGithub Issue：cid:link_3如果对课题内容有任何问题，欢迎在GitHub仓库提交Issue或者添加社区小助手微信向社区提问。今年秋季，KubeEdge社区期待在 LFX Mentorship 见到您！Reference[1] LFX Mentorship - Application Requirement: https://docs.linuxfoundation.org/lfx/mentorship/mentee-guide/am-i-eligible [2] LFX Mentorship - Program Readme: cid:link_0[3] LFX Mentorship - Mentee Application Guideline: https://docs.linuxfoundation.org/lfx/mentorship/mentee-guide/how-to-apply扫码回复“Mentorship”进入技术交流群

华为云云原生团队欢迎你的加入！

物联网与边缘算力飞速发展，如何实现边云协同AI，让AI赋能边侧各行各业？今天16:30，华为云专家直播交流云原生边缘计算核心技术与创新布局，为你轻松匹配多行业、多场景智能化升级的云边端协同解决方案！▍直播主题边云协同新场景，KubeEdge架构设计与边缘AI实践探索▍直播时间2024.07.24（周三） 16:30-18:00▍直播简介本期直播我们将解读业界首个云原生边缘计算框架KubeEdge的架构设计，如何实现边云协同AI，将AI能力无缝下沉至边缘，让AI赋能边侧各行各业，构建智能、高效、自治的边缘计算新时代，共同探索智能边缘的无限可能！▍讲师介绍 - EliasCNCF KubeEdge社区核心成员，华为云云原生团队研发工程师，在云原生边缘计算、云原生调度、物联网等领域有深入的研究和实践经验，目前负责KubeEdge社区设计开发及生态构建，主导基于KubeEdge的云原生边缘设备管理等开发工作，保持KubeEdge技术创新和竞争力。▍直播福利：福利1：互动有礼官网直播间发口令“华为云 DTSE”抽华为云定制T恤。福利2：有奖提问直播过程中提问，评选优质问题送华为云定制双肩包。更多福利：加入微信交流群直播期间扫码入群，解锁更多隐藏福利哦~扫码观看直播

近日我们很高兴的宣布 Kmesh 发布了 v0.4.0 版本。感谢社区的贡献者在两个多月的时间里做出了巨大的努力，使得 Kmesh 取得功能完整度、稳定性、可靠性的多重提升。当前 Kmesh 相较业界其他方案已经具备显著的资源开销小和低延时等优势，后续我们会继续在核心功能和大规模稳定性等方面重点投入，争取尽快达到 GA（生产可用）。▍Kmesh 背景回顾尽管服务网格已经在过去几年持续曝光，获得了很大的知名度，但是 Sidecar 模式在资源开销、数据链路时延等方面对工作负载产生了很大的影响。所以用户在落地选型时，还是比较谨慎。除此之外，Sidecar 模式还有一个比较大的缺点是 Sidecar 与业务容器生命周期完全绑定，无法做到独立升级。因此 Kmesh 创新性的提出基于内核的 Sidecarless 的流量治理方案，将流量治理下沉到内核以解决 Sidecar 模式用户关心的一些问题。eBPF 技术非常适合四层的流量治理，加上可编程内核模块可以进行七层的流量编排。Kmesh 最早完全通过 eBPF 和内核模块进行 L4-L7 的治理。Kmesh 采用随流治理的策略，不会额外增加服务通信过程中的连接跳数，相比 Sidecar 模式，服务之间的通信连接数从三条减少到一条。为了丰富七层协议的治理能力，今年 Kmesh 增加了一种新的治理模式 Workload：远端流量治理，利用 ebpf 将流量转发到 kmesh-waypoint，进行高级的七层协议治理，这是一种更加灵活的分层治理模型，能够按需满足不同用户的需求。目前 Kmesh 基于 Istio 控制面，提供了新的服务网格数据面引擎，详细的架构如下：▍Kmesh v0.4版本关键特性解析IPv6支持以前 Kmesh 只支持采用 IPv4 通信的服务治理，但是当前 Kubernetes 集群已经默认支持双栈集群，我们不能假设服务只采用 IPv4 协议通信，因此在 0.4 版本中我们适配了 IPv6 的协议特征，支持了 IPv6 的服务治理。值得注意的是：即使在 IPv4 集群中，Java 应用在通信时，默认采用 IPv6 地址族进行通信，所以如果需要采用 Kmesh 对 Java 服务进行治理，请一定要升级 Kmesh 0.4 版本。IPv6 目前只在 Workload 模式下完整支持。请期待下一个版本中，Kmesh 本地模式（流量治理完全下沉内核）也将完全支持 IPv6 协议族。细粒度的流量治理v0.4 版本，除了按照 Namespace 进行服务的纳管以外，我们还支持了按照 pod 粒度进行流量的纳管治理。一定程度上增加了灵活性，满足了客户只针对一个命名空间下的特定工作负载进行治理的需求。特定 Pod 纳管kubectl label pod istio.io/dataplane-mode=kmesh -n {namespace}整个 Namespace 纳管kubectl label ns istio.io/dataplane-mode=kmeshKmesh 通过检查 Pod 及 Namespace 上面标签，在不同的组件中进行 Pod 的纳管。场景一：Pod 创建时已经打上了标签，那么 kmesh 通过 Kmesh-cni 在容器网络初始化的时候通知 kmesh eBPF 程序进行纳管，保证工作负载启动之前完成纳管，不会遗漏任何数据包的治理。场景二：在 pod 启动之后，再为 Pod 打上 istio.io/dataplane-mode：kmesh标签，那么 Kmesh-daemon 会监听 Pod 事件，检查到标签更新后，通知 kmesh ebpf 程序进行纳管。场景三：去掉 istio.io/dataplane-mode：kmesh 标签，允许 Pod 不被 Kmesh 纳管。这种纳管方式更加灵活，也方便了用户在发现服务访问故障之后，快速进行故障隔离，定位定界。支持集群外部服务治理在服务网格中，我们可以通过 ServiceEntry 定义网格外部服务，一般为 DNS 类型。apiVersion: networking.istio.io/v1kind: ServiceEntrymetadata: name: external-svc spec: hosts: - news.google.com location: MESH_EXTERNAL ports: - number: 80 name: http protocol: HTTP resolution: DNS对于这种服务，控制面为其生成 STRICT_DNS 类型的 Cluster, endpoint 地址为域名。eBPF 程序不能进行 DNS 解析，因此不能根据域名进行 DNAT。在 Kmesh 0.4 版本中，我们新增了 DNS 解析模块，在用户态首先进行 DNS 解析，然后重写 Cluster 将域名替换成IP地址，再刷新给 eBPF 程序进行 DNAT。典型工作原理如图所示：DNS 类型服务的治理，大大拓展了 Kmesh 服务治理的范畴，由 Kubernets 集群，扩展到外部服务。基于 eBPF 的轻量化可观测可观测性是服务网格中很重要的基础能力，对于了解数据面通信的状态具有重大意义，可以基于监控进行告警。Kmesh 采用了分层观测架构，在治理数据面，内核中存在大量可用于观测的指标数据，Kmesh 通过 eBPF 以极低的代价将这些微观、细粒度指标收集起来，并支持链路级、Pod 级等多维度信息采集；并通过 ringbuf map 上报给 kmesh-daemon 组件，daemon 中根据实时订阅的观测数据，再组织加工成用户可理解的可观测信息。当前 Kmesh 已支持以下四种监控指标，每一种指标都通过标签标识源和目的应用，用户还可以配置 Prometheus 进行采集。kmesh_tcp_connections_opened_totalkmesh_tcp_connections_closed_totalkmesh_tcp_received_bytes_totalkmesh_tcp_sent_bytes_total接下来，社区将继续丰富metrics、access log等观测的采集，并完善与Prometheus、Grafana 等观测平台的对接。在线日志级别调整动态日志级别调整对于故障诊断具有很大的帮助，早期的版本，如果要分析 bpf 数据面的问题，获取更详细的定位日志，你需要修改代码并重新构建镜像，整个过程非常低效；新版本中被彻底改善，我们支持了在线日志级别调整，用户通过 Kmesh 运维命令，可实时调整用户态 Kmesh-daemon 和 bpf 程序的日志级别。使用样例如下：#Adjust kmesh-daemon log level (e.g., debug | error | info)kubectl exec -ti -n kmesh-system kmesh-6ct4h -- kmesh-daemon log --set default:debug#Adjust kmesh eBPF data plane log levelkubectl exec -ti -n kmesh-system kmesh-6ct4h -- kmesh-daemon log --set bpf:debug除了新特性的加入，v0.4 版本在可维护性、大规模性能、可测试性等方面也做出了诸多改进。▍大规模集群支持生产环境中，根据部署业务的不同，集群规模可大可小，对于 Kmesh 来说，大规模集群更能展现 Kmesh 架构的优势，经过评估，Kmesh 需要支持 5000 服务，10万 pod 级的集群管理，以满足绝大多数生产使用诉求。对于远端模式，Kmesh 修改了 bpf map 的创建模式，支持按需申请 bpf map 中的记录，这样我们可以很容易的支持大规模集群，且不引入冗余的内存开销；对于本地模式， bpf map 更新慢的问题一直困扰着我们，原本刷新一条规则需要几十甚至上百毫秒，0.4 版本，我们优化了 map-in-map 的初始化逻辑，通过空间换时间的策略，消除了 map-in-map 的刷新耗时，将规则的刷新降低到 ms 以内，这为后续支持大规模奠定了坚实的基础。▍E2E测试Kmesh 当前正处于快速膨胀的成长期，新特性正源源不断的加入到 Kmesh 中，如何保障社区的整体质量，确保 Kmesh 平稳有序的向前发展是社区面临的重要挑战；虽然社区已经有 UT test 做功能防护，但我们还缺少黑盒视角、集群级的功能防护；为此社区引入了 E2E 测试框架，并将其部署在 PR 门禁中，这样，每个新 PR 提交时，就可以及时检查新提交对于已有功能的影响，这对于 Kmesh 非常有用，当前 E2E 测试框架已经部署上线，并增加了部分测试用例，后续将不断丰富测试集，也欢迎社区的小伙伴们共同完善Kmesh测试防护网。详细的运行E2E测试请参考cid:link_2en/docs/developer/e2e-guide/▍加入社区贡献我们希望借助在 Istio 社区长期的积累，始终以开放中立的态度发展 Kmesh，打造 Sidecarless 服务网格业界标杆方案，服务千行百业，促进服务网格健康有序的发展。Kmesh 当前正处于高速发展阶段，我们诚邀广大有志之士加入！参考链接[1] Kmesh Website：cid:link_2[2] Kmesh Release v0.4.0：cid:link_1[3] 可观测性设计：cid:link_0添加小助手k8s2222回复Kmesh进入技术交流群

▍背景通常情况下，K8s集群的容器网络平面和外部网络是隔离的，外部网络无法直接访问到集群内部的容器业务，如何为容器提供并管理统一的外部流量入口?社区提供的常见方式是使用Nodeport Service，Loadbalancer Service，Ingress等K8s资源对象来暴露集群内部的容器原生应用。Service对象提供了四层负载均衡能力，Ingress对象则提供了面向应用层访问（HTTP/HTTPS等）的七层负载均衡能力。而随着云原生架构在企业内的普遍落地，容器作为云原生微服务应用的载体，需要面对更多挑战，如面对微服务的复杂组网，业务请求在云服务之间转发往往需要做源地址转换而导致流量分发损耗；游戏类、电商抢购类等业务在短时间内会进行频繁扩缩容，必须应对高并发的网络流量；网关入口流量应对互联网的安全攻击，如灰产、异常流量，需提供流量安全防护能力；此外，支持更加复杂的路由规则配置、多种应用层协议（HTTP、HTTPS、GRPC等）、应用蓝绿发布、流量可观测性等七层高级转发能力也逐渐成为了云原生应用的普遍诉求。Ingress Nginx，Ingress Kong，Traefik等开源社区方案虽然提供了丰富的七层流量治理功能， 但对于关键生产业务上云，企业在选择Ingress方案时,除了考虑功能性,还需要充分权衡安全性、可维护性和可靠性等方面的需求，以找到最佳平衡点。专业的云服务提供商提供托管的Ingress解决方案，能够较好的应对这些挑战。华为云CCE服务提供了基于应用型负载均衡ELB（Elastic Load Balance）的全托管免运维的企业级 Ingress 流量治理，让用户轻松应对云原生应用流量管理。▍ELB Ingress 介绍在K8s集群中，容器网络平面通常是独立于集群主机网络的一个隔离的网络平面，工作负载在滚动升级或者重新调度后容器的地址会有变化，这就带来一个问题：如何实现某组Pod的服务发现，并提供固定的外部访问入口？Service和Ingress对象就是K8s中实现集群内外应用统一访问入口的一种机制。K8s社区对集群外部的流量暴露提供了三种方式：Nodeport Service、Loadbalancer Service、Ingress，前两者Service对象主要提供集群四层流量入口，Ingres对象提供七层流量治理能力。两者相互配合，共同实现K8s集群应用的对外访问机制。如下图一所示，客户端通过Ingress管理的负载均衡器，访问Ingress申明的路由，由负载均衡器将流量经过后端Service导入至后端容器。ELB Ingress是华为云CCE服务提供的七层流量治理功能，基于社区标准Ingress API实现，提供高可用、高性能、高安全、多协议的全托管免运维负载均衡能力。同时具备弹性能力，在流量突发时支持快速扩展计算资源，支持千万级并发连接，百万级新建连接，是云原生应用流量治理的理想选择。▍ELB Ingress工作原理ELB Ingress部署于CCE集群的master节点上，与ELB实例对接，可将Ingress申明的容器后端地址、转发策略、路由等信息配置至ELB实例，并且支持动态更新。图二是基于Nodeport中转的ELB Ingress工作流图，CCE Standard集群使用该方案的原理如下：用户为集群创建Ingress资源，在Ingress中配置流量访问规则，如负载均衡器实例、URL路由、SSL证书等监听信息，以及访问的后端Service等，控制器通过标签选择器选中工作负载，将工作负载所在节点和Nodeport端口挂载至负载均衡器实例的后端；Ingress Controller监听到Ingress资源发生变化时，会根据其中定义的流量访问规则，在ELB侧重新配置监听器以及后端服务器路由;用户通过ELB访问应用程序，流量根据ELB中配置的转发策略转发到对应的Node节点，再经过Nodeport二次转发访问到关联的工作负载(Nodeport转发机制参见k8s官方文档说明)。该方案中流量经过节点、IPTables/IPVS规则多次转发，网络性能存在损耗。在大流量场景下，网络转发效率、网络连通速度的挑战尤为突出。为此，我们推出了基于CCE Turbo集群的网络加速方案：容器直接使用VPC网络实现直通容器的ELB Ingress，将原有的“容器网络 + 虚拟机网络“两层模型简化为一层。如图三所示，集群中的Pod IP直接从VPC中分配，支持北向ELB直通容器，外部流量可以不经过节点端口转发直接访问集群中的Pod，达到流量分发零损耗的效果。▍ELB Ingress流量治理核心优势ELB Ingress基于原生Kubernetes Ingress，通过声明式API指定Ingress的路由、对接的后端服务，或者通过Annotation配置监听侧的高级选项，由系统保证最终一致性。ELB Ingress为开发者和运维人员提供了极大的开发灵活性和维护便利性，其核心优势包括：高吞吐、高可用、高弹性ELB Ingress搭配独享型ELB实例，最高支持2千万并发连接；通过完善的健康检查机制，保障业务实时在线，支持多可用区的同城双活容灾，无缝实时切换；弹性规格ELB实例支持根据流量负载自动弹性扩缩实例规格，适用于业务用量波动较大的场景，例如游戏、视频等行业，能满足瞬时流量同时成本最小化。高安全性ELB Ingress提供了端到端的全链路安全策略，如下图四是外部流量经过ELB访问CCE Turbo集群的简单示例：在访问端可配置接入WAF引擎检测并拦截恶意攻击流量，而正常流量转发至后端云服务器。通过Ingress的Annotation配置可轻松为ELB实例配置自定义安全策略，例如设置黑白名单，双向认证等。从ELB转发至后端也支持HTTPS加密信道，进一步增强整体安全性。可移植性完全兼容社区Ingress语义，从开源Nginx Ingress等方案迁移过来仅需改造annotation即可轻松适配。可观测性云监控可以按时间轴查看ELB的网络流量和访问日志，动态分析并告警潜在风险；云审计可以实时监控ELB资源更新日志，针对风险动作实时告警，动态监控云上资源安全；Ingress Controller也支持丰富的普罗监控指标，如接口调用时延，reload次数等。免维护性ELB Ingress组件运行在集群的Master节点，用户无需关注运维问题，组件在集群升级时会自动更新，且对业务无感。▍ELB Ingress流量治理核心功能在社区基础功能之上，华为云ELB Ingress在负载均衡、路由规则、流量控制、安全性和可观测性等方面都有较大增强，满足了更复杂的生产环境需求。下面介绍ELB Ingress流量治理核心功能：灰度发布灰度发布是业界常用的版本升级平滑过渡的一种方式。在版本升级时，先让部分用户使用新版本，其他用户继续使用老版本。待新版本稳定后，再逐步扩大新版本的使用范围，直到所有用户流量都迁移到新版本上。这样可以最大限度地控制新版本发布带来的业务风险，降低故障影响范围，同时支持快速回滚。我们提供了基于Header/Cookie/Weight的灰度发布策略，前两种策略通过将用户分成若干组，在不同的时间段内逐步引入新版本，最终扩大新版本的影响范围；基于Weight的策略则是通过控制新版本的权重，在不同时间段内逐步增加新版本的流量比例，直到完全替代旧版本。高级转发策略随着云原生应用组网的日益复杂，传统的基于路由转发的七层流量治理已经难以满足需求。我们提供的高级转发策略可以很好地解决传统方案面临的局限性：基于请求头的负载均衡：根据客户端请求头的不同值，将请求分配到不同的后端服务器。HTTP重定向到HTTPS：系统自动将HTTP监听器流量转发至HTTPS监听，提升网站安全性，防止内容篡改等。URL重定向和重写：支持将URL永久或临时映射到另一个URL。同时，支持正则表达式匹配和实现不同路径的重写规则。慢启动在应用滚动升级时，ELB Ingress会自动更新负载均衡器后端，并且根据后端容器实例副本数自动设置后端权重。但是，在后端健康检查通过后的上线过程中，可能面临流量突增，导致后端容器的CPU或内存资源瞬间高负荷，从而影响业务稳定性。在开启慢启动模式后，系统可以在指定时间内，逐步将流量导入到目标容器后端。这样可以缓解业务容器突增的流量压力，保护系统免受过度负载的影响，实现优雅过渡。▍小结华为云CCE服务的ELB Ingress基于华为云应用型负载均衡ELB（Elastic Load Balance）提供强大的Ingress流量管理能力，兼容Nginx Ingress，具备处理复杂业务路由和证书自动发现的能力，支持HTTP、HTTPS和GRPC等协议，满足在云原生应用场景下对超强弹性和大规模七层流量处理能力的需求。后续我们还将发布系列文章，详细介绍基于ELB Ingress的流量管理最佳实践，欢迎各位读者继续关注。相关链接：华为云云容器引擎CCE服务路由概述：cid:link_3Ingress官方文档：cid:link_24步快速使用云容器引擎01注册账号，并登录CCE控制台点击注册帐号，并授予IAM用户相应的权限。登录CCE控制台帐号无需授权即可拥有所有权限，由帐号创建的IAM子用户需要授予相应的权限才能使用CCE，具体请参见权限管理。02 创建集群如果您需要创建普通Kubernetes集群，请参见快速创建Kubernetes集群。03 部署工作负载通过镜像或编排模板创建工作负载（应用）。· 创建无状态工作负载（Nginx）· 部署有依赖关系的WordPress和MySQL04 生命周期管理查看部署后工作负载的状态和日志信息，对工作负载进行相应的升级、伸缩和监控等。具体请参见管理工作负载和任务

如何设计合适当前云原生架构的成本估计模型？通常需要量化哪些指标？

数之联简介成都数之联科技股份有限公司成立于2012年，由985&211高校教授领衔，专注于大数据与人工智能技术的研发和应用。公司面向“智能化改造”和“数字化转型”这两大当前企业发展的重要战略方向，提供自主安全可控的人工智能基础设施与软硬一体的高端装备，助力客户提升管理和服务的智慧化水平，实现降本提质增效。▍行业背景在液晶面板生产领域，由于多种因素，产品常出现不良品。为此，关键工艺节点后引入了自动光学检测（AOI）设备，通过光学原理检测常见缺陷。然而，现有 AOI 设备仅识别缺陷有无，需要人工分类和识 别假缺陷，这一过程耗时且影响生产效率。数之联的客户企业，某面板龙头企业，引入自动缺陷分类系统（ADC）以提高判定准确性并减轻劳动强度，使用深度学习技术自动分类 AOI 输出的缺陷图片，并筛除误判，从而提高生产效率。客户企业率先在一个工厂引入 ADC，后续在其他工厂推广，节省人力资源，提高判定效率。尽管如此，由于工艺复杂和供应商差异，现场建设呈现出割裂和分散管理的趋势，给数据共享和运维带来困难。为解决这些问题，客户企业启动了工业智能检测平台的建设，该平台利用人工智能技术，标准化智能检测并提高生产效率和良率。工业智能检测平台工业智能检测平台 将 ADC 作为核心，扩展至模型训练和检测复判，实现“云”（管理+训练）+“边”（推理）+“端”（业务）的一体化方案，旨在通过标准化平台提高生产质量和数据价值。建设范围包括资源共享中心、现地 训练和边侧推理等子平台，将在若干工厂实施。工业智能检测平台架构图项目目标是实现现地 ADC 上线、资源共享和云边端标准化，以减轻运维负荷、提升标准。工业智能检测平台旨在通过规范化和标准化 客户企业 全集团的 ADC 系统，为后续 ADC 建设提供样本和模板，降低成本和周期，提高生 产和质检效率以及产品良率。包含系统管理员、资源配置员等用户角色，并涉及 ADC 推理、模型训练、数据共享等信息流，以及云端协同功能，确保 ADC 的自动缺陷分类生产过程，并提高模型和缺陷图片的 利用率。▍产品与技术实现一、集群管理不同现地可将对应的 K8s 集群注册至中心云系统，中心云系统对多个现地的集群进行管理。集群管理我们选择了 PULL 模式。为了降低 OP 的操作成本，我们在中心云提供了 step-by-step 的注册流程。引导安装 karmada-agent。使用 karmadactl token create 控制面生成 token。引导注册 karmadactl register 。在成员集群中编辑由 karmadactl register 创建的 deploy/karmada-agent 以确保其可以访问该成员集群的 kube-apiserver。二、使用聚合层 API通过 karmada-aggregator 组件提供的集群统一访问能力，我们可以在中心云实现可视化大屏等需要聚合成员集群的数据的功能。通常我们用 Service 来暴露 Java 实现的功能，并用 Java Fabric8 等客户端调用 kubectl get --raw 来实现调用：/apis/cluster.karmada.io/v1alpha1/clusters/%s/proxy/api/v1/namespaces/%s/services/%s/proxy/%s1、集群监控针对在线的集群，中心云系统可对内存、CPU、磁盘、网络流入流出速率、GPU、日志等指标进行监控数据展示，并可切换集群进行数据查看。资源监控中心云可以看到和训练云相同的监控，通过 Karmada 聚合层 API 由集群的 Java 程序对 PromQL 封装后提供给前端页面，以下是一个 Java 查询节点 CPU 利用率的示例：/apis/cluster.karmada.io/v1alpha1/clusters/%s/proxy/api/v1/namespaces/%s/services/%s/proxy/api/v1/query_range?query=node:node_cpu_utilization:avg1m{node='%s'}&start=%s&end=%s&step=%s2、中心云数据下发用户在中心云上传的数据，可自由选择下发至指定现地，包括数据集、标注、算子工程、算子镜像以及模型等。数据发布数据集、算子工程、模型，通常是文件，在完成传输后，会保存到本地或NAS等存储中。标注，通常是结构化数据，在完成传输后，会保存到 DB 中。算子镜像，一般导出为 tar 包，在完成传输后，会推送到当前集群的 harbor 中。中心云除了 Karmada 的控制面以外，也带有自己的业务 K8s 集群，也包括存储，因此可以作为一个中转器。以上均通过 Karmada 的聚合层 API 来调用我们提供的文件上传等 svc。实现了集群和集群之间的调用。3、跨现地训练针对某现地训练资源不足的情况下，可通过申请其他现地资源的方式，进行跨现地训练。该功能实现方式为将 A 现地训练所需要的数据集、标注、算子工程、算子镜像等数据发送至 B 现地，通过 B 现地的资源进行训练。再将训练好的模型返回给 A 现地。跨现地训练原理和中心云数据下发类似，任务所需的数据会直接发送到对应集群，体现了成员集群和成员集群之间的调用关系。4、可视化大屏根据中心云注册的现地，统计不同现地的各类指标数据进行大屏展示。可视化大屏通过 Karmada 聚合层 API，我们在这类大屏中展示实时数据的时候，可以方便地直接调用成员集群的 svc。而无需让所有的数据显示都走大数据的离线分析、实时分析。提供更高的时效性。▍项目管理本项目的团队由我司经验丰富的训练平台产品经理，以及专业的研发工程师和测试工程师 14 名组成。团队从 2023 年 4 月开始工作，直至 2023 年 12 月完成了开发和部署工作。尽管项目在进程中经历了三个大的里程碑，每个阶段都充满了挑战，但团队的每一个成员都坚持不懈，积极应对，展现了我们团队的战斗力、凝聚力和专业能力。考虑到训练平台的用户主要是算法工程师和产线业务人员，他们的使用习惯和知识背景存在显著差异，因此产品经理进行了深入的市场研究和讨论，最终设计出一款既能满足算法工程师的灵活性需求，又能满足产线业务人员追求高效、简洁的系统。为了确保项目的范围、进度、质量和成本可控，我们在关键阶段举行了包括产品设计、开发、测试和部署评审等会议，并定期召开项目会议以及客户沟通会议。系统部署后，我们积极获取用户反馈，解决问题并持续优化系统以满足客户需求。添加社区小助手进入Karmada交流群

2024年6月22日，华为开发者大会2024期间，在“全域Serverless时代：技术创新引领，赋能行业实践”专题论坛上，华为云云原生服务产品专家带来主题演讲——Serverless容器的成本效益与敏捷开发之道（The Cost-Effective and Agile Path of Serverless Containers）。他表示，Serverless已成为云原生算力的主流形态，华为云提供CCE Autopilot（Serverless容器集群）和CCI（Serverless容器实例）两款容器产品，并面向垂直场景（如AI、HPC以及Web等）提供Serverless Workloads，简化用户体验。华为云CCE Autopilot以其创新的免运维特性，为容器服务提供全面优化的Kubernetes兼容性，让用户专注于核心业务的创新与实现。▍华为云持续投入Serverless基础设施，简化运维管理，释放创新潜力在云计算的浪潮中，容器技术以其轻量级和高效性，成为企业IT架构转型的强劲动力。然而，随着业务的快速发展，传统的容器服务（Serverful）逐渐暴露出一系列问题：运维管理复杂、弹性速度慢、成本控制困难，这些都严重制约了企业的创新步伐。运维管理复杂：用户需要手动管理底层服务器的资源分配和扩展，不仅涉及到复杂的容量规划和资源调度，还涉及到持续的节点运维故障排查、系统升级等运维活动。运维成本高，需投入大量人力和物力资源。弹性速度慢：用户需制定节点和负载的弹性联合策略，容器弹性扩容通常需要提前对工作节点进行扩容，过程通常需要分钟级别的等待，影响效率和响应速度。成本控制困难：容器节点需要预先分配资源，当资源未被充分利用时，会造成资源浪费，且高负载情况时可能资源不足，难以实现成本效益最大化。华为云容器引擎服务深刻洞察行业痛点，致力于Serverless基础设施的研发与创新，为用户提供全面优化的负载支持。面对独立资源池的管理和运营挑战，华为云容器服务采用Serverless融合底座，实现CPU、内存、GPU等资源的池化管理，提升资源灵活性和可扩展性。基于该融合资源底座，华为云推出CCE Autopilot产品，用户只需管理容器生命周期，享受由融合资源池统一管控的高效率服务，无需过度关注节点负载或资源池承载能力，为用户提供一个灵活且易于管理的计算环境，简化运维管理，释放创新潜力。▍CCE Autopilot: 实现k8s集群托管免运维，加速应用现代化CCE Autopilot是云容器引擎服务推出的Serverless版集群，为用户提供免运维的容器服务，并提供经过优化的Kubernetes兼容能力。在传统的CCE集群模式中， Kubernetes的master节点由华为云托管，用户需要对节点和应用进行统一管理。这要求用户具备一定的Kubernetes管理知识，以便有效地维护和扩展其容器化应用。在CCE Autopilot模式下，华为云不仅托管了k8s的控制节点，还托管了工作节点，用户无需购买节点即可部署应用，这意味着用户只需要关注应用业务逻辑的实现，可以大幅降低运维成本，提高应用程序的可靠性和可扩展性。对比CCE/CCE turbo集群，CCE Autopilot集群核心演进如下：产品Serverless化：增 加集群工作节点托管，实现集群全托管，用户无需对节点的部署、管理和安全性进行维护，集群规格自动弹性伸缩。资源池 化：采用华为云Serverless融合资源池，实现CPU、内存、GPU等资源的池化管理，减少资源碎片，容器资源按需使用。性能全面优化：通过动态预热技术进行资源池预热，资源供给加速，容器秒级弹性，根据负载规模自动扩缩。▍CCE Autopilot关键能力CCE Autopilot通过以下关键能力，重新定义了容器服务的管理和运维，助力企业轻松应对业务挑战，加速创新步伐。智能可靠的集群免运维体验CCE Autopilot通过智能化版本升级、漏洞自动修复和智能调参等技术，给用户提供更稳定、更安全、更智能的集群使用体验。作为全托管的Serverless解决方案，它简化了容量规划和节点购买流程，用户无需管理和维护底层资源设施，大幅减少了运维工作量。这种开箱即用的产品形态，让用户能够专注于核心业务逻辑的开发和部署。持续迭代的极致弹性性能CCE Autopilot以极致性能为核心，联合底层服务构建统一Serverless容器资源底座，通过多级资源池预热技术，精准满足客户多元异构的资源需求，并持续迭代优化性能。无论是面对突发流量、季节性波动还是长期增长，用户无需提前规划和预留资源，实现容器秒级弹性，根据负载规模自动进行扩缩，确保业务的连续性和性能的最优化。用户可以在短时间内快速上线新应用或服务，快速响应市场变化。全面兼容的云原生开源生态CCE Autopilot将Serverless架构优势与云原生开源生态相结合，提供全面兼容Kubernetes生态的Serverless集群，使用户能够根据需求灵活扩展功能。它支持Kubernetes社区版本的全跟随和自动更新，确保用户及时获得最新技术更新和安全补丁，保持技术前沿。未来将持续集成包括安全、应用管理、弹性、CI/CD、AI在内的主流开源软件如OPA Gatekeeper、Knative等，提供开箱即用的应用框架，让客户更加轻松的管理自己的Kubernetes应用。灵活规格与按秒计费CCE Autopilot旨在提供一种灵活、高效且具有成本效益的云服务体验。利用自动化技术，产品能够实现集群规格的动态调整，并且取消了传统的档位限制，用户可以享受从0.25vCPU起步的灵活规格档位，根据自己的具体需求优化资源配比。采用按量计费模式，用户按照实际使用的资源量（以秒为单位）支付费用，实现真正的按需付费，减少不必要的成本支出。安全隔离与自动预警CCE Autopilot基于QingTian架构，实现虚拟机级别的安全隔离能力，并通过专属的container OS提供精简且安全的运行环境。其底层统一资源池设计支持快速故障隔离和修复，确保应用的持续安全稳定运行。系统内置的自动预警机制能够及时识别并预防管控面过载风险，管控组件具备自动弹性能力，在负载增加时能够自动扩展，进一步保障服务的稳定性和可靠性。▍CCE Autopilot典型应用场景华为云CCE Autopilot以其Serverless特性，为多样化的业务场景提供了强大的支持和便利。以下是CCE Autopilot的典型应用场景：SaaS/企业平台的运维与迭代升级CCE Autopilot适合作为SaaS平台和企业平台的坚实底座，尤其适用于需要频繁进行升级和迭代的大型企业资源池。传统模式客户需自运维自升级，运维人力成本巨大。CCE Autopilot的自动化运维减少了对人力资源的依赖，显著降低了运维成本。且对互联网金融等对安全合规性有严格要求的行业，传统驾驶模式客户自运维，OS等保能力建设困难，CCE Autopilot的托管服务不仅简化了节点管理，还提升了系统的安全性和合规性，使企业能够更专注于核心业务的创新与发展。业务高效弹性伸缩针对互联网文娱、社交和网约车等具有明显流量波动的业务，如春节期间流量激增的情况，CCE Autopilot提供的智能资源弹性解决方案，能够根据业务特征和流量预测，动态调整资源配置。这种基于业务感知的弹性策略，避免了传统定时弹性策略中的资源浪费，实现了资源供给与业务需求的高效匹配，帮助企业在保持业务连续性的同时，优化了成本结构。成本优化配置CCE Autopilot为有成本优化诉求的企业用户提供了灵活的资源配置方案。它满足了用户对低成本学习、资源灵活配置的需求，同时支持业务量的自动扩缩，以适应业务的快速增长。CCE Autopilot确保了即使在资源需求较小的初期阶段，用户也能获得高可靠性和性能的服务，随着业务的扩展，资源可以无缝扩展，满足企业对成本效益和业务连续性的需求。▍如何使用CCE Autopilot集群进入华为云控制台，选择云容器引擎CCE产品。在控制台界面，选择购买集群，选择CCE Autopilot集群类型，再进行基础的网络插件等配置，便可进行CCE Autopilot集群创建。集群创建完成后，用户将进入集群的管理界面，在这里可以直接访问Kubernetes资源管理等功能。CCE Autopilot相较于CCE集群，其显著的特点在于省略了节点、节点池管理内容，这得益于产品侧提供了基础设施全托管服务。尽管如此，用户仍然可看到完整的Kubernetes控制面信息。▍总 结华为云CCE Autopilot以其Serverless架构，引领容器服务进入全新时代。它通过免运维、动态资源管理、智能预测和自动化运维，不仅极大简化了IT管理，还显著降低了运营成本，提高了资源的利用效率。同时，CCE Autopilot的兼容性保证了与Kubernetes生态的无缝对接，助用户敏捷应对市场，加速创新步伐。期待更多客户、伙伴与华为云一起开启企业数字化转型的新篇章，共同迎接更加高效、智能的未来！华为云CCE Autopilot限时免费体验，登录华为云官网-活动-云容器 活动专场，了解更多详情：cid:link_0容器活动专场