华为云CCE Autopilot支持哪些存储选项？

CCE Autopilot如何确保容器的安全性和隔离性；它采用了哪些安全机制来防止容器之间的攻击和数据泄露？

近年来快速发展的视觉大模型(例如 SAM )在促进高精度的智能感知方面具有很大的潜力。然而，边缘环境中的资源限制往往会限制这种视觉大模型在本地部署，从而产生相当大的推理延迟，导致难以支持自动驾驶和机器人等实时物联网智能感知应用。KubeEdge SIG AI 复旦大学吕智慧团队胡时京在 KubeEdge-Ianvs 上发布了基于大小模型协同推理的云边协同物联网感知方法，通过难例样本挖掘算法将少量难例样本上传云端由视觉大模型处理，大部分简单样本在边缘端由小模型处理，在保证推理时延的情况下提高了应对难例样本的处理效果。代码请见：cid:link_1一、背景智慧城市、物联网( IoT )技术的发展已经在国内外社会中根深蒂固，它们改变了人们日常生活和工作的方式，如自动驾驶、机器人、数字孪生、可穿戴设备和增强现实等。其中大量数据从物理世界生成和收集并由各种人工智能（AI）应用程序处理成用户需要的信息越来越成为了一种发展趋势。据 Gartner 统计，到2025年，物联网等终端设备产生的数据量将达到 79.4 zettabytes（ZB），到2030年，物联网设备数量将达到1250 亿。不断激增的终端设备（如移动设备，物联网设备）产生了海量的数据，由于物联网数据的特点（即容量大、多样性、产生速度快），传统的基于云的物联网模型已经无法满足物联网中智能应用的要求，数据源的高度分散性和广泛分布的人工智能应用要求物联网中的边缘设备具有智能感知的能力，即基于海量物联网数据训练边缘模型并进行高效推理。图1：物联网感知失败案例然而真实世界中的物联网边缘设备往往处在一个动态变化的环境中，例如自动驾驶汽车、机器人等移动边缘设备采集的数据会受其位置变化影响，监控摄像头采集的数据会受时间变化影响。物联网边缘设备采集的数据的分布和特征并非一成不变，在真实物联网边缘环境中普遍存在数据漂移和数据异构的现象。数据漂移和数据异构现象会对物联网边缘设备的智能感知能力造成极大影响，严重者甚至会导致出现人员伤亡以及业务受损。如图1所示，2017年，波士顿动力公司的人形机器人 Atlas 因为演示台所处环境与其训练所处环境相差较大未能正确识别演示台边缘，抱箱摔下演示台，该事件导致其股价大跌。2020年12月，福州中防万宝城导购机器人无法识别扶梯，跌落并撞翻两位客人，造成两人轻伤。2021年3月，特斯拉视觉识别应用误把白色卡车识别为天空，导致撞车造成至少两人丧生，特斯拉市值蒸发约440亿美金。2021年10月，美团无人配送车在送货过程中与一辆私家车相撞，美团被判全责。以上案例充分说明了数据漂移问题和数据异构问题是目前物联网智能感知技术的两大挑战。针对数据漂移问题，现有的解决思路致力于发生数据漂移后对模型在新的数据集上进行重训练使其能适应新的环境变化。然而重训练模型也会导致模型忘记之前学习到的信息，出现灾难性遗忘现象。这导致当物联网边缘设备又回到之前的环境时还需要再重新训练模型，造成了对算力的极大浪费。因此在训练过程中需要让模型具备终身学习的能力，使模型一方面可以不断学习新的数据集中的内容以适应新的环境，另一方面模型也不会大幅度遗忘在旧的数据集上学习到的信息，从而减少再重训练的开销。针对数据异构问题，目前快速发展的视觉大模型，如 Meta 公司发布的 Segment Anything Model（SAM），具有较强的泛化能力，在处理分布外的异构数据时相比传统计算机视觉模型效果较好。因此在物联网感知推理过程中引入视觉大模型是应对数据异构问题的关键解决方案之一。但是以 SAM 为首的大模型由于其参数量较大，难以部署在资源受限的边缘端，只能部署在云端使用。而很多边缘物联网设备，例如机器人、自动驾驶汽车，对推理的实时性要求较高，如果将所有推理样本都上传云端处理，会造成较大的通讯开销，并极大增加推理时延。因此只单独使用在云端部署的 SAM 大模型无法满足实时物联网感知的需求，需要通过云端大模型和边缘小模型的云边协同来解决实时物联网感知的挑战。二、基于大模型的边云协同物联网感知系统实现针对上述物联网边缘环境普遍存在的数据漂移和数据异构问题，我们采用终身学习训练方法动态更新边缘小模型从而使模型适应新的环境，我们在云端部署视觉大模型 SAM 用于处理分布外异构数据从而应对边缘小模型难以处理的难例推理样本。同时考虑到云端部署的 SAM 视觉大模型推理时延较大，难以满足物联网实时感知任务的需求，我们采用基于难例样本挖掘的云边协同策略，将大部分简单推理样本在边缘端由边缘小模型处理，少部分难例推理样本上传云端由云端 SAM 大模型处理，从而在保证推理时延的情况下提高推理准确率。▍2.1 总体架构设计基于大模型的边云协同物联网感知系统总体架构设计如图2所示，边云协同物联网感知系统包括云边协同推理和终身学习训练两部分。云边协同推理模块用于解决物联网感知的数据异构和实时性问题。以 SAM 为首的大模型具有较强的泛化能力，因此在处理分布外异构数据时准确率更高。我们通过基于难例样本挖掘的云边协同策略，将大部分简单样本在边缘处理，只有少部分难例样本才需要上传云端由 SAM 大模型处理，从而提高推理实时性。在云边协同推理部分，我们在边缘节点部署 RFNet 模型和难例样本挖掘算法用于实现在边缘端对简单样本的推理和判断推理样本是否需要上传云端。难例样本挖掘算法根据 RFNet 模型推理的结果将样本分为难例样本和简单样本，简单样本直接输出 RFNet 推理结果，难例样本上传云端处理，从而降低推理时延，提高推理实时性。我们在云端部署 SAM 模型用于对难例样本的推理结果进行优化，从而应对数据异构的问题。优化后的云端推理结果会下载到边缘节点作为难例样本的推理结果输出。SAM 模型可以通过 prompt 的方式以交互的形式对图像进行分割，在本项目中我们参考复旦大学提出的 SSA（Semantic Segment Anything）[1] 方法，用 SAM 模型将图像中所有物体都分割出来从而直接应用 SAM 模型于语义分割任务中。图2：基于大模型的边云协同物联网感知系统架构终身学习训练模块用于解决数据漂移问题。当环境变化导致数据分布发生变化时，原来训练的 RFNet 模型在面对数据分布变化后的样本时推理准确率会出现大幅度下降。终身学习算法通过在新分布的数据上持续训练 RFNet 模型从而提高 RFNet 模型的推理准确率，使之适应数据漂移现象。在终身学习训练部分，我们将上传到云端的难例样本及其云端推理结果存储在 replay buffer 中。当 replay buffer 中样本超过一定数量时，我们基于 replay buffer 中的难例样本对 RFNet 模型进行再训练，从而提高边缘模型应对数据漂移问题的能力。训练后的 RFNet 模型会被下载到边缘节点更新边缘端的 RFNet 模型。基于大模型的边云协同物联网感知系统总体架构设计如图2所示，边云协同物联网感知系统包括云边协同推理和终身学习训练两部分。上述系统架构的优势在于：通过难例样本挖掘，大部分简单样本在边缘节点由 RFNet 模型直接得到推理结果，保证系统可以满足实时性要求。少部分 corner case、难例样本上传云端由大模型 SAM 推理得到更完善的推理结果，提高系统推理平均准确率。通过终身学习训练，边缘端 RFNet 模型可以在大模型 SAM 的监督下从难例样本中学习到一定经验，从而适应边缘端复杂多变的环境。KubeEdge 是目前主流的开源边缘计算平台，其子项目 KubeEdge-Ianvs，作为业界首个分布式协同 AI 基准测试平台，基于 KubeEdge-Sedna 为算法及服务开发者提供全场景可扩展的分布式协同 AI 基准测试，以研发、衡量和优化分布式协同 AI 系统。我们基于 Kubeedge-Ianvs 实现了该系统架构，具体在 Ianvs 中实现的模块如图3所示。图3：在KubeEdge-Ianvs中实现模块我们将难例样本挖掘算法填补在 Ianvs 的未知样本识别模块，其将样本分为难例样本（未知样本）和简单样本（已知样本）。在云端节点基于大模型 SAM 对难例样本的推理在未知样本推理模块中实现，在边缘端基于 RFNet 对简单样本的推理在已知样本推理模块中实现。对于终身学习训练的部分，我们在已知和未知任务处理模块实现，这部分我们延用了 Ianvs 默认的终身学习训练配置。▍2.2 案例分析我们采用在华为深圳工业园区由智能机械狗采集的语义分割机器人数据集 Cloud-Robotics 作为本项目的测试 benchmark。Cloud-Robotics 是首个在真实世界场景中由机械狗实地收集的数据集，因此数据集中的图片都是以机械狗的视角拍摄的，拍摄角度相比 Cityscapes 等自动驾驶语义分割数据集更低，也更贴近实际机器人应用（递送、巡检）。数据集官网链接：cid:link_6。图4展示了在 Cloud-Robotics 数据集中RFNet模型和SAM模型部分的推理结果，不难看出 RFNet 在处理部分 corner case 比如反光（第三排图片）时效果较差，将建筑物识别为天空。然而通过大模型 SAM 推理得到分割完善的 mask 后基于像素级的投票成果将错误识别为天空的部分正确识别为了建筑物。图4：部分实验结果展示我们在[Cloud-Robotics][2] 数据集上进行了实验，为了进一步对比 SAM+RFNet 效果，我们额外选取了 Huggingface 发布的在cityscapes数据集上预训练的[Segformer][3] 模型作为基模型进行测试，测试结果如下表：上表展示了不同算法在 Cloud-Robotics 数据集上对不同类别物体的识别准确率（IoU）。我们将识别物体根据其在数据集中出现的频率分为常见类别和稀有类别两种。从结果中可以看出对于常见类别的 Road、Sidewalk 和 builiding 类物体的识别上，SAM+RFNet 云边协同和 RFNet 效果提升仅有1%左右，这是因为对于识别常见类别的简单任务来说，RFNet 模型的准确率已经很高了，再额外加入 SAM 大模型也没有太多提升空间。而对于园区中出现较少稀有类别的 Car、Terrain 类物体， SAM+RFNet 相比 RFNet 提升平均超过20%以上，这是因为对于识别稀有类别的难例任务来说，RFNet 模型处理效果不好，而 SAM 模型更擅长处理。总体来说， SAM+RFNet 云边协同相比只用RFNet准确率提升了8%以上，证明了我们提出的基于大模型的边云协同物联网感知系统的有效性。同时可以看出使用 Segformer 作为基模型的结果则相差很多，这主要是因为 Segformer 是在 cityscapes 数据集上预训练的，而 Cloud-Robotics 数据集中存在 cityscapes 数据集中没有的标签，同时数据集的分布差别较大（Cloud-Robotics 面向半封闭工业园区，cityscapes 面向开放世界）导致了 Segformer 推理结果较差。在Cityscapes 数据集上预训练的 Segformer 模型在 Car 类物体识别上准确率较高，这主要是因为 Cityscapes 数据集是面向开放世界的语义分割数据集，其中 car 类物体出现频率更高。下图展示了 RFNet 和 Segformer 的部分推理结果对比。图5：不同模型效果展示如图5所示，可以看出因为 Segformer 在分类时就将整个天空都识别为了建筑，因此即便 SAM 推理的结果中将天空正确切割出来了，最后 SAM+Segformer 的推理结果中天空仍然是分类错误的。这告诉我们 SAM 大模型不能解决一切问题，最终推理结果还是依赖于使用的小模型推理标签准确。因此即便在使用大模型进行云边协同推理时，对边缘端小模型进行终身学习更新仍然是必要的。三、基于KubeEdge-lanvs的使用教程在这章中我们通过运行 Ianvs 终身学习的 cloud-robotics 样例向大家讲解基于 KubeEdge-Ianvs 实现大模型边云协同物联网感知的基本流程。Ianvs 安装流程以及终身学习更详细的介绍可以参考：Ianvs-lifelong-learning-tutorial[4]。首先我们需要配置好 Cloud-Robotics 的数据集，先创建数据集的文件夹，注意如果你把数据集放到别的位置，本教程中的部分路径配置也要一并修改。mkdir /data cd /data mkdir datasets cd datasets download datasets in cid:link_6download.html配置好数据集后，我们可以准备运行示例代码了。Cloud-Robotics 示例运行的代码放在/ianvs/project/ianvs/examples/robot/lifelong_learning_bench/semantic-segmentation下，我们首先要配置 python 路径（这里如果 Ianvs 安装位置不一样的话需要更改路径）：export PYTHONPATH=$PYTHONPATH:/ianvs/project/ianvs/examples/robot/lifelong_learning_bench/semantic-segmentation/testalgorithms/rfnet/RFNet然后我们需要去安装 SAM 大模型：cd /ianvs/project git clone https://github.com/facebookresearch/segment-anything.git cd segment-anything python -m pip install -e .下载模型参数：wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth为了保存模型推理结果，我们需要按照以下指令安装 mmcv 和 mmdetection:python -m pip install https://download.openmmlab.com/mmcv/dist/cu118/torch2.0.0/mmcv-2.0.0-cp39-cp39-manylinux1_x86_64.whl cd /ianvs/project git clone https://github.com/hsj576/mmdetection.git cd mmdetection python -m pip install -v -e .在机器配置性能不足以运行 SAM 模型的情况下，我们为 Cloud-Robotics 数据集中的所有 SAM 推理结果准备了一个缓存。你可以从这个链接 [5]下载缓存，并把缓存文件放在“/ianvs/project/”中:cp cache.pickle /ianvs/project通过使用缓存，可以在不安装 SAM 模型的情况下模拟基于大模型的边云协同推理。除此之外，我们还在这个链接  [6]中提供了一个预训练的 RFNet 模型，如果你不想从零开始训练 RFNet 模型，可以使用我们预训练的 RFNet 模型：cd /ianvs/project mkdir pretrain cp pretrain_model.pth /ianvs/project/pretrain in /ianvs/project/ianvs/examples/robot/lifelong_learning_bench/semantic-segmentation/testalgorithms/rfnet/RFNet/utils/args.py set self.resume = '/ianvs/project/pretrain/pretrain_model.pth'上述所有配置完成后，执行下面指令即可进行基于 SAM 大模型的边云协同推理：cd /ianvs/project/ianvs ianvs -f examples/robot/lifelong_learning_bench/semantic-segmentation/benchmarkingjob-sam.yaml相关资料：[1] SSA（Semantic Segment Anything）: cid:link_0[2] Cloud-Robotics: cid:link_6[3] Segformer: cid:link_2[4] Ianvs-lifelong-learning-tutorial: cid:link_5[5] cid:link_3[6] cid:link_4更多云原生技术动向关注容器魔方

使用华为云Serverless容器服务时，怎么保证系统的稳定性？

华为云CCI Pod的标准监控接口是否支持自定义查询语句？

华为云CCI和k8s集群存在哪些关系？

华为云隆重推出云容器Serverless产品CCE Autopilot，引领容器服务进入全面“自动驾驶”的新时代。CCE Autopilot以其创新的免运维特性，为您的容器服务提供全面优化的Kubernetes兼容性，让您专注于核心业务的创新与实现。 ▍华为云持续投入Serverless基础设施，简化运维管理，释放创新潜力  在云计算的浪潮中，容器技术以其轻量级和高效性，成为企业IT架构转型的强劲动力。然而，随着业务的快速发展，传统的容器服务（Serverful）逐渐暴露出一系列问题：运维管理复杂、弹性速度慢、成本控制困难，这些都严重制约了企业的创新步伐。运维管理复杂：用户需要手动管理底层服务器的资源分配和扩展，不仅涉及到复杂的容量规划和资源调度，还涉及到持续的节点监控、故障排查、系统升级等运维活动。运维成本高，需投入大量人力和物力资源。弹性速度慢：用户需制定节点和负载的弹性联合策略，容器弹性扩容通常需要提前对工作节点进行扩容，过程通常需要分钟级别的等待，影响效率和响应速度。成本控制困难：容器节点需要预先分配资源，当资源未被充分利用时，会造成资源浪费，且高负载情况时可能资源不足，难以实现成本效益最大化。华为云容器引擎服务深刻洞察行业痛点，致力于Serverless基础设施的研发与创新，为用户提供全面优化的负载支持。面对独立资源池的管理和运营挑战，华为云容器服务采用Serverless融合底座，实现CPU、内存、GPU等资源的池化管理，提升资源灵活性和可扩展性。基于该融合资源底座，我们推出CCE Autopilot产品，用户只需管理容器生命周期，享受由融合资源池统一管控的高效率服务，无需过度关注节点负载或资源池承载能力，为用户提供一个灵活且易于管理的计算环境，简化运维管理，释放创新潜力。▍CCE Autopilot: 实现k8s集群托管免运维，加速应用现代化CCE Autopilot是云容器引擎服务推出的Serverless版集群，为用户提供免运维的容器服务，并提供经过优化的Kubernetes兼容能力。在传统的CCE集群模式中， Kubernetes的master节点由华为云托管，用户需要对节点和应用进行统一管理。这要求用户具备一定的Kubernetes管理知识，以便有效地维护和扩展其容器化应用。在CCE Autopilot模式下，华为云不仅托管了k8s的控制节点，还托管了工作节点，用户无需购买节点即可部署应用，这意味着用户只需要关注应用业务逻辑的实现，可以大幅降低运维成本，提高应用程序的可靠性和可扩展性。对比CCE/CCE turbo集群，CCE Autopilot集群核心演进如下：产品Serverless化：增加集群工作节点托管，实现集群全托管，用户无需对节点的部署、管理和安全性进行维护，集群规格自动弹性伸缩。资源池化：采用华为云Serverless融合资源池，实现CPU、内存、GPU等资源的池化管理，减少资源碎片，容器资源按需使用。性能全面优化：通过动态预热技术进行资源池预热，资源供给加速，容器秒级弹性，根据负载规模自动扩缩。▍CCE Autopilot关键能力CCE Autopilot通过以下关键能力，重新定义了容器服务的管理和运维，助力企业轻松应对业务挑战，加速创新步伐。智能可靠的集群免运维体验CCE Autopilot通过智能化版本升级、漏洞自动修复和智能调参等技术，给用户提供更稳定、更安全、更智能的集群使用体验。作为全托管的Serverless解决方案，它简化了容量规划和节点购买流程，用户无需管理和维护底层资源设施，大幅减少了运维工作量。这种开箱即用的产品形态，让用户能够专注于核心业务逻辑的开发和部署。持续迭代的极致弹性性能CCE Autopilot以极致性能为核心，联合底层服务构建统一Serverless容器资源底座，通过多级资源池预热技术，精准满足客户多元异构的资源需求，并持续迭代优化性能。无论是面对突发流量、季节性波动还是长期增长，用户无需提前规划和预留资源，实现容器秒级弹性，根据负载规模自动进行扩缩，确保业务的连续性和性能的最优化。用户可以在短时间内快速上线新应用或服务，快速响应市场变化。全面兼容的云原生开源生态CCE Autopilot将Serverless架构优势与云原生开源生态相结合，提供全面兼容Kubernetes生态的Serverless集群，使用户能够根据需求灵活扩展功能。它支持Kubernetes社区版本的全跟随和自动更新，确保用户及时获得最新技术更新和安全补丁，保持技术前沿。未来将持续集成包括安全、应用管理、弹性、CI/CD、AI在内的主流开源软件如OPA Gatekeeper、Knative等，提供开箱即用的应用框架，让客户更加轻松的管理自己的Kubernetes应用。灵活规格与按秒计费CCE Autopilot旨在提供一种灵活、高效且具有成本效益的云服务体验。利用自动化技术，产品能够实现集群规格的动态调整，并且取消了传统的档位限制，用户可以享受从0.25vCPU起步的灵活规格档位，根据自己的具体需求优化资源配比。采用按量计费模式，用户按照实际使用的资源量（以秒为单位）支付费用，实现真正的按需付费，减少不必要的成本支出。安全隔离与自动预警CCE Autopilot基于QingTian架构，实现虚拟机级别的安全隔离能力，并通过专属的container OS提供精简且安全的运行环境。其底层统一资源池设计支持快速故障隔离和修复，确保应用的持续安全稳定运行。系统内置的自动预警机制能够及时识别并预防管控面过载风险，管控组件具备自动弹性能力，在负载增加时能够自动扩展，进一步保障服务的稳定性和可靠性。▍CCE Autopilot典型应用场景华为云CCE Autopilot以其Serverless特性，为多样化的业务场景提供了强大的支持和便利。以下是CCE Autopilot的典型应用场景：SaaS/企业平台的运维与迭代升级CCE Autopilot适合作为SaaS平台和企业平台的坚实底座，尤其适用于需要频繁进行升级和迭代的大型企业资源池。传统模式客户需自运维自升级，运维人力成本巨大。CCE Autopilot的自动化运维减少了对人力资源的依赖，显著降低了运维成本。且对互联网金融等对安全合规性有严格要求的行业，传统驾驶模式客户自运维，OS等保能力建设困难，CCE Autopilot的托管服务不仅简化了节点管理，还提升了系统的安全性和合规性，使企业能够更专注于核心业务的创新与发展。业务高效弹性伸缩针对互联网文娱、社交和网约车等具有明显流量波动的业务，如春节期间流量激增的情况，CCE Autopilot提供的智能资源弹性解决方案，能够根据业务特征和流量预测，动态调整资源配置。这种基于业务感知的弹性策略，避免了传统定时弹性策略中的资源浪费，实现了资源供给与业务需求的高效匹配，帮助企业在保持业务连续性的同时，优化了成本结构。成本优化配置CCE Autopilot为有成本优化诉求的企业用户提供了灵活的资源配置方案。它满足了用户对低成本学习、资源灵活配置的需求，同时支持业务量的自动扩缩，以适应业务的快速增长。CCE Autopilot确保了即使在资源需求较小的初期阶段，用户也能获得高可靠性和性能的服务，随着业务的扩展，资源可以无缝扩展，满足企业对成本效益和业务连续性的需求。▍如何使用CCE Autopilot集群进入华为云控制台，选择云容器引擎CCE产品。在控制台界面，选择购买集群，选择CCE Autopilot集群类型，再进行基础的网络插件等配置，便可进行CCE Autopilot集群创建。集群创建完成后，用户将进入集群的管理界面，在这里可以直接访问Kubernetes资源管理等功能。CCE Autopilot相较于CCE集群，其显著的特点在于省略了节点、节点池管理内容，这得益于产品侧提供了基础设施全托管服务。尽管如此，用户仍然可看到完整的Kubernetes控制面信息。CCE Autopilot的购买和使用详情可查看CCE Autopilot集群用户指南。▍总结华为云CCE Autopilot以其Serverless架构，引领容器服务进入全新时代。它通过免运维、动态资源管理、智能预测和自动化运维，不仅极大简化了IT管理，还显著降低了运营成本，提高了资源的利用效率。同时，CCE Autopilot的兼容性保证了与Kubernetes生态的无缝对接，助您敏捷应对市场，加速创新步伐。邀请您携手华为云CCE Autopilot，开启企业数字化转型的新篇章，共同迎接更加高效、智能的未来！容器活动专场：cid:link_1云容器引擎 CCE

在使用华为云Serverless容器服务时，如何配置网络访问权限？

CCI Pod需要与其他Pod进行通信，需要怎么进行操作呢？

目前华为云CCI有哪些核心技术特点和发展趋势?

CCE Autopilot的安全策略有哪些？

如果资源池水位不足，CCE Autopilot会如何响应？

在使用资源预热功能时，如何降低运维成本和复杂性？

在使用Autopilot时，如何确保数据的安全性和隐私保护？

Node在CCE Autopilot中是如何被纳入管理范围的？