-
一、网络基础设施的困境与云上架构的价值传统物理网络的隔离与调度痛点传统物理 IDC 机房里,运维人员需要手动划分子网、配置复杂的物理交换机 VLAN,才能实现支付核心环境与普通测试环境的严格隔离。一旦大促期间需要跨机房资源调配,底层网络架构的变更极其缓慢,还极易引发广播风暴等网络不稳定问题。这不是某个团队的问题,是物理网络的天花板。网线插在交换机上,VLAN 写在配置里,改一次就要全网联动。越大的集群,越不敢动。软件定义网络(SDN)的价值重塑云计算网络服务的出现,彻底重塑了网络边界。它允许我们在公共云基础设施上,通过软件逻辑划分出绝对隔离、完全自定义的专属虚拟网络。如果说计算服务(ECS/BMS)是系统的肌肉与骨骼,那么网络云服务(VPC/ELB/NAT)就是负责输送流量的神经网络。它们不仅是保证数据高效流转的通道,更是构建跨可用区(AZ)金融级容灾架构的最坚实底座。从「改配置要全网联动」到「点几下控制台就生效」,这个跨越,是云网络最大的价值。二、典型的网络云服务详解典型的网络云服务包括 VPC(虚拟私有云)、ELB(弹性负载均衡)、NAT 网关以及 VPN(虚拟专用网络)。本周重点梳理这四大核心组件。1. VPC(虚拟私有云)及其核心组件定义与底层逻辑VPC 是用户在云上申请的隔离的、私密的虚拟网络环境。从底层视角来看,它基于隧道网络技术在物理网络之上构建了逻辑隔离层。在一个 VPC 内,我们可以自由定义网段划分(子网)、路由策略(路由表),以及针对实例级别的访问控制(安全组)和子网级别的访问控制(网络 ACL)。简单说,VPC 就是在公共云的物理网络里,用软件「画」出一个只属于你的局域网。别人看不见,也摸不着。核心优势租户级绝对隔离与高可用。 VPC 之间逻辑上完全隔离,实现了租户间的网络多租户安全,天然防范外部网络攻击。同时,VPC 内提供的虚拟 IP(VIP)机制,能完美支持支付数据库主备节点(如基于 Keepalived 的高可用 Redis/MySQL 集群)的秒级漂移接管。极度灵活的网络连通性。 同区域内,可通过「对等连接(VPC Peering)」打通不同 VPC 的私网通信;线上线下混合云场景,也可通过「二层连接网关」实现 IP 不变的业务平滑上云。架构局限与痛点然而,原生的 VPC 对等连接在跨区域(Region)或面对极其庞大的微服务网状网络时,配置与管理会变得异常复杂,通常需要引入更高级的云连接网关(CC)或企业路由器(ER)进行集中化路由管理。常见应用场景云端专属网络隔离(如生产/测试环境严格物理隔离)、Web 应用网站托管、跨业务线的云上 VPC 互连。2. ELB(弹性负载均衡)定义与底层逻辑ELB 是应对高并发流量的「分发中枢」。它通过监听器(支持 TCP/UDP/HTTP/HTTPS)接收外部请求,并根据预设的流量分配策略,将访问流量均匀分发到后端的多个 ECS 服务器组上。想象一个银行大厅,客户排一条长队只开一个窗口,效率极低。ELB 就是那个引导员,把客户分流到所有空闲窗口。核心优势消除单点故障与跨 AZ 容灾。 对于支付网关这类对可用性要求极高的服务,ELB 支持跨可用区部署。结合健康检查机制,当某个节点或 AZ 发生故障时,ELB 能自动屏蔽异常 ECS,将流量无缝倒换至健康节点,从而避免支付链路中断。潮汐流量的弹性削峰。 配合 AS(弹性伸缩服务),ELB 会在流量洪峰时自动将新扩容的 ECS 纳管进后端服务器组,在流量低谷时自动剔除,是应对电商大促等脉冲式流量洪峰的核心抗压利器。架构局限与痛点在处理有状态请求时,如果「会话保持」策略配置不当,可能导致同一个用户的连续支付请求被打到不同的后端节点,从而引发会话状态不一致的问题。常见应用场景高访问量业务流量分发、潮汐业务弹性分发流量、实现业务跨可用区容灾部署。3. NAT 网关与 VPN,边界通信与地址转换定义与底层逻辑NAT 网关。 负责 VPC 内的计算实例与 Internet 之间的网络地址转换,分为 SNAT(源地址转换,用于共享上网)和 DNAT(目的地址转换,用于向公网提供服务)。VPN(虚拟专用网络)。 利用 Internet 建立一条基于 IPSec 协议加密的通信隧道,将企业本地数据中心与云上 VPC 连通。核心优势极致的安全与成本节约(NAT)。 利用 SNAT,支付核心集群的数百台 ECS 无需暴露在公网上(即无需为每台实例购买弹性公网 IP),就能共享同一个 EIP 访问外网(如调用微信/支付宝外部接口),在显著节省成本的同时,也隐藏了内部网络拓扑,提升了安全性。低成本的混合云架构(VPN)。 相比拉一根昂贵的物理专线,VPN 是实现「线下数据中心到云上」即开即用、无缝扩展的最高性价比方案,且基于 IKE/IPsec 协议族保证了交互数据的机密性与完整性。架构局限与痛点VPN 隧道底层依然依赖公共 Internet 链路。在公网拥堵时段可能会出现延迟抖动,对于要求极低延迟(如 10ms 以内)的专线同步场景(例如云边协同中的 CloudPond 与中心云实时同步),VPN 的稳定性无法保证。这时候,云专线(DC)才是正解。4. 补充组件,云连接、云专线与企业路由器初稿聚焦四大核心组件,但华为云网络服务还有几个关键拼图值得了解。云连接(CC)。 跨区域 VPC 互通的集中化管理方案。当业务部署在多个 Region,VPC Peering 的 N² 连接关系会爆炸,CC 用一个中心化的云连接实例统一管理跨 Region 路由,大幅降低运维复杂度。云专线(DC)。 物理层面的专线接入,带宽稳定、延迟极低,是金融核心系统、数据库同步等对网络质量有严苛要求的场景的首选。成本高,但可靠性也高。企业路由器(ER)。 华为云自研的集中式路由管理服务,支持跨 VPC、跨 Region、混合云的统一路由策略配置,是大规模组网的「交通指挥中心」。三、存储基础设施的困境与云上存储的价值传统存储的扩展与运维痛点传统企业数据中心里,存储是真正的「重资产」。买一台 SAN 存储阵列,几十万起步;扩容要提前采购硬盘、停机维护、重新划分 LUN。数据备份靠人工脚本,容灾靠「两地三中心」的物理复制,建设周期以月计,成本以百万计。更头疼的是,不同业务对存储的需求差异极大。数据库要低延迟高 IOPS,视频转码要大吞吐,日志归档要低成本大容量。一套存储打天下,要么性能不够,要么成本浪费。云存储的价值重塑云存储服务的出现,把存储从「买设备」变成了「选服务」。块存储、文件存储、对象存储三种形态,分别对应三种截然不同的访问模式和性能特征。按需选择,弹性扩展,用多少付多少。如果说网络云服务是云架构的神经网络,那存储云服务就是云架构的记忆中枢。数据在这里诞生、流转、沉淀、归档,贯穿业务的全生命周期。四、典型的存储云服务详解华为云存储服务的三大核心组件是 EVS(云硬盘)、OBS(对象存储服务)和 SFS(弹性文件服务)。它们分别对应块存储、对象存储和文件存储三种范式。1. EVS(云硬盘),块存储的绝对主力定义与底层逻辑EVS(Elastic Volume Service)为云服务器(ECS)和裸金属服务器(BMS)提供持久化的块存储服务。底层采用分布式存储架构,数据通过三副本或 EC 纠删码技术冗余保存,单盘数据可靠性高达 99.9999999%(9 个 9)。块存储的逻辑是,它存的是原始二进制数据,不能直接放文件,必须先格式化成文件系统才能用。就像买了一块新硬盘,得先分区格式化才能存东西。核心优势规格丰富,性能分级。 提供极速型 SSD、超高 IO、通用型 SSD V2、高 IO 等多种规格。极速型 SSD 单盘最高可达 256,000 IOPS 和 4,000 MiB/s 吞吐量,满足数据库等极致性能需求。通用型 SSD 则是性价比之选。弹性扩展。 单盘最大可扩容到 32 TiB,最小 1 GiB 步长,支持在线扩容不停机。安全可靠。 三副本保存 + AES-256 数据加密,应用无感知。还提供回收站功能,误删数据 7 天内可恢复。快照备份。 支持手动和自动快照,可基于快照创建新云硬盘,是数据保护和回滚的利器。架构局限与痛点EVS 只能挂载到同一可用区(AZ)的 ECS 上,跨 AZ 不可用。这意味着如果 ECS 发生 AZ 级故障,云硬盘也会跟着不可访问。要实现跨 AZ 容灾,必须搭配存储容灾服务(SDRS)做数据同步复制。常见应用场景数据库数据盘(要求低延迟高 IOPS)、操作系统启动盘、高性能计算、企业核心业务数据存储。2. OBS(对象存储服务),海量数据的终极容器定义与底层逻辑OBS(Object Storage Service)是华为云提供的海量、安全、高可靠、低成本的对象存储服务。它以「桶(Bucket)」和「对象(Object)」为基本存储单位,采用扁平化结构,没有传统文件系统的目录层级。对象存储的底层逻辑和块存储完全不同。它存的是完整的对象(一个文件 + 元数据),通过 HTTP/HTTPS 协议的 RESTful API 访问,不需要挂载到服务器上。你可以把它理解为一个无限容量、永远在线的网盘。核心优势极致的可靠性。 采用多重冗余架构和纠删码技术,数据持久性高达 99.9999999999%(12 个 9),服务可用性达 99.995%。这个数字意味着,存 100 亿个对象,一年内丢失一个的概率都极低。EB 级容量,按需扩展。 不需要预估容量,存多少算多少,从几 GB 到 EB 级无缝扩展。智能分层,成本最优。 提供标准存储、低频访问存储、归档存储三种存储类别。热数据放标准层,温数据降级到低频层,冷数据归档,自动把存储成本压到最低。安全合规。 从账户到对象的细粒度权限控制,传输加密 + 存储加密双重防护,日志审计全链路可追溯。架构局限与痛点OBS 不支持文件系统的随机修改,只能整体覆盖或追加。对于需要频繁原地修改小范围数据的场景(如数据库日志文件),OBS 并不合适,应该用 EVS 或 SFS。常见应用场景大数据分析的数据湖底座、静态网站托管、在线视频点播、数据备份与归档、智能视频监控、基因测序。3. SFS(弹性文件服务),共享存储的优雅方案定义与底层逻辑SFS(Scalable File Service)提供按需扩展的高性能网络共享文件存储(NAS)。它支持标准的 NFS 协议,允许多个 ECS、容器(CCE)同时挂载并共享访问同一个文件系统。如果说 EVS 是「独享硬盘」,OBS 是「无限网盘」,那 SFS 就是「共享文件夹」。多个服务器能同时读写同一份文件,这在很多企业应用场景里是刚需。核心优势多实例共享访问。 同一 VPC 内的多台 ECS 可以同时挂载同一个 SFS 文件系统,天然支持分布式应用的共享数据需求。弹性扩展,按需付费。 容量随数据量自动扩展,不需要预先分配固定大小,用多少付多少。标准协议兼容。 支持 NFS(Linux)和 CIFS(Windows)协议,应用无需改造即可接入。架构局限与痛点SFS 的性能受网络带宽影响,对于极高 IOPS 的数据库场景,SFS 的延迟和吞吐不如 EVS。另外,SFS 只能在 VPC 内部访问,不支持跨 VPC 或公网直接访问。常见应用场景企业办公自动化(OA)、内容管理系统(CMS)、容器共享存储、高性能计算(HPC)的共享工作目录、媒体处理。4. 三大存储服务对比对比维度EVS(云硬盘)OBS(对象存储)SFS(弹性文件服务)存储类型块存储对象存储文件存储存储逻辑原始二进制数据,需格式化对象(文件+元数据),扁平化文件和文件夹的层次结构访问方式挂载到单台 ECS/BMSRESTful API / SDK / 控制台NFS/CIFS 网络挂载共享性通常一对一一对多(互联网级别)一对多(VPC 内共享)性能特征极高 IOPS、极低延迟大吞吐、EB 级容量高性能共享、带宽优先典型场景数据库、系统盘、核心业务数据湖、备份归档、视频OA、CMS、容器存储、HPC五、存储容灾与备份,数据安全的最后防线三大存储服务解决了「怎么存」的问题,但「怎么保」同样关键。华为云提供了两个重要的数据保护服务。1. SDRS(存储容灾服务)SDRS(Storage Disaster Recovery Service)基于 HyperMetro 复制技术,为 ECS 和 EVS 提供跨 AZ 的实时数据同步。生产站点的数据被同步复制到容灾可用区,RPO 达到秒级。当生产 AZ 发生故障时,SDRS 支持一键式容灾切换,将业务快速切换到容灾站点。还支持在线容灾演练,无需停机即可验证容灾切换的有效性。2. CBR(云备份恢复)CBR(Cloud Backup and Recovery)为云服务器和云硬盘提供周期性备份。与 SDRS 的实时同步不同,CBR 是定期快照备份,适合应对误删、数据损坏等逻辑错误。两地三中心架构(SDRS + CBR)这是华为云推荐的经典容灾方案。SDRS 负责同区域跨 AZ 的实时同步(同城灾备),CBR 负责跨 Region 的周期性备份(异地灾备)。生产中心、同城灾备中心、异地灾备中心共同组成两地三中心架构,是金融级容灾的标准配置。六、网络与存储的协同,云架构的完整拼图网络和存储从来不是孤立存在的。在真实的云架构中,它们紧密协同。EVS 必须与 ECS 同 AZ。 网络的可用区边界,直接决定了块存储的可用性边界。跨 AZ 容灾需要 SDRS 打通存储层,也需要 ELB 打通网络层,两者缺一不可。OBS 通过 VPC 端点加速访问。 大数据分析场景中,计算集群(ECS/CCE)在 VPC 内通过内网端点高速访问 OBS,避免公网带宽瓶颈,网络配置直接影响存储吞吐。SFS 的共享依赖 VPC 网络。 多台 ECS 挂载同一个 SFS,前提是它们在同一个 VPC 内。VPC 的子网划分和安全组策略,决定了哪些实例能访问共享存储。VPN/DC 连通混合云存储。 线下 IDC 的数据要备份到云上 OBS,或者线下应用要访问云上 SFS,都需要 VPN 或云专线打通网络通道。网络质量直接决定存储同步的 RPO。网络是通道,存储是落点。通道不稳,数据就到不了;落点不牢,数据就存不住。只有两者都可靠,云架构才能真正扛住生产级的压力。七、总结这次学习梳理了华为云网络云服务和存储云服务的核心组件。网络方面,VPC 是隔离的底座,ELB 是分发的中枢,NAT 网关是边界的翻译官,VPN 是混合云的加密隧道,云连接和企业路由器是大规模组网的指挥中心。它们共同构成了云上流量从接入、分发、隔离到跨域互通的完整链路。存储方面,EVS 是高性能的独享硬盘,OBS 是无限容量的数据容器,SFS 是优雅的共享文件夹。三者各有所长,按场景选择才是正道。SDRS 和 CBR 则为数据安全提供了跨 AZ 容灾和跨 Region 备份的双重保障。我觉得,理解云服务最有效的方式不是逐个背诵产品手册,而是回到真实场景里问自己,我的业务需要什么样的网络通道,需要什么样的存储落点,需要什么样的容灾保障。从需求出发,服务自然就选对了。
-
四套卷,都是精华。。。。。。
-
您好,我目前使用modelarts notebook,需要上传2t左右数据。目前发现可以直接在notebook创建过程中创建一个较大的EVS,然后ssh连接notebook,并上传文件。此外还可以创建obs,用obs browser+上传,然后再拷贝到notebook的云硬盘上。但我尝试下来,这两种方法上传都比较慢。然后由于我使用的是校园网,ipv4限速而ipv6不限速,请问有没有办法通过ipv6上传数据到notebook的云硬盘中?
-
训练模型用的大规模数据集一般怎么存储呀?是直接用 云硬盘EVS,还是用 对象存储服务OBS?
-
硬盘容量大小的单位遵循计算机存储的标准二进制和十进制单位体系1. 二进制单位(传统习惯,部分场景使用)基础单位:字节(Byte,简写 B),1 字节 = 8 位(bit)。扩展单位:1 KiB(Kibibyte) = 1024 Bytes1 MiB(Mebibyte) = 1024 KiB = 1,048,576 Bytes1 GiB(Gibibyte) = 1024 MiB ≈ 1.07 Billion Bytes1 TiB(Tebibyte) = 1024 GiB ≈ 1.10 Trillion Bytes后续单位:PiB、EiB、ZiB、YiB(每级×1024)。注意:Windows 系统显示容量时仍用 KB/MB/GB,但实际计算基于 1024,这与标准二进制单位(KiB/MiB)不同。2. 十进制单位(硬盘厂商标准,国际单位制)基础单位:字节(Byte)。扩展单位:1 KB(Kilobyte) = 1000 Bytes1 MB(Megabyte) = 1000 KB = 1,000,000 Bytes1 GB(Gigabyte) = 1000 MB = 1 Billion Bytes1 TB(Terabyte) = 1000 GB = 1 Trillion Bytes后续单位:PB、EB、ZB、YB(每级×1000)。3. 实际差异与争议厂商 vs 系统:硬盘标注的容量(如 1TB = 1000^4 B)在操作系统中可能显示为约 931 GiB(因系统用 1024^3 GiB计算)。换算公式:厂商标称容量 (十进制) ÷ (1024^n) = 系统显示容量 (二进制) 例如:1 TB 硬盘 = 1,000,000,000,000 Bytes ÷ (1024^3) ≈ 931.32 GiB4. 常见应用场景硬盘/SSD 厂商:使用十进制单位(GB/TB)。操作系统(如Windows):用二进制计算但显示为十进制单位(如“GB”),导致容量“缩水”。Linux/macOS:默认使用二进制单位(KiB/GiB)或明确标注。总结建议购买硬盘时:注意厂商的十进制单位(1TB = 1000 GB)。系统存储管理:需理解实际可用空间会因二进制计算和文件系统占用而减少。
-
如果购买了云服务器并选择了一块数据盘,此数据盘需要格式化如挂载 /dev/vdb 这块磁盘。初始状态还没有分区也没有文件系统。需要按照以下步骤来格式化、创建文件系统并挂载它。步骤 1:查看磁盘是否存在分区运行了 lsblk,可以看到:vdb 254:16 0 10G 0 disk 说明 /dev/vdb 是一个未分区的磁盘。如果你打算使用整个磁盘作为一个分区,可以跳过创建分区表的步骤(但建议创建一个主分区以避免警告)。步骤 2:为 /dev/vdb 创建分区(可选)你可以使用 fdisk 或 parted 来创建分区。例如:sudo fdisk /dev/vdb在交互界面中:输入 n 创建新分区类型选择主分区(primary)分区号选 1起始和结束扇区直接回车(使用全部空间)输入 w 保存并退出之后运行:lsblk应该会看到:vdb 254:16 0 10G 0 disk └─vdb1 254:17 0 10G 0 part步骤 3:创建文件系统(比如 ext4)sudo mkfs.ext4 /dev/vdb1注意:如果之前没有分区而是直接格式化磁盘(如 /dev/vdb),有些系统会报错或提示“没有介质加载”,所以推荐先创建分区。步骤 4:创建挂载点并挂载sudo mkdir /mnt/vdb1 sudo mount /dev/vdb1 /mnt/vdb1步骤 5:查看是否成功挂载df -h | grep vdb或者:lsblk步骤 6:开机自动挂载(可选)编辑 /etc/fstab 文件:sudo blkid /dev/vdb1输出示例:/dev/vdb1: UUID="xxxx-xxxx" TYPE="ext4" 然后添加如下内容到 /etc/fstab:UUID=xxxx-xxxx /mnt/vdb1 ext4 defaults 0 2 总结命令流程(快速版)sudo fdisk /dev/vdb # 创建分区 vdb1 sudo mkfs.ext4 /dev/vdb1 # 格式化为 ext4 sudo mkdir /mnt/vdb1 sudo mount /dev/vdb1 /mnt/vdb1
-
华为云云服务器(ECS)系统盘扩容操作分为控制台操作和系统内操作两部分,需按顺序完成。一、控制台扩容系统盘登录华为云控制台访问华为云官网,进入控制台 > 弹性云服务器 (ECS)。停止云服务器(可选但建议)在ECS列表中找到目标服务器,点击更多 > 关机。发起扩容进入ECS详情页,选择云硬盘标签页。找到系统盘,点击更多 > 扩容。设置目标容量(需大于当前容量,且不超过系统盘类型上限)。确认费用并提交。等待扩容完成状态变为“扩容成功”后,进入下一步。二、系统内扩展分区和文件系统扩容后需在操作系统中分配新增空间,具体步骤因操作系统而异:Linux系统(以CentOS 7为例)查看磁盘信息lsblk fdisk -l确认系统盘(如/dev/vda)容量已更新,但分区(如/dev/vda1)未变化。扩展分区使用growpart工具(若无则安装cloud-utils-growpart):growpart /dev/vda 1 扩展文件系统ext4/xfs文件系统:# ext4 resize2fs /dev/vda1 # xfs xfs_growfs /验证df -hWindows系统进入磁盘管理右键此电脑 > 管理 > 磁盘管理。找到系统盘(通常为C:),右键选择扩展卷。按向导操作选择未分配空间,完成扩展。验证打开cmd,输入diskpart > list volume。三、注意事项备份数据:扩容前建议创建快照,防止操作失误导致数据丢失。分区表类型:MBR分区表最大支持2TB,超过需转换为GPT。费用影响:扩容后按新容量计费,立即生效。常见问题扩容失败:检查是否欠费、实例状态或配额不足。无未分配空间:确认分区表类型,或使用第三方工具调整分区。如果遇到困难,可通过华为云新建工单,联系工程师提供技术支持。
-
目前华为云有以下3种方式备份ECS云服务器数据:有云磁盘快照的功能: 帮助文档:云硬盘快照功能概述_云硬盘 EVS_华为云云硬盘快照功能概述云硬盘快照是云计算环境中一种重要的数据保护机制,它能够捕获云硬盘在某一特定时间点的完整状态和数据内容。以下是云硬盘快照的主要功能特点:核心功能数据备份:创建云硬盘在某一时刻的完整副本,保留所有数据和应用状态时间点恢复:允许将云硬盘恢复到创建快照时的状态增量存储:通常采用增量备份技术,只存储自上次快照以来的变化数据主要特点一致性保证:支持应用一致性快照,确保数据库等应用的数据完整性快速创建:秒级完成快照创建,对业务影响极小灵活管理:可手动或自动创建快照,设置保留策略跨区域复制:可将快照复制到其他区域用于灾备典型应用场景系统备份与恢复:在系统升级或重大变更前创建快照作为回退点数据保护:防范病毒攻击、人为误操作导致的数据丢失环境复制:基于快照快速创建相同配置的云服务器数据迁移:通过快照在不同区域或账号间迁移数据云硬盘快照是云环境中数据保护的基础设施,合理使用可以显著提高业务连续性和数据安全性。注意:云硬盘快照当前正在逐步按区域进行公测转商用,所以不同区域会存在公测(存量快照)、商用(标准快照)两种状态。不同状态下,快照功能存在差异。您在已经转为商用快照的区域创建的快照默认为标准快照。商用(标准快照)区域:华东二、华南-广州-友好用户环境公测(存量快照)区域:除华东二、华南-广州-友好用户环境的其他区域 有云服务备份的功能:帮助文档:快速创建云服务器备份_云备份 CBR_华为云云服务器备份就算整机服务器备份有云硬盘备份的功能:帮助文档:快速创建云硬盘备份_云备份 CBR_华为云云硬盘备份就是只备份云硬盘。
-
引言:在华为合作伙伴大会2025上,随着AI的广泛应用,海量数据需要随时访问,价值提升后的数据需要长时间保存,这使得热温数据存储空间需求急剧增加,加速存储全闪化成为大势所趋。在AI训练和推理中,数据存储可以发挥更大的作用,比如通过存储增强计算,提升AI训练集群利用率30%;通过长记忆存储,提升推理效率5倍。此外,随着AI的发展,企业IT架构正在向存算分离演进。 交流:最近的华为合作伙伴大会2025上,AI的行业化落地,需要大量高效的存储体系存储海量数据,大家觉得数据存储产品对AI有什么影响?
-
Docker,这个容器引擎,虽然强大,但偶尔也会因为一些巧合状态,留下一些残留文件或内存,导致资源浪费。特别是如果你没有及时清理这些残留文件和数据,Docker可能会占用大量内存,甚至影响其他服务的性能。在如今时代,内存资源的重要性不言而喻。你是否也遇到过类似的问题:Docker 进程长时间运行,内存占用持续不降?清理磁盘空间,但发现 Docker 过程占用 files?虽然知道 Docker 可以清理,但具体该清理哪些文件?清理 Docker 的资源(如未使用的镜像、容器、网络和卷)是一个常见的操作,可以帮助释放磁盘空间并保持环境整洁。以下是详细的步骤和命令,帮助你安全且有效地清理 Docker 环境。1. 清理未使用的容器运行中的容器不会被自动删除,但你可以先停止所有容器,然后删除它们。停止所有容器docker stop $(docker ps -aq) docker ps -aq:列出所有容器的 ID。docker stop:停止指定的容器。删除所有容器docker rm $(docker ps -aq) 如果只想删除已停止的容器,可以使用:docker container prune这会提示确认,并删除所有已停止的容器。2. 清理未使用的镜像未使用的镜像是指没有被任何容器引用的镜像。删除所有未使用的镜像docker image prune -a-a 参数表示删除所有未使用的镜像(包括未标记的镜像)。如果只删除悬空镜像(即没有标签的镜像),可以省略 -a:docker image prune强制删除特定镜像如果需要删除某个特定镜像,可以使用:docker rmi <IMAGE_ID> <IMAGE_ID> 是镜像的 ID 或名称。3. 清理未使用的网络Docker 网络可能会随着时间积累未使用的网络。删除未使用的网络docker network prune这会删除所有未被容器使用的网络。4. 清理未使用的卷Docker 卷用于持久化数据,但未使用的卷会占用磁盘空间。删除未使用的卷docker volume prune这会删除所有未被容器挂载的卷。5. 一键清理所有未使用的资源Docker 提供了一个便捷的命令,可以一次性清理所有未使用的容器、镜像、网络和卷:docker system prune -a-a 参数会删除所有未使用的资源,包括未被引用的镜像。不加 -a 只会清理悬空资源(例如悬空镜像)。注意: 使用此命令时请谨慎,因为它会删除所有未被引用的资源。6. 检查磁盘使用情况在清理之前或之后,可以检查 Docker 的磁盘使用情况,以确认清理效果。docker system df 输出示例:TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 10 2 2.5GB 2.0GB (80%) Containers 5 1 500MB 400MB (80%) Local Volumes 3 1 1.2GB 1.0GB (83%) 7. 手动清理日志文件如果你发现 Docker 容器的日志文件占用了大量磁盘空间,可以通过以下方式限制日志大小或手动清理日志。限制日志大小编辑 Docker 的配置文件(通常是 /etc/docker/daemon.json),添加以下内容:{ "log-driver": "json-file", "log-opts": { "max-size": "10m", "max-file": "3" } } max-size:单个日志文件的最大大小。max-file:保留的日志文件数量。然后重启 Docker 服务:sudo systemctl restart docker手动清理日志找到容器的日志文件路径(通常位于 /var/lib/docker/containers/<CONTAINER_ID>/<CONTAINER_ID>-json.log),然后清空日志文件:sudo sh -c 'echo "" > /var/lib/docker/containers/<CONTAINER_ID>/<CONTAINER_ID>-json.log' 总结通过上述步骤,你可以全面清理 Docker 的资源并释放磁盘空间。以下是推荐的清理顺序:停止并删除所有容器。删除未使用的镜像。删除未使用的网络和卷。使用 docker system prune -a 进行一键清理。检查磁盘使用情况,确保清理效果。
-
假如判题器并没有删除的请求,可以人为删除某一数据吗
-
云硬盘类型变更注意事项cid:link_1云存储网关 CSG 相关知识梳理cid:link_2存储容灾的解决方案cid:link_3MoE混合专家系统的优势和原理cid:link_0人工智能和机器学习、神经网络的关系cid:link_4深度学习算法之Tensorflow框架cid:link_5深度学习算法之Caffe框架cid:link_6深度学习算法之MXNet框架cid:link_7深度学习算法之大名鼎鼎的PyTorchcid:link_8深度强化学习之基于模型的动态规划方法cid:link_9大模型运行热门框架之VLLM 框架cid:link_10大模型运行热门框架之Gradiocid:link_11文本挖掘的方法cid:link_12自然语言生成NLG的典型应用cid:link_13NLU 的实现方式cid:link_14依存句法分析简介cid:link_15Encoder-Decoder 的应用cid:link_16
-
在使用云硬盘变更的时候,发现如果购买 通用型SSD V2 的硬盘类型,无法变更其他类型的硬盘,只能变更其变更IOPS、吞吐量。发现官方文档中有以下说明:说明:变更云硬盘类型目前在公测阶段,如需使用,请提交工单申请公测。因此需要前往控制台提交工单,申请相关权限。从表中可知,除了 极速型SSD V2 ,其他硬盘类型都能变更。ps:极速型SSD V2云硬盘正在公测中,当前仅华南-广州-友好用户环境、华南-广州、北京四的部分可用区支持公测。如需使用,请前往公测页面申请。还要注意:当云硬盘类型变为目标类型后,表示变更成功。可以返回控制台云硬盘页面,查看磁盘是否变更完成,一般来说,磁盘大小在几百GB内,提交变更申请后,即可变更成功。具体流程如下:一、变更前准备功能开通当前云硬盘类型变更功能处于公测阶段,需通过控制台提交工单申请开通权限。工单中需注明:账号信息、目标区域、云硬盘ID原硬盘类型与目标类型(需符合官方兼容列表)部分区域(如华南-广州友好用户环境)优先支持,需在公测页面单独申请。兼容性验证参照[表2 云硬盘变配列表],确认原类型与目标类型是否支持互转。区域与可用区限制变更支持范围以控制台实际显示为准,不同区域可能存在策略差异。极速型SSD V2公测区域:华南-广州友好用户环境、华南-广州、北京四部分可用区。二、操作流程控制台操作路径:云硬盘列表 → 选择目标磁盘 → 更多 → 变更云硬盘类型选择目标类型及参数(IOPS/吞吐量),提交变更请求。注意:若界面未显示目标类型,需先确认权限是否开通或区域是否支持。变更时间与影响时长:通常为秒级完成(百GB内),大容量磁盘可能延长。结果验证控制台:查看磁盘详情页,确认类型/参数已更新。性能测试:通过fio或云监控工具验证IOPS/吞吐量是否符合预期。三、关键注意事项费用变化变更后按新类型单价计费(可能涉及升配/降配差价)。例:通用型SSD V2 → 极速型SSD V2,费用可能上涨(以定价页为准)。回退限制部分类型变更不可逆(如高IO → 极速型SSD ),需谨慎操作。若需恢复原配置,可以通过创建新盘+数据迁移实现。性能与兼容性确保实例规格支持目标硬盘类型(如部分老实例不支持普通IO(上一代产品))。调整吞吐量时,需配合实例的网络带宽上限(避免资源瓶颈)。四、常见问题(FAQ)Q:为何极速型SSD V2无法跨类型变更?A:该类型处于公测阶段,目前只支持变更IOPS。Q:变更后性能未提升?A:检查实例规格限制、系统文件配置(如RAID/分区对齐)及业务负载模式,如:极速型SSD V2 预配置的IOPS超过128000或者期望吞吐量峰值超过3000MiB/s,需要挂载特殊ac7实例,性能才能达到预期。五、关联服务推荐云备份(CBR):变更前创建备份,防止误操作导致数据异常。云监控(CES):配置IOPS/吞吐量告警,实时监控变更后性能。自动快照策略:定期备份,降低业务中断风险。六、技术支持官方文档:云硬盘类型变更指南紧急问题:通过控制台“工单”入口联系工程师,需提供错误码或操作日志。扩展建议:若业务对存储性能敏感,建议使用性能测试工具(如华为云性能测试服务:性能测试 CodeArts PerfTest)模拟真实负载,验证变更后的稳定性。
-
比如调用云硬盘挂载/卸载的接口,响应值是个TaskID,我想知道调用那个接口可以根据这个taskID查询任务状态呢?运营面接口未看到
-
在完成华为云《云技术精髓入门级开发者认证》的系列学习内容后,现在已经通过了理论考试和实验考试。结果如下:实验考试分数:整个过程中,我收获颇丰,不仅对云技术有了更深入的理解,还在实践操作和学习方法上有了新的感悟。以下是我此次学习的详细笔记。一、课程内容概述华为云的这门入门级开发者认证课程涵盖了丰富多样的云技术相关知识,从云的基础概念到具体的服务应用,层层递进,为学习者搭建了一个较为完整的云技术知识框架。(一)云基础概念课程首先深入浅出地介绍了云的定义、发展历程以及云服务的主要类型,如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。通过生动的案例和图表,让我清晰地理解了不同云服务类型之间的区别与联系,以及它们在实际应用场景中的优势。例如,IaaS 适合企业自行搭建和管理应用程序所需的基础设施,而 SaaS 则更侧重于为用户提供直接可用的软件应用,无需关注底层的硬件和软件环境。(二)华为云核心服务接着,课程详细讲解了华为云的一系列核心服务,包括弹性计算服务(ECS)、弹性块存储(EVS)、虚拟私有云(VPC)等。对于 ECS,我了解到它可以根据用户的需求灵活配置计算资源,如 CPU、内存等,并且能够快速创建和启动实例,为应用程序的部署提供了便捷的计算环境。同时,学习了如何在创建 ECS 实例时进行合理的选型,考虑因素包括业务负载、预算等。EVS 则让我认识到云存储的重要性和便利性。它可以为 ECS 实例提供可靠的存储服务,并且支持多种存储类型,以满足不同应用场景对存储性能和成本的要求。VPC 的学习让我明白了如何在华为云中构建一个虚拟的私有网络,实现网络资源的隔离和定制化配置。通过划分子网、设置路由表等操作,可以有效地控制网络流量,保障网络的安全性和稳定性。(三)云安全与管理云安全是云技术应用中至关重要的一环,课程也着重强调了这方面的内容。学习了华为云提供的各种安全服务,如安全组、云审计(CTS)等。安全组可以通过设置规则来控制进出实例的网络流量,确保只有合法的流量能够访问实例,从而保护实例内的应用程序和数据安全。云审计服务 CTS 则能够记录对华为云的 API 访问等操作信息,这对于安全审计、合规检查以及故障排查等方面都具有重要意义。通过分析 CTS 记录的日志,可以及时发现异常的操作行为,采取相应的措施加以防范。二、实验心得课程配套了丰富的实验内容,让我有机会将所学的理论知识应用到实际操作中,这也是我此次学习过程中最有收获的部分之一。(一)实验环境搭建在进行每个实验之前,首先需要搭建相应的实验环境,这涉及到在华为云平台上创建各种所需的资源,如 ECS 实例、VPC 等。刚开始的时候,我对一些操作步骤还不是很熟悉,比如在配置 ECS 实例的网络参数时,容易出现错误导致实例无法正常联网。但是通过仔细阅读实验指导文档,多次尝试并参考平台提供的帮助信息,我逐渐掌握了正确的操作方法,成功搭建起了稳定的实验环境。(二)实验操作过程在完成环境搭建后,便开始进行具体的实验操作。例如,在进行 ECS 实例的创建和管理实验时,我按照步骤依次完成了实例类型选择、操作系统安装、应用程序部署等操作。在这个过程中,我深刻体会到了华为云平台操作的便捷性和灵活性。通过简单的几步操作,就可以快速创建出满足需求的 ECS 实例,并且可以根据实际情况随时对实例进行配置调整,如增加内存、更换操作系统等。同时,在进行 VPC 相关实验时,我学习到了如何通过划分子网、设置路由表等来实现网络流量的控制。通过实际操作,我更加直观地理解了 VPC 的工作原理和作用,以及如何利用它来保障网络的安全性和稳定性。(三)实验结果与收获经过一系列的实验操作,我成功完成了各个实验项目,并获得了预期的实验结果。通过这些实验,我不仅巩固了所学的理论知识,还提高了自己的实际操作能力。我学会了如何在华为云平台上快速创建和管理各种云资源,如何运用云服务来解决实际问题,以及如何通过云安全服务来保障系统的安全。此外,实验过程中也遇到了一些问题,如网络连接不稳定、应用程序部署失败等。但是通过自己的努力排查和参考平台提供的解决方案,我逐渐克服了这些问题,这也让我在解决实际问题的能力上有了很大的提升。三、学习方法分享在学习这门课程的过程中,我也总结了一些适合自己的学习方法,希望对其他学习者有所帮助。(一)理论与实践相结合云技术是一门实践性很强的学科,单纯的理论学习很难真正掌握其精髓。因此,在学习过程中,我始终坚持理论与实践相结合的原则。每学习一个新的知识点,我都会尽快找到相关的实验或案例来进行实践操作,通过实际应用来加深对理论知识的理解。例如,在学习 ECS 实例的配置时,我不仅认真学习了理论知识,还立即在华为云平台上进行了实例创建和配置的实验,这样可以更加直观地了解各个参数的作用和设置方法。(二)多参考官方文档和资料华为云官方提供了丰富的文档和资料,包括课程教材、实验指导手册、技术白皮书等。这些官方资料是学习的重要资源,它们详细介绍了华为云的各项服务和操作方法,内容准确、权威。在学习过程中,我经常会参考这些官方资料,尤其是在遇到不懂的问题或操作不熟悉的情况时。通过仔细阅读官方资料,可以快速找到问题的答案和正确的操作方法,避免走弯路。官方文档地址如下:官方文档帮助中心_华为云 (huaweicloud.com)四、总结通过参加华为云《云技术精髓入门级开发者认证》的学习,我对云技术有了全面的认识和深入的理解,掌握了华为云的一些核心服务的使用方法,提高了自己的实际操作能力和解决实际问题的能力。同时,我也总结出了一些适合自己的学习方法,这些方法将对我今后继续学习和应用云技术起到重要的作用。在未来,我希望能够继续深入学习云技术,考取更高级别的认证,进一步提升自己在云技术领域的专业水平,为企业的数字化转型和云应用发展贡献自己的一份力量。
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
即将直播
热门标签