-
我们打算测试一下310p的推理,但是两种租算力的方式: Notebook 以及轻算力节点,搜了一下各个区域,都没有找到310的npu算力。请问有310p算力吗?
-
在实践过程中我的环境变量老是出错
-
华为云 BMS 部署 Qwen3-32b 实战指南在人工智能蓬勃发展的当下,大模型的应用愈发广泛。Qwen3-32b 作为一款备受关注的大模型,在华为云 BMS 上的部署过程是很多开发者关心的焦点。本文将基于详细的部署文档,为大家呈现华为云 BMS 部署 Qwen3-32b 的完整流程,助力大家顺利搭建起属于自己的大模型服务环境。一、华为云 BMS 配置概览在开始部署之前,先来了解一下本次部署所使用的华为云 BMS 配置。具体配置如下:机型:physical.kat2e.48xlarge.8.280t.ei.c002CPU:Kunpeng 920 (4*48Core@2.6GHz),强大的多核心处理器为模型运行提供了稳定的计算基础。内存:24*64GB DDR4 RAM,充足的内存空间确保模型在处理大量数据时能够流畅运行。本地磁盘:3*7.68TB NVMe SSD,高速的存储设备可以快速读写模型数据和相关文件。扩展配置:2100GE + 8200GE,高速网络配置为数据传输提供了有力保障。镜像:HCE2.0-Arm-64bit-for-Snt9A2-BareMetal-with-24.1.0-7.5.0.3.220-CANN7.6.0.1.220,该镜像为本次部署提供了特定的运行环境。二、环境准备工作1.1 检查 NPU 设备SSH 登录到机器后,首要任务是检查 NPU 设备的状态。通过运行以下命令来获取 NPU 设备信息:查看 NPU 卡状态:npu-smi info,此命令可以在每个实例节点上运行,查看 NPU 卡的具体运行情况。确认总卡数:npu-smi info -l | grep Total,通过该命令确认对应卡数是否已经成功挂载。查看驱动和固件版本:npu-smi info -t board -i 1 | egrep -i "software|firmware",如果在执行这些命令时出现错误,可能是 NPU 设备没有正常安装,或者 NPU 镜像被其他容器挂载。此时需要先正常安装固件和驱动,或者释放被挂载的 NPU,确保 NPU 设备能够正常工作。1.2 检查与安装 dockerdocker 是部署过程中不可或缺的工具,接下来检查 docker 是否已经安装。可以通过docker -v命令查看 docker 的版本信息,如果尚未安装,则需要运行以下命令进行安装:yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64安装完成后,还需要配置 IP 转发,以实现容器内的网络访问。执行sysctl -p | grep net.ipv4.ip_forward命令查看net.ipv4.ip_forward配置项的值,如果为 1,则说明已经配置好,可跳过此步骤;若不为 1,则执行以下命令进行配置:sed -i's/net\\.ipv4\\.ip\_forward=0/net\\.ipv4\\.ip\_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip\_forward1.3 获取基础镜像为了确保部署的稳定性和兼容性,建议使用官方提供的镜像来部署推理服务。镜像地址可以通过特定方式获取,获取后使用docker pull命令进行下载,例如:官方镜像目前为对外公布敬请期待!!!docker pull quay.io/ascend/vllm-ascend:v0.8.5rc1(这个镜像理论上可行)1.4 获取权重文件权重文件是 Qwen3-32b 模型运行的关键数据,需要通过解决方案实践 —OBS 极速同步模型权重文件,将其导入到自己的 OBS 中,然后再下载到服务器中。具体下载步骤如下:获取权重文件方式:https://www.huaweicloud.com/solution/implementations/replicating-model-weight-files-across-obs-buckets.html1.4.1 权重文件下载到服务器使用wget命令下载obsutil工具:wget https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_arm64.tar.gz解压下载的文件:tar -xzvf obsutil_linux_arm64.tar.gz进入解压后的目录:cd obsutil_linux_arm64_5.7.3/赋予obsutil执行权限:chmod 755 obsutil配置obsutil:./obsutil config -i=ak -k=sk -e=obs.cn-north-9.myhuaweicloud.com下载权重文件:./obsutil cp obs:/bucket-test/Qwen3-32B /home/Qwen3-32B -r -f三、启动部署流程2.1 启动容器在完成环境准备后,就可以启动容器了。启动容器需要使用一系列命令参数,具体如下:docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ -v /etc/localtime:/etc/localtime \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /etc/ascend_install.info:/etc/ascend_install.info \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ -v ${dir}:${container_work_dir} \ --net=host \ --name ${container_name} \ ${image_id} \ /bin/bash 这里以一个实际示例来说明:docker run -itd --restart=always --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /etc/ascend\_install.info:/etc/ascend\_install.info --device=/dev/davinci\_manager --device=/dev/devmm\_svm --device=/dev/hisi\_hdc -v /var/log/npu/:/usr/slog -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /home/Qwen3-32B:/home/Qwen3-32B --net=host --name qwen3-32b 628e52638d5d /bin/bash2.2 进入容器与资源评估容器启动成功后,使用docker exec -it -u ma-user ${container_name} /bin/bash命令进入容器。进入容器后,首先运行npu-smi info命令评估推理资源,检查 NPU 设备信息可用的卡数,同时确认卡是否被占用、端口是否被占用以及是否有对应运行的进程。然后根据实际情况配置需要使用的 NPU 卡,例如,当有 8 张卡时,可以通过export ASCEND_RT_VISIBLE_DEVICES=0,7命令进行配置。2.3 启动大模型最后一步就是启动大模型了,使用以下命令:nohup python -m vllm.entrypoints.openai.api_server --model /home/Qwen3-32B \ --max-num-seqs=256 \ --max-model-len=131072 \ --max-num-batched-tokens=131072 \ --tensor-parallel-size=8 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --num-scheduler-steps=8 \ --trust-remote-code \ --enforce-eager \ > /home/Qwen3-32B/logs/vllm_api_server.log 2>&1 & 通过以上步骤,我们就完成了华为云 BMS 部署 Qwen3-32b 的全部过程。在实际部署过程中,可能会遇到各种各样的问题,需要大家根据具体情况进行排查和解决。希望本文能够对大家有所帮助,让大家在大模型部署的道路上少走弯路,顺利搭建起自己的人工智能服务环境。
-
通过 iaas-install 命令自动化配置,快速初始化OpenStack 部署核心组件,从而缩短时间 保证系统的稳定性和兼容性 实现自动化脚本,根据业务流量动态调整 引入Ansible配置安全基线,实现安全策略自动化部署与验证,通过Kubernetes调度,提升基础设施利用率,通过自动化脚本替代手动操作 将运维成本降低,故障响应时间大大缩短 资源利用率与安全性提升 动态资源调度机制使资源闲置率降低通过自动化部署、自动化运维、安全增强和资源优化将OpenStack平台的运维复杂度大大降低 未来我们也将持续向智能化、多云融合方向演进,为业务提供更可靠、高效的基础设施支撑采用Prometheus ,Grafana 构建监控系统,支持秒级指标采集与多维度可视化,利用Docker Compose统一实现服务间的资源隔离,大幅提升部署效率 利用KubeVirt技术实现容器与虚拟机的统一调度,减少项目时间和成本 采用镜像分层缓存与多阶段构建技术,将监控组件镜像构建时间缩短通过容器云平台建设,项目实现了从“人力驱动”到“技术驱动”的转型,为业务创新提供了坚实的技术底座 未来将持续深化自动化与智能化实践,打造更高效、安全的云原生资源自动化管理,基于容器化技术实现应用秒级部署与弹性伸缩,多云架构支持,实现公有云、私有云及混合云的统一管理,智能运维体系,构建实时监控与日志分析平台,高性能架构设计,采用负载均衡与异地多活架构 确保业务高可用性,云端部署KubeEdge CloudCore统一管理边缘节点 通过Docker镜像与Prometheus实现应用部署与监控 资源利用率大大提升 边缘响应延迟显著降低,整体效率提升通过技术优化与创新,系统可用性全天保障 资源成本降低的同时利用率大幅提升 自动化工具与安全机制减少人工运维成本 确保系统稳定运行,符合合规要求在容器云平台部署实践中,我们面临初始阶段部署流程冗长、耗时过高的挑战。然而,在后续配置调优阶段,复杂的命令行参数与多步骤操作易导致人为失误。通过私有云、容器云与公有云的协同实践 私有云确保数据安全与定制化,满足保密需求 容器云加速应用部署 公有云提供资源弹性与成本优化 从"资源分散"到"高效协同",这彰显了职业教育在技能传承与人才培养中的重要作用 深化了产教融合,搭建起教育与产业协同创新的桥梁 推动职业教育高质量发展,为制造强国注入活力
-
请问冠军好拿嘛,目标冠军
-
请问关于这个可以透露吗,担心练习赛没问题到正式赛的时候time_out
-
2025华为软件精英挑战赛可以跨赛区组队吗
-
在云计算平台上,如何高效管理API接口以提高服务质量?
-
根据产品文档AICC 23.200.0在cc-gateway与cti的连接上输出的日志出现类似乱码的情况,在用AgentDemo链接时会长时间的卡主,并不能话务员工号登录。但是监控台的提示是正常的!
-
版本:AICC 23.200.0 跟教程需要安装生成指定的证书,但是教程中却好像没有对应的生成方法!采取此阶段生成的tomcatKeyStore文件,放入后依旧无法启动!./startup.sh之后依旧无法启动
-
每天都抢,总是失望!本来带着支持国货,支持华为的想法。可是华为这么吊胃口的操作让人有点反感!劝诫华为不要再这么做了,你货源不足可以晚卖一段时间,等你攒足了再发布。但是你不可以这么戏耍支持你的人。要知道苹果手机随时可以购买,千万不要把市场搞坏了!
-
MViz cannot start because the current operating system (Kylin) is not Ubuntu.
-
找了半天没找到在哪设置maven setting
-
云主机这么怎会卡啊?老是需要重连
-
情况介绍情况很奇怪,was安装完成之后启动没用,web打不开\可能的影响:通信数字证书和https安全证书这里,我这边的选择的是复制IPCC的这里的远程主机,我试过直接输入新安装的AICC的IP号但是会报错。已进行的措施:在/home/icd/icdcomm/config/的icdcomm.cfg修改TLS SUPPORT=0但是并无效果!
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签