-
我们打算测试一下310p的推理,但是两种租算力的方式: Notebook 以及轻算力节点,搜了一下各个区域,都没有找到310的npu算力。请问有310p算力吗?
-
核心定义全量微调,也称为标准微调或全参数微调,指的是在预训练模型的基础上,使用一个新的、特定领域或任务的数据集,对模型所有参数(权重) 进行再次训练的过程。简单来说,就是把一个已经“学富五车”的通才(预训练模型),通过针对性的学习,变成某个领域的专家(微调后的模型)。一个生动的比喻想象一个刚从医学院毕业的医生(预训练模型):预训练:他在医学院学习了海量的通用医学知识(解剖学、生理学、药理学等),具备了成为一名医生的基础能力。全量微调:现在,他决定成为一名顶尖的心脏外科专家。他进入心脏外科,开始进行大量、高强度的专科训练。在这个过程中,他大脑中所有的知识网络——无论是与心脏相关的还是无关的——都会根据新的专科经验进行调整和优化。他看待普通感冒的角度可能都会因为深厚的心脏知识而发生变化。结果:他成为了一个非常专业的心脏外科医生(全量微调后的模型),在处理心脏相关问题时极其出色,但其底层的基础医学知识也因专科训练而发生了改变。相比之下,P-tuning、LoRA、Adapter 等参数高效微调方法更像是这位医生不去动他原有的大脑结构,而是佩戴一个智能的“专家眼镜”。通过这副眼镜,他看问题时能得出心脏专家的结论,但摘下眼镜后,他仍然是那个通才医生,原有知识丝毫未变。全量微调的关键特点更新所有参数:这是最本质的特征。模型中的每一个权重(从输入层到输出层)都会根据新数据集的损失函数梯度进行更新。高计算成本:由于需要更新海量参数(尤其是对于拥有数十亿甚至万亿参数的大模型),全量微调需要巨大的显存和计算资源。通常需要多个高性能GPU才能完成。高存储成本:微调后的模型需要保存一套完整的、新的参数。如果你对同一个基础模型微调了10个不同的任务,你就需要存储10个完整的模型副本,每个都很大。潜在“灾难性遗忘”风险:模型在专注于学习新任务数据的同时,可能会遗忘在预训练阶段学到的通用知识。如果新数据集很小或不够多样,模型可能会“过度拟合”新任务,导致泛化能力下降。效果潜力最佳:在数据充足、计算资源允许的情况下,全量微调通常能达到最出色的性能。因为它允许模型从底层到顶层全方位地适应新任务,捕捉最细微的数据模式。全量微调的工作流程选择一个预训练模型:例如,BERT、GPT、T5等。准备下游任务数据集:例如,用于情感分析的影评数据集、用于问答的SQuAD数据集等。定义任务头:根据任务类型,在预训练模型顶部添加一个合适的输出层(例如,用于分类的分类器)。配置训练参数:使用一个较小的学习率。因为模型已经在一个大数据集上得到了良好的训练,我们只需要对其进行“微调”,而不是“重新训练”。大的学习率可能会破坏已有的宝贵知识。选择优化器、批次大小等。开始训练:将新数据输入模型。计算损失(预测值与真实值的差距)。通过反向传播算法计算所有参数的梯度。使用优化器更新所有权重。评估与保存:在验证集上评估模型性能,最终保存整个微调好的模型。全量微调 vs. 参数高效微调 特性全量微调参数高效微调更新参数全部参数极少部分参数(如适配器层、LoRA矩阵)计算资源要求极高要求很低存储开销每个任务需保存完整模型,开销大只需保存少量新增参数,可共享基础模型遗忘风险较高较低(冻结了原始参数)性能潜力最高(资源数据充足时)通常接近或达到全量微调水平适用场景计算资源充足、追求极致性能资源有限、需要快速部署多个任务总结全量微调是一种强大但“昂贵”的迁移学习技术,它通过调整模型的所有参数来使其深度适配特定任务。虽然它在效果上潜力巨大,但其高昂的计算和存储成本催生了参数高效微调技术的快速发展。在选择使用哪种方法时,需要在性能、成本和时间之间做出权衡。对于大多数个人开发者和小型团队而言,参数高效微调(如LoRA)是目前更实用、更流行的选择。
-
在notebook中执行:!wget cid:link_0 报错:--2025-09-20 11:36:33-- cid:link_0Resolving mindspore-website.obs.cn-north-4.myhuaweicloud.com (mindspore-website.obs.cn-north-4.myhuaweicloud.com)... 49.4.112.92, 49.4.112.91, 121.36.121.84Connecting to mindspore-website.obs.cn-north-4.myhuaweicloud.com (mindspore-website.obs.cn-north-4.myhuaweicloud.com)|49.4.112.92|:443... failed: Connection timed out.Connecting to mindspore-website.obs.cn-north-4.myhuaweicloud.com (mindspore-website.obs.cn-north-4.myhuaweicloud.com)|49.4.112.91|:443... failed: Connection timed out.Connecting to mindspore-website.obs.cn-north-4.myhuaweicloud.com (mindspore-website.obs.cn-north-4.myhuaweicloud.com)|121.36.121.84|:443... failed: Connection timed out.Retrying.服务器为modelarts notebook,信息如下:notebook-fd9df3b1a228-8ed5-4d46-8c36-e69a2a4b2a0d
-
用的是iam创建的用户账号,已经赋予了modelarts_agency委托。在创建notebook,勾选ssh远程开发时候,报错如下: 您的权限不足。用户策略无权限访问接口. User: iam::1610480fd13047bf862c15f19c7e0347:user:user5 is not authorized to perform: kps:SSHKeyPair:list on resource: kps:cn-east-4:1610480fd13047bf862c15f19c7e0347:SSHKeyPair:* because no identity-based policy allows the kps:SSHKeyPair:list action. 请问如何解决,谢谢!
-
< 华为云Versatile智能体平台 体验入口>华为开发者空间--开发平台--Versatile Agent (请在PC端打开) 版本概览 Versatile 920版本总结:新增27个特性,优化增强8个功能,新增多模态交互(图像、语音),新增敏感内容审查和风控,新增提示词管理,支持查看Trace调用链,查看使用量等统计指标,在运营运维、安全审查等企业级特性上有大幅提升。 华为云Versatile智能体平台 功能模块介绍 01 资产中心Versatile资产中心提供应用、MCP、插件、提示词等AI资产的共享,包括系统预置资产、开发者上传资产等,加速AI应用的开发以及公共资产的沉淀。 02 Versatile空间Versatile空间集成通用型AI助手以及各专家Agent,打造企业级智能协作统一入口,通过自主任务规划及多工具协同等,帮助用户完成复杂任务。 03 开发中心Versatile支持单智能体、工作流和多智能体三种应用开发方式,平台集成盘古大模型及DeepSeek等第三方模型,提供角色设定、插件扩展、工作流编排等功能,支持知识库管理、RAG检索和智能提示词优化,确保交互精准可靠。同时支持通过API、网页多渠道发布应用,助力开发者高效打造专业级智能体应用。04 模型中心模型中心提供标准化API接口,支持盘古大模型与业界主流模型的接入与管理,提供多种路由策略,实现模型无感切换和灵活调度,支持NLP与多模态理解模型的在线调测及参数配置。 05 运营运维运营运维包括调用链管理、运营统计,开展全维度Agent观测,实现对Agent调用的多维指标监控运营。 06 空间管理空间管理助力团队高效便捷地协作开发应用,多重权限控制提升企业资产数据安全。 新增重点特性介绍一、企业级特性 团队空间管理· 支持多团队空间的管理与资源隔离,成员角色权限管理,跨空间资产的复制业务价值:方便企业内进行资产、数据管理,同时能方便多人协作 应用管理· 支持配置敏感内容审查和风控:支持配置敏感词,触发后可以进行过滤、替换以及设置兜底回复,确保输出合规。业务价值:提供确定性保证,满足合规性与数据防泄露· 支持集成APIG,通过APIG发布Agent API业务价值:提供企业级API网关能力,可以为Agent的能力提供安全保障、运维能力、商业能力· 支持应用部署、升级、停止、启动、重启、删除等操作业务价值:提供应用的全生命周期标准化管理 调用链管理· 支持Trace调用链统计: 支持查看智能体、工作流的调用情况(时间、tokens消耗、input,output)业务价值1:技术运维与保障价值——技术人员可以快速定位问题、进行性能瓶颈分析等,确保系统稳定、可靠、可用业务价值2:安全合规与审计价值——记录每次调用的详细信息,实现全过程可追溯 指标统计· 支持查看运营数据:支持查看智能体、工作流的各项运营指标统计:基础指标功能(使用次数、服务QPS、模型QPS等)、质量统计指标功能(模型调用错误率、调用错误率、模型调用平均耗时、链路整体耗时、服务请求成功率等)、成本指标功能(tokens消耗等)业务价值:迭代优化价值——可以根据性能、错误指标等数据对智能体、工作流进行多轮迭代与优化 后台逻辑相关特性· 支持开发和测试环境分离部署,支持开发环境资产发布到生产环境业务价值1:保障生产环境稳定,确保正在服务线上客户的生产环境不会因新功能开发或测试而宕机或出错。业务价值2:可以并行开发与协作,开发、运营团队可以同时在各自的环境中进行工作,互不干扰,提升协同效率。· 支持单实例多Agent共享模式和单Agent 多实例独占模式业务价值:优化资源利用,降低成本。共享模式适用于大量轻量级、低并发的Agent,独占模式适用于核心、高并发、高性能要求的Agent,企业可以根据不同Agent的业务重要性、流量特征和性能要求,灵活选择部署模式,实现成本与性能的最佳平衡。· 支持多环境管理,集成开通Serverless运行环境业务价值:极致敏捷与弹性伸缩,提升了开发测试的敏捷性;降低了环境管理成本· 支持与凭据加密服务对接,通过配置凭据保障密钥安全业务价值:杜绝敏感信息泄露,增强安全合规性 二、多模态能力 应用管理· 新增语音交互:单智能体/工作流支持开启语音交互,支持选择不同种类的音色业务价值:满足业务个性化需求,丰富交互形式,让用户体验更流畅· 新增多模态大模型能力:单智能体、工作流-大模型节点支持接入多模态大模型业务价值:新增交互场景,在需要快速获取信息或进行复杂任务处理场景能显著提升用户体验 三、模型管理 模型服务· 支持接入用户自己第三方模型服务业务价值1:增加灵活性,提升用户体验业务价值2:企业可以根据自己的业务选择适合的模型,实现最佳功能匹配 路由策略· 支持配置路由策略业务价值:实现智能负载均衡与成本控制,构建高可用的容灾方案 模型调测· 支持模型调测,对比不同模型的效果业务价值:可以快速了解不同模型在当前任务下的效果,帮助用户进行模型选型 四、数据能力 知识库· 支持接入外部(第三方)知识库业务价值:实现各个系统中的数据贯通,增加架构的灵活性 应用管理· Agent问答支持知识切片溯源,支持配置多个知识库(最多3个)业务价值:构建信任与确保合规,实现答案的可验证与可审计 五、组件能力 提示词· 支持提示词管理,支持提示词效果对比,新增多模态提示词业务价值1:提供提示词统一管理、开发能力,实现高效运维;业务价值2:支持多模态数据,拓宽应用场景 MCP· 支持NPX、UVX方式部署和SSE接口接入服务业务价值:极致简化体验,简化集成复杂度 点击可前往>>华为云Versatile智能体平台 官网
-
$ wget "https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN 8.2.RC1/Ascend-cann-toolkit_8.2.RC1_linux-aarch64.run"--2025-09-19 16:34:56-- https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-toolkit_8.2.RC1_linux-aarch64.runResolving ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)... 122.9.88.10, 122.9.88.12, 122.9.88.14, ...Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.10|:443... failed: Connection timed out.Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.12|:443... failed: Connection timed out.Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.14|:443... failed: Connection timed out.Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.11|:443... failed: Connection timed out.Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.13|:443...
-
想问下notebook停止之后 就是现在这种状态下 还在消耗金额吗?
-
想问下notebook实例最多只能租72小时吗 那我要做的实验需要跑超过72h怎么办呢?
-
您好,我目前使用modelarts notebook,需要上传2t左右数据。目前发现可以直接在notebook创建过程中创建一个较大的EVS,然后ssh连接notebook,并上传文件。此外还可以创建obs,用obs browser+上传,然后再拷贝到notebook的云硬盘上。但我尝试下来,这两种方法上传都比较慢。然后由于我使用的是校园网,ipv4限速而ipv6不限速,请问有没有办法通过ipv6上传数据到notebook的云硬盘中?
-
如题,二十九期能使用第三方库吗?如果能,应该如何说明,使得判题系统能正常运行?
-
[ma-user work]$cat start-wismodel.sh#!/bin/bash# source /usr/local/Ascend/ascend-toolkit/set_env.shsource /home/ma-user/anaconda3/etc/profile.d/conda.shconda activate llamafactoryexport ASCEND_LAUNCH_BLOCKING=1export ASCEND_SLOG_PRINT_TO_STDOUT=1export FLASH_ATTENTION=enableexport FRAMEWORK_VERSION=6.5.905+export API_HOST=0.0.0.0export API_KEY=XXXexport API_MODEL_NAME=XXXexport API_VERBOSE=DEBUGexport LLAMAFACTORY_VERBOSITY=DEBUGexport ENABLE_ATB_GRAPH_MODE=1 # 一次性编译整图,后续无 python 调度export ATB_GRAPH_COMPILE_PARALLEL=8 # 用 8 核并行编译,首次启动 2 min 左右for i in `seq 0 4`do export ASCEND_RT_VISIBLE_DEVICES=$i export API_PORT=$(echo $((18000 + i)) ) nohup llamafactory-cli api wismodel_gen.yml >> log.${API_MODEL_NAME}-$i 2>&1 &done[ma-user work]$cat wismodel_gen.yml.bak model_name_or_path: /home/ma-user/work/model/XXXtemplate: qwen3infer_backend: huggingfacetrust_remote_code: truedo_sample: truetemperature: 0.7top_p: 0.8top_k: 20repetition_penalty: 1.05max_new_tokens: 512max_length: 8800use_unsloth: falsenv 3090 推理用 3 秒, ascend llamafactory-cli api 推理需要 30 秒,如何解决?
-
下面是我的详细操作步骤,使用的镜像是:pytorch_2.1.0-cann_8.1.rc1-py_3.10-euler_2.10.11-aarch64-snt9b实例ID:7f74bd20-15bf-485a-9007-a437e1d8c04e创建镜像conda create -n cosyvoice python==3.10 -y 2. 克隆仓库git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git # If you failed to clone the submodule due to network failures, please run the following command until success cd CosyVoice git submodule update --init --recursive 3. 去掉不适配的requriements.txt包# --extra-index-url https://download.pytorch.org/whl/cu121 # --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/ # https://github.com/microsoft/onnxruntime/issues/21684 # tensorrt-cu12==10.0.1; sys_platform == 'linux' # tensorrt-cu12-bindings==10.0.1; sys_platform == 'linux' # tensorrt-cu12-libs==10.0.1; sys_platform == 'linux' # onnxruntime-gpu==1.18.0; sys_platform == 'linux' # onnxruntime==1.18.0; sys_platform == 'darwin' or sys_platform == 'win32' # gradio==5.4.0 conformer==0.3.2 deepspeed==0.15.1; sys_platform == 'linux' diffusers==0.29.0 fastapi==0.115.6 fastapi-cli==0.0.4 gdown==5.1.0 grpcio==1.57.0 grpcio-tools==1.57.0 hydra-core==1.3.2 HyperPyYAML==1.2.2 inflect==7.3.1 librosa==0.10.2 lightning==2.2.4 matplotlib==3.7.5 modelscope==1.20.0 networkx==3.1 omegaconf==2.3.0 onnx==1.16.0 onnxruntime==1.18.0; openai-whisper==20231117 protobuf==4.25 pyarrow==18.1.0 pydantic==2.7.0 pyworld==0.3.4 rich==13.7.1 soundfile==0.12.1 tensorboard==2.14.0 torch==2.1.0 torchaudio==2.1.0 transformers==4.51.3 uvicorn==0.30.0 wetext==0.0.4 wget==3.2 4. 下载requirement source /usr/local/Ascend/ascend-toolkit/set_env.shpip install -r requirements.txtpip install soxpip install torch-npu==2.1.0 5. 修改NPUTorch,使用下面这段推理代码 CosyVoice/cosyvoice/cli/model.py Line36self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') 修改为self.device = 'npu' import sys sys.path.append('third_party/Matcha-TTS') from cosyvoice.cli.cosyvoice import CosyVoice, CosyVoice2 from cosyvoice.utils.file_utils import load_wav import torch_npu import torchaudio cosyvoice = CosyVoice2('pretrained_models/CosyVoice2-0.5B', load_jit=False, load_trt=False, load_vllm=False, fp16=False) # NOTE if you want to reproduce the results on https://funaudiollm.github.io/cosyvoice2, please add text_frontend=False during inference # zero_shot usage prompt_speech_16k = load_wav('./asset/zero_shot_prompt.wav', 16000) for i, j in enumerate(cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物,那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐,笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k, stream=False)): torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate) # save zero_shot spk for future usage assert cosyvoice.add_zero_shot_spk('希望你以后能够做的比我还好呦。', prompt_speech_16k, 'my_zero_shot_spk') is True for i, j in enumerate(cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物,那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐,笑容如花儿般绽放。', '', '', zero_shot_spk_id='my_zero_shot_spk', stream=False)): torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate) cosyvoice.save_spkinfo() # fine grained control, for supported control, check cosyvoice/tokenizer/tokenizer.py#L248 for i, j in enumerate(cosyvoice.inference_cross_lingual('在他讲述那个荒诞故事的过程中,他突然[laughter]停下来,因为他自己也被逗笑了[laughter]。', prompt_speech_16k, stream=False)): torchaudio.save('fine_grained_control_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate) # instruct usage for i, j in enumerate(cosyvoice.inference_instruct2('收到好友从远方寄来的生日礼物,那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐,笑容如花儿般绽放。', '用四川话说这句话', prompt_speech_16k, stream=False)): torchaudio.save('instruct_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate) 出现问题:无法推理 使用下面方式解决后,推理速度极慢:export OMP_NUM_THREADS=1
-
您好,在使用华为云服务器ModelArts的过程中,发现服务器内存不够使用,可以单独租一个硬盘用来保存文件吗?有没有具体的操作流程?
-
镜像:mindspore_2.6.0rc1-cann_8.1.rc1-py_3.10-euler_2.10.11-aarch64-snt9b修改:手动安装 cann 8.2.rc1,以及 MindSpeed-LLM 要求的 torch 2.6.0 和 torch_npu。报错如下:>>> import torchTraceback (most recent call last): File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch/__init__.py", line 2756, in _import_device_backends entrypoint = backend_extension.load() File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/importlib/metadata/__init__.py", line 171, in load module = import_module(match.group('module')) File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/importlib/__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1050, in _gcd_import File "<frozen importlib._bootstrap>", line 1027, in _find_and_load File "<frozen importlib._bootstrap>", line 1006, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 688, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 883, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch_npu/__init__.py", line 41, in <module> import torch_npu.npu File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch_npu/npu/__init__.py", line 476, in <module> from .memory import * # noqa: F403 File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch_npu/npu/memory.py", line 16, in <module> from ._memory_viz import memory as _memory, segments as _segments File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch_npu/npu/_memory_viz.py", line 11, in <module> import yamlModuleNotFoundError: No module named 'yaml'The above exception was the direct cause of the following exception:Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch/__init__.py", line 2784, in <module> _import_device_backends() File "/home/ma-user/miniforge3/envs/dnallm/lib/python3.10/site-packages/torch/__init__.py", line 2760, in _import_device_backends raise RuntimeError(RuntimeError: Failed to load the backend extension: torch_npu. You can disable extension auto-loading with TORCH_DEVICE_BACKEND_AUTOLOAD=0. 如果手动安装 conda install yaml pyyaml,则报错变为:>>> import torchSegmentation fault
-
MindSpeed-LLM 要求 CANN 的 8.2RC1 版本,我自己在 ModelArt 的 8.1 镜像上无法正常安装需求版本的 cann 和 torch
yd_286957044
发表于2025-09-08 20:55:42
2025-09-08 20:55:42
最后回复
yd_232974559
2025-09-16 15:08:21
230 11
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签