小白也能看懂的DeepSeek-R1本地部署与华为云集成指南春节期间Deepseek凭借其出色的性能表现，吸引了众多技术爱好者的目光，会用的人说巨好用，但是也有很多人说也不过如此，其实这么多国际巨头都震惊，自然是非常惊艳的一款产品。如果你也渴望在本地部署该模型，深入探索其强大功能，那么这篇攻略将为你提供详细的指导。这里面我将给大家演示的是windows和mac双平台的部署。废话不多说，现在开始和大家一起了解DeepSeek并完成部署。一、DeepSeek技术全景解析DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应用。DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。核心定位中国首个开源MoE架构千亿参数大模型（671B）多模态理解能力：文本/图像/音视频混合数据处理技术突破混合专家架构（MoE）：动态激活专家模块提升效率多头潜在注意力（MLA）：多维度特征捕捉万亿token训练数据：医疗/编程/法律等专业领域优势AI+国产+免费+开源+强大二、DeepSeek应用场景全景企业级应用智能客服：多轮对话与情感分析（日均处理百万级咨询）代码开发：项目级代码补全与调试（支持30+编程语言）垂直领域医疗辅助：症状识别准确率提升40%1教育创新：个性化学习方案生成（覆盖K12到职业教育），教育：学科解题/语言陪练（展示数学题分步解析）生活服务智能行程规划：多条件约束优化（天气/预算/偏好）内容创作：爆款文案生成（支持多平台风格适配），生成元宵节灯谜示例科研：论文润色/数据可视化（展示4数据分析案例）开发：代码生成/自动化测试（演示简单脚本编写）三、华为云深度集成优势昇腾算力加持昇腾（Ascend）是华为自主研发的一系列高性能AI处理器，广泛应用于加速人工智能计算，包括训练和推理算力与性能：升腾910作为旗舰级AI处理器，基于达芬奇架构，采用先进的7nm工艺制造，特别适合大规模AI训练，在INT8精度下表现出色。达芬奇架构指令集：具有高度灵活性，支持高效运算密集型CISC指令，专门用于神经网络，有助于新模型的研发和快速部署。部署革命ModelEngine平台：一键部署DeepSeek全系模型对偶流水线机制：GPU利用率提升至92%生态优势与ZStack/腾讯云/阿里云对比：唯一支持国产芯片私有化部署四、基础环境搭建（一）安装 Ollama常规下载首先，访问Ollama 官网 ，根据你的操作系统（Windows、Mac 或 Linux），选择对应的安装包进行下载。我这里以mac和windows为例，如果大家安装不了，也可以在我的公众号nutpi回复“Ollama”获取快速下载链接。安装验证安装完成后，为了确认 Ollama 是否成功安装，在终端输入ollama -v 。如果安装正确，终端会显示 Ollama 的版本号，这就表明你已经成功完成了基础环境搭建的第一步。关于如何打开终端，我想说的是mac的话，找到这个工具，windows的话，win+r输入cmd。然后检查ollama -v下载完成后，按照安装向导的提示逐步完成安装。在安装过程中，Ollama 服务会自动在电脑后台运行。五、模型部署（一）依据硬件精准选型打开Ollama 模型库 ，你会看到丰富多样的 DeepSeek-R1 模型版本，如 1.5B、7B、32B 等。根据自身电脑硬件配置来选择合适的模型版本至关重要。以下是本地部署 DeepSeek 系列模型（1.5B、7B、8B、14B、32B）在 Windows、macOS、Linux 三个平台的最低和推荐硬件配置指南。配置需求主要基于模型的显存（GPU）、内存（RAM）和计算资源需求，同时考虑不同平台的优化差异。通用配置原则模型显存占用（估算）：每1B参数约需 1.5-2GB显存（FP16精度）或 0.75-1GB显存（INT8/4-bit量化）。例如：32B模型在FP16下需约 48-64GB显存，量化后可能降至 24-32GB。内存需求：至少为模型大小的2倍（用于加载和计算缓冲）。存储：建议NVMe SSD，模型文件大小从1.5B（约3GB）到32B（约64GB）不等。分平台配置建议以下按模型规模和平台分类，提供 最低配置 和 推荐配置。1.5B 模型平台最低配置推荐配置Windows- CPU: Intel i5 / Ryzen 5- CPU: Intel i7 / Ryzen 7- RAM: 8GB- RAM: 16GB- GPU: NVIDIA GTX 1650 (4GB)- GPU: RTX 3060 (12GB)macOS- M1/M2 芯片（8GB 统一内存）- M1 Pro/Max 或 M3 芯片（16GB+）Linux- CPU: 4核- CPU: 8核- RAM: 8GB- RAM: 16GB- GPU: NVIDIA T4 (16GB)- GPU: RTX 3090 (24GB)7B/8B 模型平台最低配置推荐配置Windows- CPU: Intel i7 / Ryzen 7- CPU: Intel i9 / Ryzen 9- RAM: 16GB- RAM: 32GB- GPU: RTX 3060 (12GB)- GPU: RTX 4090 (24GB)macOS- M2 Pro/Max（32GB 统一内存）- M3 Max（64GB+ 统一内存）Linux- CPU: 8核- CPU: 12核- RAM: 32GB- RAM: 64GB- GPU: RTX 3090 (24GB)- 多卡（如2x RTX 4090）14B 模型平台最低配置推荐配置Windows- GPU: RTX 3090 (24GB)- GPU: RTX 4090 + 量化优化- RAM: 32GB- RAM: 64GBmacOS- M3 Max（64GB+ 统一内存）- 仅限量化版本，性能受限Linux- GPU: 2x RTX 3090（通过NVLink）- 多卡（如2x RTX 4090 48GB）- RAM: 64GB- RAM: 128GB32B 模型平台最低配置推荐配置Windows- 不推荐（显存不足）- 需企业级GPU（如RTX 6000 Ada）macOS- 无法本地部署（硬件限制）- 云API调用Linux- GPU: 4x RTX 4090（48GB显存）- 专业卡（如NVIDIA A100 80GB）- RAM: 128GB- RAM: 256GB + PCIe 4.0 SSD平台差异说明Windows：依赖CUDA和NVIDIA驱动，推荐使用RTX 30/40系列。大模型（14B+）需借助量化或模型分片技术。macOS：仅限Apple Silicon芯片（M1/M2/M3），依赖Metal加速。模型规模超过14B时性能显著下降，建议量化或云端部署。Linux：支持多GPU扩展和高效资源管理（如NVIDIA Docker）。适合部署大型模型（14B+），需专业级硬件。注意事项量化优化：使用4-bit/8-bit量化可大幅降低显存需求（如bitsandbytes）。框架支持：优先选择优化好的库（如vLLM、DeepSpeed、HuggingFace）。散热：长时间推理需确保散热（建议风冷/水冷）。建议根据实际需求选择硬件，并优先在Linux环境下部署大模型。（二）顺利下载与稳定运行确定适合自己电脑配置的模型版本后，就可以开始下载和运行模型了。打开终端或 CMD 命令窗口，输入对应的运行指令：若选择 1.5B 版本，输入ollama run deepseek-r1:1.5b 。若选择 7B 版本，输入ollama run deepseek-r1:7b 。我Mac选择的是这个。若选择 8B 版本，输入ollama run deepseek-r1:8b 。我win选择的是这个。若选择 32B 版本，输入ollama run deepseek-r1:32b 。六、打造专属 AI 聊天室（一）安装配置 “Cherry Studio”下载前往Cherry Studio 官方网站，根据你的操作系统（支持 Windows、Mac 和 Linux）下载对应的安装包安装下载完成后，对于 Windows 系统，双击安装包，按照安装向导提示完成安装，期间可能需要同意用户协议、选择安装路径等常规步骤；对于 Mac 系统，将下载的应用程序文件拖移到 “应用程序” 文件夹；配置打开 Cherry Studio，在设置中找到 “模型设置” 选项。模型选择：从模型列表中选择与你本地部署的 DeepSeek-R1 模型版本对应的选项，如果没有直接匹配项，选择支持自定义模型配置的入口。自定义配置：在自定义配置中，将 API 地址设置为http://localhost:11434 ，这是 Ollama 服务的默认接口地址，确保 Cherry Studio 能连接到本地运行的 DeepSeek-R1 模型。模型参数设置：根据你的硬件配置和使用需求，设置模型的相关参数，如最大生成长度、温度等，一般默认参数即可满足常见需求，但对于特定任务，你可以适当调整，比如生成创意文本时，可将温度调高至 0.8 - 1.0，以增加文本的多样性；进行严谨的知识问答时，可将温度调低至 0.5 - 0.7 ，使回答更稳定。API密钥大家随意设置就好，然后点击检查就好。配置完成后大家记得默认模型也可以配制成deepseek。（二）安装配置Chatbox 客户端Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用为了更便捷地与部署好的 DeepSeek-R1 模型进行交互，你可以下载开源客户端 Chatbox。访问官网 即可进行下载。Chatbox 支持中文界面与 Markdown 渲染，使用起来非常方便。下载安装好 Chatbox 后，打开软件进行关键配置：API 类型：选择 “OLLAMA”，这一步能确保 Chatbox 与我们部署的 DeepSeek-R1 模型进行正确通信。**接口地址：**填写http://localhost:11434 ，这个地址是 Ollama 服务的默认接口地址，通过它 Chatbox 可以连接到本地运行的 DeepSeek-R1 模型。模型名称：务必填写与之前下载的模型版本完全一致的名称，例如，如果之前下载的是 7B 版本，模型名称就必须填写deepseek-r1:7b ，否则可能会导致连接失败。通过以上步骤，你不仅可以使用 Cherry Studio还能通过Chatbox 与本地部署的 DeepSeek-R1 模型进行交互。希望大家都能顺利部署，开启属于自己的 AI 探索之旅。大家遇到问题也可以在后台私信我。这里面大家还有一个问题，就是如果自己的电脑环境配置不好，那么本地部署就玩不了，没事，这里面硅基流动x 华为云联合推出基于昇腾云的 DeepSeek R1&V3 推理服务！也是一个很不错的选择。七、硅基流动配置第一步，登陆账号，然后创建密钥，第二步cherry Studio配置打开设置，选择硅基流动，打开开关，然后上面复制的密钥添加进来，并在管理选择对应的模型。点击检查，看是否OK，第三步配置默认模型为了方便，我们还可以配置默认模型为deepseek-ai/DeepSeek-R1。第四步配置知识库首先在硅基流动配置嵌入模型然后配置知识库的时候，就可以看到硅基流动的嵌入模型啦。配置好以后，就可以添加对应的文件等作为知识库的内容啦。输入信息的时候，选择知识库，就可以啦，比如这里选择坚果派，选择好，以后，就可以对话啦第五步测试效果八、如何使用 DeepSeekrompt 万能框架一给大家一个公式身份：你是谁？（学生/打工牛马/…）任务：要解决什么问题？（写报告/做计划/分析数据…）细节：限制条件是什么？（时间/场景/禁忌…）格式：想要什么形式的结果？（表格/分段/口语化…）套用公式按“身份→任务→细节→格式”顺序重组问题：> “作为（身份），请（任务），要求（细节），用（格式）输出” 。不信你试试。请给出本地部署deepseek的电脑配置，要求包含每一个模型1.5b,7b,8b，14b，32b等，以及windows。mac。linux三个平台的硬件参数Prompt 万能框架二prompt万能框架=立角色+述问题+定目标+补要求。以下是使用Mermaid语法制作的「Prompt万能框架」甘特图，并提供修改说明：2025-05-062025-05-062025-05-072025-05-072025-05-082025-05-082025-05-092025-05-092025-05-102025-05-102025-05-11定义背景角色 明确对话立场 分析问题本质 设定问题边界 制定核心目标 规划成果形式 补充细节要求 设定约束条件 ▶️ 立角色❓ 述问题🎯 定目标📝 补要求Prompt万能框架甘特图在编写 Prompt 时，从0到1地编写出第一版 Prompt 往往是最难的，而基于已有 Prompt 利用各种技巧进行优化则相对简单。如上图所示，我们使用了一套 “万能模版”，把一个 Prompt 拆分成了 “立角色 + 述问题 + 定目标 + 补要求” 这四个部分，利用这个模版可以得到一个“及格”的 Prompt。下面我就具体和大家阐述一下这个模版是如何得到的，为什么他是有效的。Prompt 的作用就是根据我们的问题调用模型的能力，我们要通过提问的方式，明确的让模型知道我们想要什么，我们的目标是什么，从这个基本思想出发，Prompt 应该包含以下几点：问题是什么：首先你要告诉模型你的问题是什么，你的任务是什么，要尽量描述清楚你的需求。你要做什么：下面你需要告诉大模型具体要做什么，比如做一份攻略，写一段代码，对文章进行优化，等等。有什么要求：最后我们往往还需求对任务补充一些要求，比如按特定格式输出，规定长度限制，只输出某些内容，等等。通这 3 部分的描述我们就把 “要大模型做什么” 描述清楚了，这个想法十分自然，即便不是大模型，而是希望其他人为你完成某项任务，往往也需要通过这 3 部分把问题描述清楚。由于这仅仅是第一版 Prompt，你不需要描述的过于详细，也不需要使用技巧，只需要用简练的语言把这几部分描述清晰即可。参考Ollama 官网Ollama 模型库Cherry Studio 官方网站Chatbox官网坚果派硅基流动x 华为云联合推出基于昇腾云的 DeepSeek R1&V3 推理服务DeepSeek 提示词编写技巧典藏版！

使用 HarmonyOS NEXT和Mass快速开发NutPITalk运行环境DevEco Studio：5.0ReleaseOpenHarmony SDK API12开发板：润和DAYU200/Mate60 ProMassMass(即 ModelArts Studio大模型即服务平台)是华为云面向AI开发者推出的一站式大模型开发平台，支持开发者一键体验大模型能力，快速构建大模型应用。Mass平台提供大模型训练、推理、部署、管理、监控等全生命周期管理能力，帮助开发者快速构建大模型应用，加速AI开发。ModelArts Studio大模型即服务平台（MaaS）的应用场景：业界主流开源大模型覆盖全MaaS集成了业界主流开源大模型，含Llama、Baichuan、Yi、Qwen模型系列，所有的模型均基于昇腾AI云服务进行全面适配和优化，使得精度和性能显著提升。开发者无需从零开始构建模型，只需选择合适的预训练模型进行微调或直接应用，减轻模型集成的负担。零代码、免配置、免调优模型开发平台结合与100+客户适配、调优开源大模型的行业实践经验，沉淀了大量适配昇腾，和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力，和高度自动化的参数配置机制，使得模型优化过程不再依赖于手动尝试，显著缩短了从模型开发到部署的周期，确保了模型在各类应用场景下的高性能表现，让客户能够更加聚焦于业务逻辑与创新应用的设计。资源易获取，按需收费，按需扩缩，支撑故障快恢与断点续训企业在具体使用大模型接入企业应用系统的时候，不仅要考虑模型体验情况，还需要考虑模型具体的精度效果，和实际应用成本。MaaS提供灵活的模型开发能力，同时基于昇腾云的算力底座能力，提供了若干保障客户商业应用的关键能力。保障客户系统应用大模型的成本效率，按需收费，按需扩缩的灵活成本效益资源配置方案，有效避免了资源闲置与浪费，降低了进入AI领域的门槛。架构强调高可用性，多数据中心部署确保数据与任务备份，即使遭遇故障，也能无缝切换至备用系统，维持模型训练不中断，保护长期项目免受时间与资源损耗，确保进展与收益。大模型应用开发，帮助开发者快速构建智能Agents在企业中，项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策，然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型，提供优质Prompt模板，让大模型准确理解业务意图，分解复杂任务，沉淀出丰富的多个智能Agent，帮助企业快速智能构建和部署大模型应用。本案例中我们使用华为云开发者空间，基于HarmonyOS NEXT和Mass快速开发NutPITalk。鸿蒙融合智能力，AI助力人生梦！创新科技迎未来，Mass给接口！我们今天来看一下Mass和鸿蒙的结合，会有什么样的火花。免费领取云主机如您还没有云主机，可点击链接，根据领取指南进行操作。如您已领取云主机，可直接开始案例实践。用到资源资源列表消耗/时时长DevEco Studio免费30minModelArts Studio免费30min合计：0元实践ModelArts Studio 模型服务访问 ModelArts Studio 模型部署进入云主机，打开浏览器，输入 https://console.huaweicloud.com/modelarts/?region=cn-east-4&locale=zh-cn#/model-studio/deployment ，即可访问ModelArts Studio。领取免费 Token 额度领取千万免费token额度，可用于体验Qwen、Chatglm等系列模型，免费额度仅适合用于体验模型。Qwen2.5系列预置服务还支持Function Calling，可以用于构建Agent。获取大模型API和名称以Qwen2.5-72B-32K为例，点击更多-调用，获取API地址和模型名称。创建API Key在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。登录ModelArts管理控制台。在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。在ModelArts Studio左侧导航栏中，选择“鉴权管理”。在“鉴权管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。左侧鉴权管理-创建API Key，保存创建的密钥信息最多创建5个密钥，密钥只会在新建后显示一次，请妥善保存。创建HarmonyOS NEXT项目添加权限"requestPermissions": [ { "name": "ohos.permission.INTERNET" } ], 网络请求用流式和非流式两种，非流式从@kit.NetworkKit中导入http命名空间。调用createHttp()方法，创建一个HttpRequest对象。调用该对象的on()方法，订阅http响应头事件，此接口会比request请求先返回。可以根据业务需要订阅此消息。调用该对象的request()方法，传入http请求的url地址和可选参数，发起网络请求。按照实际业务需要，解析返回结果。调用该对象的off()方法，取消订阅http响应头事件。当该请求使用完毕时，调用destroy()方法主动销毁。具体代码如下 getData() { // 每一个httpRequest对应一个HTTP请求任务，不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头，此接口会比request请求先返回。可以根据业务需要订阅此消息 // 从API 8开始，使用on('headersReceive', Callback)替代on('headerReceive', AsyncCallback)。 8+ httpRequest.on('headersReceive', (header) => { console.info('header: ' + JSON.stringify(header)); }); httpRequest.request( // 填写HTTP请求的URL地址，可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 "https://infer-modelarts.cn-east-4.myhuaweicloud.com/v1/infers/5f114f77-65c2-4e79-82df-d84b25b89d42/v1/chat/completions", { method: http.RequestMethod.POST, // 可选，默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json', "Authorization": "Bearer yourApiKey // 把yourApiKey替换成真实的API Key }, // 当使用POST请求时此字段用于传递请求体内容，具体格式与服务端协商确定 extraData: { "model": "Qwen2.5-72B-32K", "max_tokens": 20, "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "鸿蒙坚果派，你了解多少" } ], "stream": false, "temperature": 1.0 }, expectDataType: http.HttpDataType.STRING, // 可选，指定返回数据的类型 usingCache: true, // 可选，默认为true priority: 1, // 可选，默认为1 connectTimeout: 60000, // 可选，默认为60000ms readTimeout: 60000, // 可选，默认为60000ms usingProtocol: http.HttpProtocol.HTTP1_1, // 可选，协议类型默认值由系统自动指定 usingProxy: false, // 可选，默认不使用网络代理，自API 10开始支持该属性 }, (err: BusinessError, data: http.HttpResponse) => { if (!err) { // data.result为HTTP响应内容，可根据业务需要进行解析 console.info('Result:' + JSON.stringify(data.result)); console.info('code:' + JSON.stringify(data.responseCode)); // data.header为HTTP响应头，可根据业务需要进行解析 console.info('header:' + JSON.stringify(data.header)); console.info('cookies:' + JSON.stringify(data.cookies)); // 8+ // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); } else { console.error('error:' + JSON.stringify(err)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); } } ); } 返回数据{ "id": "chat-7bde4ec9cba949c1829e589f4fa1f8b1", "object": "chat.completion", "created": 1736925731, "model": "Qwen2.5-72B-32K", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！有什么可以帮到你的吗？", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 20, "total_tokens": 30, "completion_tokens": 10 }, "prompt_logprobs": null } 参数说明参数参数类型描述idStr请求ID。objectStr请求任务。createdInt请求生成的时间戳。modelStr调用的模型名。choicesArray模型生成内容。usageObject请求输入长度、输出长度和总长度。创建Model处理数据这里使用我们坚果派开发的IDE插件就好，搭建UI这里面，我们可以做个对话框流式数据从@kit.NetworkKit中导入http命名空间。调用createHttp()方法，创建一个HttpRequest对象。调用该对象的on()方法，可以根据业务需要订阅HTTP响应头事件、HTTP流式响应数据接收事件、HTTP流式响应数据接收进度事件和HTTP流式响应数据接收完毕事件。调用该对象的requestInStream()方法，传入http请求的url地址和可选参数，发起网络请求。按照实际业务需要，可以解析返回的响应码。调用该对象的off()方法，取消订阅响应事件。当该请求使用完毕时，调用destroy()方法主动销毁。具体代码如下：// 引入包名 import { http } from '@kit.NetworkKit'; import { BusinessError } from '@kit.BasicServicesKit'; // 每一个httpRequest对应一个HTTP请求任务，不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头事件 httpRequest.on('headersReceive', (header: Object) => { console.info('header: ' + JSON.stringify(header)); }); // 用于订阅HTTP流式响应数据接收事件 let res = new ArrayBuffer(0); httpRequest.on('dataReceive', (data: ArrayBuffer) => { const newRes = new ArrayBuffer(res.byteLength + data.byteLength); const resView = new Uint8Array(newRes); resView.set(new Uint8Array(res)); resView.set(new Uint8Array(data), res.byteLength); res = newRes; console.info('res length: ' + res.byteLength); }); // 用于订阅HTTP流式响应数据接收完毕事件 httpRequest.on('dataEnd', () => { console.info('No more data in response, data receive end'); }); // 用于订阅HTTP流式响应数据接收进度事件 class Data { receiveSize: number = 0; totalSize: number = 0; } httpRequest.on('dataReceiveProgress', (data: Data) => { console.log("dataReceiveProgress receiveSize:" + data.receiveSize + ", totalSize:" + data.totalSize); }); let streamInfo: http.HttpRequestOptions = { method: http.RequestMethod.POST, // 可选，默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json' }, // 当使用POST请求时此字段用于传递请求体内容，具体格式与服务端协商确定 extraData: "data to send", expectDataType: http.HttpDataType.STRING,// 可选，指定返回数据的类型 usingCache: true, // 可选，默认为true priority: 1, // 可选，默认为1 connectTimeout: 60000, // 可选，默认为60000ms readTimeout: 60000, // 可选，默认为60000ms。若传输的数据较大，需要较长的时间，建议增大该参数以保证数据传输正常终止 usingProtocol: http.HttpProtocol.HTTP1_1 // 可选，协议类型默认值由系统自动指定 } // 填写HTTP请求的URL地址，可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 httpRequest.requestInStream("EXAMPLE_URL", streamInfo).then((data: number) => { console.info("requestInStream OK!"); console.info('ResponseCode :' + JSON.stringify(data)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 取消订阅HTTP流式响应数据接收事件 httpRequest.off('dataReceive'); // 取消订阅HTTP流式响应数据接收进度事件 httpRequest.off('dataReceiveProgress'); // 取消订阅HTTP流式响应数据接收完毕事件 httpRequest.off('dataEnd'); // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); }).catch((err: Error) => { console.info("requestInStream ERROR : err = " + JSON.stringify(err)); }); 示例代码 # coding=utf-8 import requests import json if __name__ == '__main__': url = "xxxxxxxxxx/v1/chat/completions" # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer yourApiKey' # 把yourApiKey替换成已获取的API Key。例如，获取的API Key是“1234abcd...”时，此处填写“Bearer 1234abcd...”。 } data = { "model": "Qwen2-7B", # 调用时的模型名称。 "max_tokens": 20, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "hello"} ], # 是否开启流式推理，默认为False,表示不开启流式推理。 "stream": False, # 在流式输出时是否展示使用的token数目。只有当stream为True时该参数才会生效。 # "stream_options": {"include_usage": True}, # 控制采样随机性的浮点数，值较低时模型更具确定性，值较高时模型更具创造性。"0"表示贪婪取样。默认为1.0。 "temperature": 1.0 } resp = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(resp.status_code) print(resp.text) 可以请求到数据，FAQrequest和requestInStream使用区别在于：request接口有5M的数据，如果响应大于5M用requestinstream。参考https://support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0011.htmlhttps://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/http-request-V5https://daqianduan.feishu.cn/docx/NSCsd3xNfoXEKvxTVqRcJTahnuh三方库列表https://plugins.jetbrains.com/plugin/25151-json2ets致谢感谢每一个关注此项目的开发者，也是希望大家对文章有任何建议，可以在https://www.nutpi.net/讨论。

使用 HarmonyOS NEXT和Mass快速开发NutPITalk运行环境DevEco Studio：5.0ReleaseOpenHarmony SDK API12开发板：润和DAYU200/Mate60 ProMassMass(即 ModelArts Studio大模型即服务平台)是华为云面向AI开发者推出的一站式大模型开发平台，支持开发者一键体验大模型能力，快速构建大模型应用。Mass平台提供大模型训练、推理、部署、管理、监控等全生命周期管理能力，帮助开发者快速构建大模型应用，加速AI开发。ModelArts Studio大模型即服务平台（MaaS）的应用场景：业界主流开源大模型覆盖全MaaS集成了业界主流开源大模型，含Llama、Baichuan、Yi、Qwen模型系列，所有的模型均基于昇腾AI云服务进行全面适配和优化，使得精度和性能显著提升。开发者无需从零开始构建模型，只需选择合适的预训练模型进行微调或直接应用，减轻模型集成的负担。零代码、免配置、免调优模型开发平台结合与100+客户适配、调优开源大模型的行业实践经验，沉淀了大量适配昇腾，和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力，和高度自动化的参数配置机制，使得模型优化过程不再依赖于手动尝试，显著缩短了从模型开发到部署的周期，确保了模型在各类应用场景下的高性能表现，让客户能够更加聚焦于业务逻辑与创新应用的设计。资源易获取，按需收费，按需扩缩，支撑故障快恢与断点续训企业在具体使用大模型接入企业应用系统的时候，不仅要考虑模型体验情况，还需要考虑模型具体的精度效果，和实际应用成本。MaaS提供灵活的模型开发能力，同时基于昇腾云的算力底座能力，提供了若干保障客户商业应用的关键能力。保障客户系统应用大模型的成本效率，按需收费，按需扩缩的灵活成本效益资源配置方案，有效避免了资源闲置与浪费，降低了进入AI领域的门槛。架构强调高可用性，多数据中心部署确保数据与任务备份，即使遭遇故障，也能无缝切换至备用系统，维持模型训练不中断，保护长期项目免受时间与资源损耗，确保进展与收益。大模型应用开发，帮助开发者快速构建智能Agents在企业中，项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策，然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型，提供优质Prompt模板，让大模型准确理解业务意图，分解复杂任务，沉淀出丰富的多个智能Agent，帮助企业快速智能构建和部署大模型应用。本案例中我们使用华为云开发者空间，基于HarmonyOS NEXT和Mass快速开发NutPITalk。鸿蒙融合智能力，AI助力人生梦！创新科技迎未来，Mass给接口！我们今天来看一下Mass和鸿蒙的结合，会有什么样的火花。免费领取云主机如您还没有云主机，可点击链接，根据领取指南进行操作。如您已领取云主机，可直接开始案例实践。用到资源资源列表消耗/时时长DevEco Studio免费30minModelArts Studio免费30min合计：0元实践ModelArts Studio 模型服务访问 ModelArts Studio 模型部署进入云主机，打开浏览器，输入 https://console.huaweicloud.com/modelarts/?region=cn-east-4&locale=zh-cn#/model-studio/deployment ，即可访问ModelArts Studio。领取免费 Token 额度领取千万免费token额度，可用于体验Qwen、Chatglm等系列模型，免费额度仅适合用于体验模型。Qwen2.5系列预置服务还支持Function Calling，可以用于构建Agent。获取大模型API和名称以Qwen2.5-72B-32K为例，点击更多-调用，获取API地址和模型名称。创建API Key在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。登录ModelArts管理控制台。在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。在ModelArts Studio左侧导航栏中，选择“鉴权管理”。在“鉴权管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。左侧鉴权管理-创建API Key，保存创建的密钥信息最多创建5个密钥，密钥只会在新建后显示一次，请妥善保存。创建HarmonyOS NEXT项目添加权限"requestPermissions": [ { "name": "ohos.permission.INTERNET" } ], 网络请求用流式和非流式两种，非流式从kit.NetworkKit中导入http命名空间。调用createHttp()方法，创建一个HttpRequest对象。调用该对象的on()方法，订阅http响应头事件，此接口会比request请求先返回。可以根据业务需要订阅此消息。调用该对象的request()方法，传入http请求的url地址和可选参数，发起网络请求。按照实际业务需要，解析返回结果。调用该对象的off()方法，取消订阅http响应头事件。当该请求使用完毕时，调用destroy()方法主动销毁。具体代码如下 getData() { // 每一个httpRequest对应一个HTTP请求任务，不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头，此接口会比request请求先返回。可以根据业务需要订阅此消息 // 从API 8开始，使用on('headersReceive', Callback)替代on('headerReceive', AsyncCallback)。 8+ httpRequest.on('headersReceive', (header) => { console.info('header: ' + JSON.stringify(header)); }); httpRequest.request( // 填写HTTP请求的URL地址，可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 "https://infer-modelarts.cn-east-4.myhuaweicloud.com/v1/infers/5f114f77-65c2-4e79-82df-d84b25b89d42/v1/chat/completions", { method: http.RequestMethod.POST, // 可选，默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json', "Authorization": "Bearer yourApiKey // 把yourApiKey替换成真实的API Key }, // 当使用POST请求时此字段用于传递请求体内容，具体格式与服务端协商确定 extraData: { "model": "Qwen2.5-72B-32K", "max_tokens": 20, "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "鸿蒙坚果派，你了解多少" } ], "stream": false, "temperature": 1.0 }, expectDataType: http.HttpDataType.STRING, // 可选，指定返回数据的类型 usingCache: true, // 可选，默认为true priority: 1, // 可选，默认为1 connectTimeout: 60000, // 可选，默认为60000ms readTimeout: 60000, // 可选，默认为60000ms usingProtocol: http.HttpProtocol.HTTP1_1, // 可选，协议类型默认值由系统自动指定 usingProxy: false, // 可选，默认不使用网络代理，自API 10开始支持该属性 }, (err: BusinessError, data: http.HttpResponse) => { if (!err) { // data.result为HTTP响应内容，可根据业务需要进行解析 console.info('Result:' + JSON.stringify(data.result)); console.info('code:' + JSON.stringify(data.responseCode)); // data.header为HTTP响应头，可根据业务需要进行解析 console.info('header:' + JSON.stringify(data.header)); console.info('cookies:' + JSON.stringify(data.cookies)); // 8+ // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); } else { console.error('error:' + JSON.stringify(err)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); } } ); } 返回数据{ "id": "chat-7bde4ec9cba949c1829e589f4fa1f8b1", "object": "chat.completion", "created": 1736925731, "model": "Qwen2.5-72B-32K", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！有什么可以帮到你的吗？", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 20, "total_tokens": 30, "completion_tokens": 10 }, "prompt_logprobs": null } 参数说明参数参数类型描述idStr请求ID。objectStr请求任务。createdInt请求生成的时间戳。modelStr调用的模型名。choicesArray模型生成内容。usageObject请求输入长度、输出长度和总长度。创建Model处理数据这里使用我们坚果派开发的IDE插件就好，搭建UI这里面，我们可以做个对话框流式数据从@kit.NetworkKit中导入http命名空间。调用createHttp()方法，创建一个HttpRequest对象。调用该对象的on()方法，可以根据业务需要订阅HTTP响应头事件、HTTP流式响应数据接收事件、HTTP流式响应数据接收进度事件和HTTP流式响应数据接收完毕事件。调用该对象的requestInStream()方法，传入http请求的url地址和可选参数，发起网络请求。按照实际业务需要，可以解析返回的响应码。调用该对象的off()方法，取消订阅响应事件。当该请求使用完毕时，调用destroy()方法主动销毁。具体代码如下：// 引入包名 import { http } from '@kit.NetworkKit'; import { BusinessError } from '@kit.BasicServicesKit'; // 每一个httpRequest对应一个HTTP请求任务，不可复用 let httpRequest = http.createHttp(); // 用于订阅HTTP响应头事件 httpRequest.on('headersReceive', (header: Object) => { console.info('header: ' + JSON.stringify(header)); }); // 用于订阅HTTP流式响应数据接收事件 let res = new ArrayBuffer(0); httpRequest.on('dataReceive', (data: ArrayBuffer) => { const newRes = new ArrayBuffer(res.byteLength + data.byteLength); const resView = new Uint8Array(newRes); resView.set(new Uint8Array(res)); resView.set(new Uint8Array(data), res.byteLength); res = newRes; console.info('res length: ' + res.byteLength); }); // 用于订阅HTTP流式响应数据接收完毕事件 httpRequest.on('dataEnd', () => { console.info('No more data in response, data receive end'); }); // 用于订阅HTTP流式响应数据接收进度事件 class Data { receiveSize: number = 0; totalSize: number = 0; } httpRequest.on('dataReceiveProgress', (data: Data) => { console.log("dataReceiveProgress receiveSize:" + data.receiveSize + ", totalSize:" + data.totalSize); }); let streamInfo: http.HttpRequestOptions = { method: http.RequestMethod.POST, // 可选，默认为http.RequestMethod.GET // 开发者根据自身业务需要添加header字段 header: { 'Content-Type': 'application/json' }, // 当使用POST请求时此字段用于传递请求体内容，具体格式与服务端协商确定 extraData: "data to send", expectDataType: http.HttpDataType.STRING,// 可选，指定返回数据的类型 usingCache: true, // 可选，默认为true priority: 1, // 可选，默认为1 connectTimeout: 60000, // 可选，默认为60000ms readTimeout: 60000, // 可选，默认为60000ms。若传输的数据较大，需要较长的时间，建议增大该参数以保证数据传输正常终止 usingProtocol: http.HttpProtocol.HTTP1_1 // 可选，协议类型默认值由系统自动指定 } // 填写HTTP请求的URL地址，可以带参数也可以不带参数。URL地址需要开发者自定义。请求的参数可以在extraData中指定 httpRequest.requestInStream("EXAMPLE_URL", streamInfo).then((data: number) => { console.info("requestInStream OK!"); console.info('ResponseCode :' + JSON.stringify(data)); // 取消订阅HTTP响应头事件 httpRequest.off('headersReceive'); // 取消订阅HTTP流式响应数据接收事件 httpRequest.off('dataReceive'); // 取消订阅HTTP流式响应数据接收进度事件 httpRequest.off('dataReceiveProgress'); // 取消订阅HTTP流式响应数据接收完毕事件 httpRequest.off('dataEnd'); // 当该请求使用完毕时，调用destroy方法主动销毁 httpRequest.destroy(); }).catch((err: Error) => { console.info("requestInStream ERROR : err = " + JSON.stringify(err)); }); 示例代码 # coding=utf-8 import requests import json if __name__ == '__main__': url = "xxxxxxxxxx/v1/chat/completions" # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer yourApiKey' # 把yourApiKey替换成已获取的API Key。例如，获取的API Key是“1234abcd...”时，此处填写“Bearer 1234abcd...”。 } data = { "model": "Qwen2-7B", # 调用时的模型名称。 "max_tokens": 20, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "hello"} ], # 是否开启流式推理，默认为False,表示不开启流式推理。 "stream": False, # 在流式输出时是否展示使用的token数目。只有当stream为True时该参数才会生效。 # "stream_options": {"include_usage": True}, # 控制采样随机性的浮点数，值较低时模型更具确定性，值较高时模型更具创造性。"0"表示贪婪取样。默认为1.0。 "temperature": 1.0 } resp = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(resp.status_code) print(resp.text) 可以请求到数据，FAQrequest和requestInStream使用区别在于：request接口有5M的数据，如果响应大于5M用requestinstream。参考https://support.huaweicloud.com/usermanual-maas-modelarts/maas-modelarts-0011.htmlhttps://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/http-request-V5三方库列表https://plugins.jetbrains.com/plugin/25151-json2ets致谢感谢每一个关注此项目的开发者，也是希望大家对文章有任何建议，可以在https://www.nutpi.net/讨论。

轻松搭建知识库：CherryStudio 联手华为云的实践指南在当今数字化时代，知识管理对于个人和企业都至关重要。CherryStudio 作为一款全能 AI 助手平台，与华为云强强联手，为用户提供了搭建本地知识库系统的便捷方案。本文将详细介绍如何利用 CherryStudio 和华为云实现知识库的搭建和管理。一、CherryStudio：全能 AI 助手平台CherryStudio 是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。其高度自定义的设计、强大的扩展能力和友好的用户体验，使其成为专业用户和 AI 爱好者的理想选择。无论是零基础用户还是开发者，都能在 CherryStudio 中找到适合自己的 AI 功能，提升工作效率和创造力。二、本地知识库系统（一）多种格式支持本地知识库系统支持 PDF、DOCX、PPTX、XLSX、TXT、MD 等多种文件格式导入，满足用户不同的文档管理需求。（二）多种数据源支持系统支持本地文件、网址、站点地图甚至手动输入内容作为知识库源，方便用户从多种渠道获取和整合知识。（三）知识库导出用户可以将处理好的知识库导出并分享给他人使用，实现知识的共享和传播。（四）支持搜索检查知识库导入后，用户可实时检索测试，查看处理结果和分段效果，确保知识库的质量和可用性。三、华为云操作步骤（一）创建账号登录首先，到 华为云 创建账号并登录。（二）进入 Maa S 控制台点击 此链接，进入 Maa S 控制台。（三）授权在控制台中进行授权操作，确保后续操作的顺利进行。（四）模型部署点击侧栏的 “模型部署”，全部领取，以便使用华为云提供的模型资源。（五）创建 API Key点击侧栏的 “鉴权管理”，创建 API Key（秘钥）并复制，用于后续在 CherryStudio 中的配置。（六）在 CherryStudio 中配置在 CherryStudio 里创建新服务商，创建华为云。将服务商地址粘贴到 CherryStudio 的服务商地址当中，并在结尾加上 “#” 号。然后把模型名称复制，到 CherryStudio 当中点 “+ 添加” 按钮新建模型，输入模型名称，不要添油加醋，不要带引号，按照示例中的写法进行操作。点击添加模型按钮即可完成添加。粘贴到CherryStudio的服务商地址当中并在结尾加上“#”号然后把模型名称复制，到CherryStudio当中点“+添加”按钮新建模型，输入模型名称，不要添油加醋，不要带引号，示例当中怎么写就怎么抄。四、总结通过以上步骤，华为云、本地知识库和 CherryStudio 就能够很好地结合在一起。结合鸿蒙知识，整个系统形成了一个闭环，为用户提供了一个高效、便捷的知识管理解决方案。无论是个人用户还是企业用户，都可以利用这一方案提升知识管理的效率和质量，实现知识的快速检索、共享和应用。五、未来展望随着技术的不断发展，CherryStudio 和华为云将继续优化和升级，为用户提供更多功能和更好的体验。我们期待这一解决方案能够在更多领域得到应用，为用户创造更大的价值。六、致谢感谢华为云提供的强大技术支持，以及 CherryStudio 团队的不懈努力。同时，感谢所有开发者的信任和支持。总结：CherryStudio 与华为云的结合，为用户搭建本地知识库系统提供了高效、便捷的解决方案。通过简单的操作步骤，用户可以轻松实现知识库的搭建、管理和应用。这一方案不仅提升了知识管理的效率，还为用户提供了更广阔的应用空间。我们相信，随着技术的不断进步，CherryStudio 和华为云将为用户带来更多惊喜和价值。

本期有奖互动体验获奖名单如下，请获奖的小伙伴在3月10日前填写问卷反馈收件信息：cid:link_1 专家答疑详情见：cid:link_3 昵称/手机尾号互动内容mitenkilee【提问】1.在私有化部署中，如何建立高效的模型更新与维护机制，以确保DeepSeek模型的持续优化和稳定性？2.华为平台私有化部署DeepSeek时，如何通过技术手段确保数据在本地存储、传输和处理过程中的安全性，以满足GDPR、HIPAA等国际合规标准？3.在私有化部署中，如何利用DeepSeek的API接口与企业现有的IT系统（如ERP、CRM）无缝集成，以实现智能化业务流程？Hello Digger开发者如何在华为云上快速搭建基于DeepSeek的开发环境,有哪些推荐的工具和流程？ 部署DeepSeek应用时，如何选择合适的计算实例类型？ 在华为云上使用DeepSeek时，如何进行资源成本优化？有哪些策略可以降低开发和运营成本？是否可以利用华为云的缓存服务提升DeepSeek应用的响应速度，如何使用?1575华为云提到企业级优化方案支持私有化部署。若企业已有本地数据中心，能否通过华为云MaaS平台实现混合云环境下的DeepSeek模型弹性调度？需要哪些基础设施条件？5546华为云ModelArts Studio支持“一键部署DeepSeek专属实例”。对于中小型企业，如何在资源有限的情况下通过200万免费Token快速验证AI应用原型？独享型实例的资源减半策略具体如何实现？华为云通过昇腾适配版DeepSeek-R1/V3实现了序列长度扩展至32K和推理成本减半。能否具体说明这些技术优化如何提升企业处理长文本、多模态数据的效率？背后的算法与硬件协同设计有哪些创新？612***7DeepSeek 的 AI 模型如何与华为云的 昇腾 AI 处理器（Ascend） 深度结合，以实现更高效的模型训练和推理？是否存在针对特定硬件优化的定制化模型？ 开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****i3vpkenq176iu开发者空间部署DeepSeek抽奖开发者定制斜挎包hi****kw4d0vlfoo8fa开发者空间部署DeepSeek抽奖开发者定制冲锋衣hi****148bbb2xfbysq开发者空间部署DeepSeek抽奖开发者定制冲锋衣cs****eke开发者空间部署DeepSeek抽奖华为FreeBuds SE 2无线耳机nu****an ——————————————近年来，AI 技术的快速发展正在深刻改变各行各业，而近日随着DeepSeek的热度狂飙，让AI技术进一步深入到了我们的日常生活。那么DeepSeek到底为什么这么火？华为云+DeepSeek后，能为我们的产品和应用带来哪些魔力？在华为云上，如何使用DeepSeek才能充分发挥AI的效力？本期直播，华为云DTSE技术布道师们，将聚焦 AI 与云计算的深度融合，围绕DeepSeek在云上的应用案例，与线上开发者伙伴们一起探讨如何利用 AI 驱动云上应用创新。【直播时间】2025年2月26日 16:00-18:00【直播链接】cid:link_4【互动方式】论坛提问：在本帖下回复，如“【提问】在华为云上，如何使用DeepSeek才能充分发挥AI的效力呢？”直播间提问：直播期间直接在问答区发送具体问题论坛分享：在本帖下回复，分享你对“华为云+DeepSeek”的使用体验、技术观点、应用案例等部署体验：在本论坛贴评论区发布云主机成功安装DeepSeek截图，具体操作可参考《仅四步！在华为开发者空间快速部署DeepSeek》【活动时间】即日起—2025年3月4日【奖励规则】优质互动奖励：活动结束后将从以上参与互动的用户中，根据发表内容的质量和价值，评选5条优质互动，赠送开发者定制短袖T恤或开发者定制128gU盘。成功部署抽奖：云主机成功安装DeepSeek并在本贴回复截图，即可>>点此参与抽奖，赢取开发者定制冲锋衣、华为FreeBuds SE 2无线耳机、开发者定制斜挎包等好礼！​更多直播活动请进入官网直播间参与：​【注意事项】1、所有参与活动的问题，如发现为复用他人内容或直播间中重复内容，则取消获奖资格。2、活动将在3月5日前，在本帖公示获奖情况并收集领奖信息，为保证您顺利领取活动奖品，请关注活动公告，及时填写奖品收货信息。3、活动奖项公示时间截止2025年3月10日，如未反馈邮寄信息视为弃奖。本次活动奖品将于奖项公示后30个工作日内统一发出，请您耐心等待。4、活动期间同类子活动每个ID（同一姓名/电话/收货地址）只能获奖一次，若重复则中奖资格顺延至下一位合格开发者，仅一次顺延。5、如活动奖品出现没有库存的情况，华为云工作人员将会替换等价值的奖品，获奖者不同意此规则视为放弃奖品。6、其他事宜请参考【华为云社区常规活动规则】。

步骤挺简单的。几部就搞定。相对于ollama来说，LM studio有GUI可以使用。安装后启动后的界面：看到DS 7B蒸馏模型下载这个模型之前，可以设置代理proxy，这样4G的7B模型，大约几分钟下载完。看看下载完成、保存到本地的模型文件：加载模型后，和他聊一聊：每秒吐7个token(7个汉字？）。感觉上是比较慢的。最后有个疑问，就是CPU使用。i7 20个虚拟CPU。在windows的任务管理器，性能里看到CPU使用到80%以上。但是在详细信息里面，看lm studio进程使用的CPU只有20%-30%多。这个对不上。挺奇怪的。后面有空到linux下面部署一下看看。

说明：仅“华东二”和“西南-贵阳一”区域支持使用ModelArts Studio大模型即服务平台（MaaS）。MaaS是白名单功能，如果有试用需求，请先申请权限。所以，ModelArts Studio目前在控制台里还搜索不到它这个产品，只能找到modelarts。进入的话要通过链接进入。

比如DeepSeek-R1-Distill-Llama-8B、比如DeepSeek-R1-Distill-Qwen-32B，解释如下：1. DeepSeek-R1背景：DeepSeek-R1 是 DeepSeek AI 开发的第一代推理模型。它通过大规模强化学习（RL）进行训练，并在 RL 之前使用冷启动数据来增强推理性能。性能：DeepSeek-R1 在数学、代码和推理任务上的表现与 OpenAI 的 o1 模型相当。2. Distill（蒸馏）概念：蒸馏是指将一个更大、更复杂的模型（如 DeepSeek-R1）的知识转移到一个更小、更高效的模型中。这使得较小的模型能够继承较大模型的推理能力。好处：蒸馏后的模型在保持强大性能的同时，更加轻量化，部署成本更低。3. Llama-8B基础模型：Llama-8B 指的是 Llama 系列中的基础模型，具体来说是 Llama3.1-8B-Base。定制化：DeepSeek AI 使用 DeepSeek-R1 生成的推理数据对这个基础模型进行了微调。结果是，DeepSeek-R1-Distill-Llama-8B 在推理任务上进行了优化，并且是基于 Llama-8B 的蒸馏模型之一。4. DeepSeek-R1-Distill-Llama-8B 的关键特点高级推理能力：该模型在紧凑的开源包中封装了高级推理能力。基准性能：在各种基准测试中表现出竞争力，使其成为开发人员和研究人员的宝贵工具。本地部署：支持成本效益高的本地部署，允许用户在自己的硬件上运行模型。5. 使用场景研究与开发：适用于希望在较小模型中利用高级推理能力的研究人员。实际应用：适用于需要强推理能力的任务，如问题解决、代码生成和数学计算。6. 许可和可用性许可：该模型在 MIT 许可证下发布，允许商业使用和修改。获取方式：可以通过 Hugging Face 和 Ollama 等平台下载和使用。总结来说，DeepSeek-R1-Distill-Llama-8B 是基于 Llama-8B 架构的 DeepSeek-R1 模型的蒸馏版本。它在更紧凑和高效的形式中提供了高级推理能力，使其成为研究和实际应用中的强大工具。

注: 不包含最新的多模态模型版本名称推出时间功能特点DeepSeek-V12024 年 1 月预训练于 2TB 标记数据，主打自然语言处理和编码任务，支持多种编程语言，具有强大的编码能力，适合程序开发人员和技术研究人员使用DeepSeek-V22024 年上半年性能出色且价格低廉，引发中国 AI 模型价格战DeepSeek-V2.52024 年 9 月显著提升了通用能力和代码生成能力DeepSeek-V2.5-12102024 年 12 月全面提升了数学、代码、写作等能力，并新增联网搜索功能DeepSeek-V32024 年 12 月 26 日参数规模达 6710 亿的混合专家（MoE）语言模型，推理速度提升，每秒生成 60 个字符，支持本地部署DeepSeek-R1-Lite2024 年 11 月 20 日推理能力强，在高难度的数学和代码任务中表现优异，思考过程详细，性价比高DeepSeek-R12025 年 1 月 20 日采用强化学习进行后训练，提升推理能力，擅长数学、代码和自然语言推理等复杂任务，完全开源，采用 MIT 许可协议

如AI Gallery上面的镜像 Pytorch_2.0.0-cuda_11.7-py_3.9.11-ubuntu_20.04镜像地址为swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_2_0:pytorch_2.0.0-cuda_11.7-py_3.9.11-ubuntu_20.04-x86_64-20230727142019-7d74011 或基于mindspore的镜像swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20221118143809-d65d817  如何使用docker或本地k8s运行此镜像，web使用其notebook。

一、核心概念主干网络（Backbone）是深度神经网络中负责特征提取的核心部分，通常由多个卷积层、池化层、归一化层等组成（而非单一卷积层）。它从输入数据中逐层提取从低级到高级的特征，形成多层次的特征图，供后续任务（如分类、检测）使用。二、经典主干网络演进与特性以下是关键网络的创新点及影响：网络名称核心贡献应用场景AlexNet首个成功CNN，ReLU、Dropout、数据增强，开启深度学习热潮图像分类奠基者VGG堆叠3x3小卷积核，结构简单，证明深度重要性特征提取通用骨干Inception多尺度并行卷积（Inception模块），降低参数量高效分类、多尺度特征融合ResNet残差连接解决梯度消失，允许千层网络几乎所有视觉任务的基础MobileNet深度可分离卷积，大幅减少计算量（FLOPs）移动端/嵌入式设备SENet通道注意力机制（SE模块），动态增强重要特征提升分类、检测精度三、主干网络的扩展方向轻量化设计技术：深度可分离卷积（MobileNet）、通道混洗（ShuffleNet）、神经架构搜索（EfficientNet）。目标：平衡精度与速度，适应移动端/边缘计算。注意力机制融合代表：SENet（通道注意力）、CBAM（空间+通道注意力）、Transformer（自注意力）。效果：提升模型对关键特征的敏感度，如医疗图像中的病灶区域。多任务适应性检测任务：ResNet+FPN（特征金字塔）、CSPDarkNet（YOLOv4/v5）。分割任务：DeepLab系列（空洞卷积）、UNet（跳跃连接）。Transformer的崛起ViT（Vision Transformer）：将图像分块处理，通过自注意力捕获全局依赖，需大规模数据预训练。混合架构：Swin Transformer引入局部窗口注意力，兼顾效率和性能。四、选择主干的实用考量精度优先：ResNet、EfficientNet、ViT（需足够数据）。速度优先：MobileNet、ShuffleNet、GhostNet。任务适配：检测常用ResNet+FPN，分割偏好DeepLabv3+。资源限制：参数量、FLOPs、内存占用（如嵌入式设备需INT8量化）。五、前沿趋势与发散思考自监督预训练方法：SimCLR、MoCo利用对比学习从无标签数据学习特征。优势：减少对标注数据的依赖，提升下游任务泛化性。神经架构搜索（NAS）案例：EfficientNet通过NAS平衡深度、宽度、分辨率，达到SOTA。挑战：搜索成本高，需分布式计算支持。可解释性与可视化工具：Grad-CAM、特征图可视化。意义：理解网络关注区域（如自动驾驶中障碍物识别是否合理）。跨模态主干网络CLIP：联合训练图像+文本编码器，实现零样本迁移。BEiT：结合图像掩码建模，类似BERT的预训练策略。六、常见误区纠正误区1：主干网络=卷积层堆叠。正解：包含卷积、池化、归一化、注意力等多类组件。误区2：越深的网络越好。正解：需根据任务复杂度选择，过深可能导致过拟合（如小数据集）。误区3：主干网络必须从头训练。正解：迁移学习常用预训练主干（如ImageNet预训练），冻结或微调。七、动手建议实践对比：在相同数据集上测试ResNet50 vs. MobileNetV3，比较精度和推理速度。特征可视化：使用PyTorch Hook提取VGG不同层的特征图，观察低级到高级特征变化。自定义Backbone：在简单任务（如MNIST分类）中尝试组合Inception模块与残差连接。通过理解主干网络的设计哲学与演进脉络，可以更灵活地选择或设计适合特定场景的模型，同时把握视觉智能的核心驱动力。

nvidia-smi -L 是用于列出系统中所有 NVIDIA GPU 的简要信息。输出解析：GPU 0: Tesla P100-PCIE-16GB (UUID: GPU-aeff9e46-cbd1-350c-f781-566034cb7831) GPU 0含义：系统中第一个（编号为0）的 NVIDIA GPU 设备。多卡场景：如果有多个 GPU，会依次显示 GPU 1, GPU 2 等。Tesla P100-PCIE-16GB含义：GPU 的型号和规格。型号说明：Tesla P100：NVIDIA 的通用计算加速卡，专为深度学习、高性能计算（HPC）等场景设计。PCIE：通过 PCI Express 总线与主板连接（区别于 NVLink 版本）。16GB：显存容量为 16GB。UUID含义：GPU 的唯一标识符（Universally Unique Identifier），用于在多 GPU 系统中精准区分物理设备。用途：编程时绑定任务到指定 GPU。系统日志或监控工具中追踪特定 GPU 的状态。Tesla P100 的关键特性：架构：基于 Pascal 架构，支持 FP16/FP32/FP64 计算。适用场景：深度学习训练、科学计算、数据中心加速等。性能：相比消费级显卡（如 GeForce），Tesla 系列更注重稳定性和双精度计算能力。其他操作：查看 GPU 实时状态：nvidia-smi # 显示 GPU 利用率、显存占用、温度等信息 监控指定 GPU 的显存：nvidia-smi -i 0 --query-gpu=memory.used,memory.total --format=csv # -i 0 表示监控 GPU 0 多 GPU 管理：若系统有多个 GPU，可通过环境变量 CUDA_VISIBLE_DEVICES 控制任务使用的 GPU，例如：CUDA_VISIBLE_DEVICES=0 python train.py # 仅使用 GPU 0 常见问题：Q1：为什么显存显示为16GB，但实际可用略少？A1：部分显存会被系统保留（如 GPU 驱动、内核占用），属于正常现象。Q2：如何确认 GPU 是否支持某项功能（如 CUDA 版本）？A2：通过 nvidia-smi -q 查看详细 GPU 属性，或参考 NVIDIA 官方文档。

nvidia-smi -L 是用于列出系统中所有 NVIDIA GPU 的简要信息。输出解析：GPU 0: Tesla P100-PCIE-16GB (UUID: GPU-aeff9e46-cbd1-350c-f781-566034cb7831) GPU 0含义：系统中第一个（编号为0）的 NVIDIA GPU 设备。多卡场景：如果有多个 GPU，会依次显示 GPU 1, GPU 2 等。Tesla P100-PCIE-16GB含义：GPU 的型号和规格。型号说明：Tesla P100：NVIDIA 的通用计算加速卡，专为深度学习、高性能计算（HPC）等场景设计。PCIE：通过 PCI Express 总线与主板连接（区别于 NVLink 版本）。16GB：显存容量为 16GB。UUID含义：GPU 的唯一标识符（Universally Unique Identifier），用于在多 GPU 系统中精准区分物理设备。用途：编程时绑定任务到指定 GPU。系统日志或监控工具中追踪特定 GPU 的状态。Tesla P100 的关键特性：架构：基于 Pascal 架构，支持 FP16/FP32/FP64 计算。适用场景：深度学习训练、科学计算、数据中心加速等。性能：相比消费级显卡（如 GeForce），Tesla 系列更注重稳定性和双精度计算能力。其他操作：查看 GPU 实时状态：nvidia-smi # 显示 GPU 利用率、显存占用、温度等信息 监控指定 GPU 的显存：nvidia-smi -i 0 --query-gpu=memory.used,memory.total --format=csv # -i 0 表示监控 GPU 0 多 GPU 管理：若系统有多个 GPU，可通过环境变量 CUDA_VISIBLE_DEVICES 控制任务使用的 GPU，例如：CUDA_VISIBLE_DEVICES=0 python train.py # 仅使用 GPU 0 常见问题：Q1：为什么显存显示为16GB，但实际可用略少？A1：部分显存会被系统保留（如 GPU 驱动、内核占用），属于正常现象。Q2：如何确认 GPU 是否支持某项功能（如 CUDA 版本）？A2：通过 nvidia-smi -q 查看详细 GPU 属性，或参考 NVIDIA 官方文档。

依据教程（【2023CANN训练营第二季】——Ascend C代码实操分享-云社区-华为云）在5.编译之前要修改CMakePresets.json文件下的ASCEND_CANN_PACKAGE_PATH变量，修改成你实际的CANN安装路径，时，不知道如何查询CANN安装路径； 

MaasMaas叫做模型即服务（Model as a Service）,这是一种新兴流行的人工智能服务模式，它通过将机器学习模型（比如通义）及其相关能力打包成可重复使用的服务，通过API的形式提供给用户。这样用户在无需了解任何复杂的算法和实现细节的情况，就可以调用模型进行数据处理和沟通了。 华为云打造的AI开放平台ModelArts,是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。 我们在控制台搜索一下model可以看到Ai开发平台ModelArts，属于人工智能模块。我们点击进入。我们在左侧菜单中可以看到ModelArts Studio平台，点击进入。（注意如果没有这个菜单的，切换到华东二区域）进入后我们可以看到关于ModelArts Studio的相关介绍，它有丰富的模型资源，配合易上手的模型工具，就可以快速打造AI了。我们可以看到，平台为我们准备了大量的tokens可以让我们免费体验，点击立即领取进入到领取页。我们可以看到平台为我们提供了不同的模型，让我们可以测试体验。我们首先点击领取，则可以领取免费的tokens用来调用，然后点击更多，点击调用。调用弹窗中，我们可以看到提供的内容。1、API地址，这个地址就是用来请求AI的服务地址。2、模型名称，这个是在调用AI服务时，需要告诉AI当前是哪个模型。3、管理API Key ，这个是用来在请求AI服务时，需要有一个安全认证，这里就是安全秘钥的生成管理地址。首先，我们创建一个安全秘钥，点击管理API Key , 直接创建就可以。注意，API Key生成后只会显示一次，需要自己管理。感兴趣的朋友可以看一下调用示例，可以在本地python环境下，调用一下试试。DifyDify 是一个创新的开源平台，它专门为大型语言模型（LLM）应用的开发而设计。它巧妙地结合了后端即服务（Backend as Service）的理念和LLMOps的实践，加速了开发者构建高效、可扩展的生成式 AI 应用的过程。Dify 支持集成多种顶尖的大型语言模型。我们通过Flexus X实例快速部署Dify。我们创建资源栈，选择模板URL方式 。参数配置我们输入创建ecs_password。也就是ecs的密码。然后一直下一步确认即可。在创建完成的资源处-输入栏目，可以看到dify对应的访问网址。至此，dify我们就安装完成。我们访问dify后，点击用户信息-设置-模型供应商进行配置模型。第一步：选择OpenAI-API-compatible ，通义的模型也支持这个模型。第二步：选择模型类型LLM.第三步：输入 模型名称 。第四步：输入APIkey、API Url、模型code。文章上方已经介绍过APIkey、url和模型key的获取。可以在重温一下。接下来我们创建一个名称为Chat1应用，在编排处，输入提示词，选择对应的模型。我们在调试和预览处可针对提示词和一些其他编排信息进行测试。测试无误后直接点击右上角发布即可。 到此，基于Dify工具结合Maas快速创建聊天助手完成了。 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档 cid:link_0