比如DeepSeek-R1-Distill-Llama-8B、比如DeepSeek-R1-Distill-Qwen-32B，解释如下：1. DeepSeek-R1背景：DeepSeek-R1 是 DeepSeek AI 开发的第一代推理模型。它通过大规模强化学习（RL）进行训练，并在 RL 之前使用冷启动数据来增强推理性能。性能：DeepSeek-R1 在数学、代码和推理任务上的表现与 OpenAI 的 o1 模型相当。2. Distill（蒸馏）概念：蒸馏是指将一个更大、更复杂的模型（如 DeepSeek-R1）的知识转移到一个更小、更高效的模型中。这使得较小的模型能够继承较大模型的推理能力。好处：蒸馏后的模型在保持强大性能的同时，更加轻量化，部署成本更低。3. Llama-8B基础模型：Llama-8B 指的是 Llama 系列中的基础模型，具体来说是 Llama3.1-8B-Base。定制化：DeepSeek AI 使用 DeepSeek-R1 生成的推理数据对这个基础模型进行了微调。结果是，DeepSeek-R1-Distill-Llama-8B 在推理任务上进行了优化，并且是基于 Llama-8B 的蒸馏模型之一。4. DeepSeek-R1-Distill-Llama-8B 的关键特点高级推理能力：该模型在紧凑的开源包中封装了高级推理能力。基准性能：在各种基准测试中表现出竞争力，使其成为开发人员和研究人员的宝贵工具。本地部署：支持成本效益高的本地部署，允许用户在自己的硬件上运行模型。5. 使用场景研究与开发：适用于希望在较小模型中利用高级推理能力的研究人员。实际应用：适用于需要强推理能力的任务，如问题解决、代码生成和数学计算。6. 许可和可用性许可：该模型在 MIT 许可证下发布，允许商业使用和修改。获取方式：可以通过 Hugging Face 和 Ollama 等平台下载和使用。总结来说，DeepSeek-R1-Distill-Llama-8B 是基于 Llama-8B 架构的 DeepSeek-R1 模型的蒸馏版本。它在更紧凑和高效的形式中提供了高级推理能力，使其成为研究和实际应用中的强大工具。

注: 不包含最新的多模态模型版本名称推出时间功能特点DeepSeek-V12024 年 1 月预训练于 2TB 标记数据，主打自然语言处理和编码任务，支持多种编程语言，具有强大的编码能力，适合程序开发人员和技术研究人员使用DeepSeek-V22024 年上半年性能出色且价格低廉，引发中国 AI 模型价格战DeepSeek-V2.52024 年 9 月显著提升了通用能力和代码生成能力DeepSeek-V2.5-12102024 年 12 月全面提升了数学、代码、写作等能力，并新增联网搜索功能DeepSeek-V32024 年 12 月 26 日参数规模达 6710 亿的混合专家（MoE）语言模型，推理速度提升，每秒生成 60 个字符，支持本地部署DeepSeek-R1-Lite2024 年 11 月 20 日推理能力强，在高难度的数学和代码任务中表现优异，思考过程详细，性价比高DeepSeek-R12025 年 1 月 20 日采用强化学习进行后训练，提升推理能力，擅长数学、代码和自然语言推理等复杂任务，完全开源，采用 MIT 许可协议

如AI Gallery上面的镜像 Pytorch_2.0.0-cuda_11.7-py_3.9.11-ubuntu_20.04镜像地址为swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_2_0:pytorch_2.0.0-cuda_11.7-py_3.9.11-ubuntu_20.04-x86_64-20230727142019-7d74011 或基于mindspore的镜像swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20221118143809-d65d817  如何使用docker或本地k8s运行此镜像，web使用其notebook。

在二分类问题中，True Positives（TP）、False Negatives（FN）、False Positives（FP）和True Negatives（TN）是评估模型性能的核心概念。以下是详细解释及由它们衍生的常见指标：1. 基础概念True Positives (TP)：真实为正类且被模型正确预测为正类的样本数。示例：患者确实患病，检测结果为阳性。False Negatives (FN)：真实为正类但被模型错误预测为负类的样本数。示例：患者患病，但检测结果为阴性（漏诊）。False Positives (FP)：真实为负类但被模型错误预测为正类的样本数。示例：患者未患病，但检测结果为阳性（误诊）。True Negatives (TN)：真实为负类且被模型正确预测为负类的样本数。示例：患者未患病，检测结果为阴性。2. 混淆矩阵将上述概念整理为矩阵形式，更直观地展示分类结果：预测为正类预测为负类真实为正类TPFN真实为负类FPTN3. 关键评估指标基于TP、FN、FP、TN可计算以下指标：(1) 准确率 (Accuracy)衡量模型整体正确预测的比例，但对不平衡数据敏感。[ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} ](2) 精确率 (Precision)反映模型预测为正类的样本中，实际为正类的比例。[ \text{Precision} = \frac{TP}{TP + FP} ]适用场景：需减少误报（如垃圾邮件分类）。(3) 召回率/灵敏度 (Recall/Sensitivity)反映实际为正类的样本中，被模型正确识别的比例。[ \text{Recall} = \frac{TP}{TP + FN} ]适用场景：需避免漏检（如疾病筛查）。(4) 特异度 (Specificity)反映实际为负类的样本中，被模型正确识别的比例。[ \text{Specificity} = \frac{TN}{TN + FP} ]适用场景：需降低假阳性（如法律判决）。(5) F1 分数精确率和召回率的调和平均数，平衡两者关系。[ F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} ]适用场景：类别不平衡时综合评估模型。(6) 假阳性率 (False Positive Rate, FPR)反映负类样本被错误预测为正类的比例。[ \text{FPR} = \frac{FP}{FP + TN} ]与TPR共同用于绘制ROC曲线。4. 实际案例假设对100名患者进行疾病检测（20人患病，80人健康），分类结果如下：TP = 15，FN = 5，FP = 10，TN = 70计算指标：准确率 = (15+70)/100 = 85%精确率 = 15/(15+10) = 60%召回率 = 15/(15+5) = 75%特异度 = 70/(70+10) = 87.5%F1 分数 = 2×(0.6×0.75)/(0.6+0.75) ≈ 66.67%5. 应用场景选择高召回率优先：疾病筛查、欺诈检测（宁可误报，不可漏报）。高精确率优先：垃圾邮件分类、法律判决（减少误判）。平衡需求：使用F1分数或ROC AUC（综合TPR与FPR的权衡）。

一、核心概念主干网络（Backbone）是深度神经网络中负责特征提取的核心部分，通常由多个卷积层、池化层、归一化层等组成（而非单一卷积层）。它从输入数据中逐层提取从低级到高级的特征，形成多层次的特征图，供后续任务（如分类、检测）使用。二、经典主干网络演进与特性以下是关键网络的创新点及影响：网络名称核心贡献应用场景AlexNet首个成功CNN，ReLU、Dropout、数据增强，开启深度学习热潮图像分类奠基者VGG堆叠3x3小卷积核，结构简单，证明深度重要性特征提取通用骨干Inception多尺度并行卷积（Inception模块），降低参数量高效分类、多尺度特征融合ResNet残差连接解决梯度消失，允许千层网络几乎所有视觉任务的基础MobileNet深度可分离卷积，大幅减少计算量（FLOPs）移动端/嵌入式设备SENet通道注意力机制（SE模块），动态增强重要特征提升分类、检测精度三、主干网络的扩展方向轻量化设计技术：深度可分离卷积（MobileNet）、通道混洗（ShuffleNet）、神经架构搜索（EfficientNet）。目标：平衡精度与速度，适应移动端/边缘计算。注意力机制融合代表：SENet（通道注意力）、CBAM（空间+通道注意力）、Transformer（自注意力）。效果：提升模型对关键特征的敏感度，如医疗图像中的病灶区域。多任务适应性检测任务：ResNet+FPN（特征金字塔）、CSPDarkNet（YOLOv4/v5）。分割任务：DeepLab系列（空洞卷积）、UNet（跳跃连接）。Transformer的崛起ViT（Vision Transformer）：将图像分块处理，通过自注意力捕获全局依赖，需大规模数据预训练。混合架构：Swin Transformer引入局部窗口注意力，兼顾效率和性能。四、选择主干的实用考量精度优先：ResNet、EfficientNet、ViT（需足够数据）。速度优先：MobileNet、ShuffleNet、GhostNet。任务适配：检测常用ResNet+FPN，分割偏好DeepLabv3+。资源限制：参数量、FLOPs、内存占用（如嵌入式设备需INT8量化）。五、前沿趋势与发散思考自监督预训练方法：SimCLR、MoCo利用对比学习从无标签数据学习特征。优势：减少对标注数据的依赖，提升下游任务泛化性。神经架构搜索（NAS）案例：EfficientNet通过NAS平衡深度、宽度、分辨率，达到SOTA。挑战：搜索成本高，需分布式计算支持。可解释性与可视化工具：Grad-CAM、特征图可视化。意义：理解网络关注区域（如自动驾驶中障碍物识别是否合理）。跨模态主干网络CLIP：联合训练图像+文本编码器，实现零样本迁移。BEiT：结合图像掩码建模，类似BERT的预训练策略。六、常见误区纠正误区1：主干网络=卷积层堆叠。正解：包含卷积、池化、归一化、注意力等多类组件。误区2：越深的网络越好。正解：需根据任务复杂度选择，过深可能导致过拟合（如小数据集）。误区3：主干网络必须从头训练。正解：迁移学习常用预训练主干（如ImageNet预训练），冻结或微调。七、动手建议实践对比：在相同数据集上测试ResNet50 vs. MobileNetV3，比较精度和推理速度。特征可视化：使用PyTorch Hook提取VGG不同层的特征图，观察低级到高级特征变化。自定义Backbone：在简单任务（如MNIST分类）中尝试组合Inception模块与残差连接。通过理解主干网络的设计哲学与演进脉络，可以更灵活地选择或设计适合特定场景的模型，同时把握视觉智能的核心驱动力。

nvidia-smi -L 是用于列出系统中所有 NVIDIA GPU 的简要信息。输出解析：GPU 0: Tesla P100-PCIE-16GB (UUID: GPU-aeff9e46-cbd1-350c-f781-566034cb7831) GPU 0含义：系统中第一个（编号为0）的 NVIDIA GPU 设备。多卡场景：如果有多个 GPU，会依次显示 GPU 1, GPU 2 等。Tesla P100-PCIE-16GB含义：GPU 的型号和规格。型号说明：Tesla P100：NVIDIA 的通用计算加速卡，专为深度学习、高性能计算（HPC）等场景设计。PCIE：通过 PCI Express 总线与主板连接（区别于 NVLink 版本）。16GB：显存容量为 16GB。UUID含义：GPU 的唯一标识符（Universally Unique Identifier），用于在多 GPU 系统中精准区分物理设备。用途：编程时绑定任务到指定 GPU。系统日志或监控工具中追踪特定 GPU 的状态。Tesla P100 的关键特性：架构：基于 Pascal 架构，支持 FP16/FP32/FP64 计算。适用场景：深度学习训练、科学计算、数据中心加速等。性能：相比消费级显卡（如 GeForce），Tesla 系列更注重稳定性和双精度计算能力。其他操作：查看 GPU 实时状态：nvidia-smi # 显示 GPU 利用率、显存占用、温度等信息 监控指定 GPU 的显存：nvidia-smi -i 0 --query-gpu=memory.used,memory.total --format=csv # -i 0 表示监控 GPU 0 多 GPU 管理：若系统有多个 GPU，可通过环境变量 CUDA_VISIBLE_DEVICES 控制任务使用的 GPU，例如：CUDA_VISIBLE_DEVICES=0 python train.py # 仅使用 GPU 0 常见问题：Q1：为什么显存显示为16GB，但实际可用略少？A1：部分显存会被系统保留（如 GPU 驱动、内核占用），属于正常现象。Q2：如何确认 GPU 是否支持某项功能（如 CUDA 版本）？A2：通过 nvidia-smi -q 查看详细 GPU 属性，或参考 NVIDIA 官方文档。

nvidia-smi -L 是用于列出系统中所有 NVIDIA GPU 的简要信息。输出解析：GPU 0: Tesla P100-PCIE-16GB (UUID: GPU-aeff9e46-cbd1-350c-f781-566034cb7831) GPU 0含义：系统中第一个（编号为0）的 NVIDIA GPU 设备。多卡场景：如果有多个 GPU，会依次显示 GPU 1, GPU 2 等。Tesla P100-PCIE-16GB含义：GPU 的型号和规格。型号说明：Tesla P100：NVIDIA 的通用计算加速卡，专为深度学习、高性能计算（HPC）等场景设计。PCIE：通过 PCI Express 总线与主板连接（区别于 NVLink 版本）。16GB：显存容量为 16GB。UUID含义：GPU 的唯一标识符（Universally Unique Identifier），用于在多 GPU 系统中精准区分物理设备。用途：编程时绑定任务到指定 GPU。系统日志或监控工具中追踪特定 GPU 的状态。Tesla P100 的关键特性：架构：基于 Pascal 架构，支持 FP16/FP32/FP64 计算。适用场景：深度学习训练、科学计算、数据中心加速等。性能：相比消费级显卡（如 GeForce），Tesla 系列更注重稳定性和双精度计算能力。其他操作：查看 GPU 实时状态：nvidia-smi # 显示 GPU 利用率、显存占用、温度等信息 监控指定 GPU 的显存：nvidia-smi -i 0 --query-gpu=memory.used,memory.total --format=csv # -i 0 表示监控 GPU 0 多 GPU 管理：若系统有多个 GPU，可通过环境变量 CUDA_VISIBLE_DEVICES 控制任务使用的 GPU，例如：CUDA_VISIBLE_DEVICES=0 python train.py # 仅使用 GPU 0 常见问题：Q1：为什么显存显示为16GB，但实际可用略少？A1：部分显存会被系统保留（如 GPU 驱动、内核占用），属于正常现象。Q2：如何确认 GPU 是否支持某项功能（如 CUDA 版本）？A2：通过 nvidia-smi -q 查看详细 GPU 属性，或参考 NVIDIA 官方文档。

依据教程（【2023CANN训练营第二季】——Ascend C代码实操分享-云社区-华为云）在5.编译之前要修改CMakePresets.json文件下的ASCEND_CANN_PACKAGE_PATH变量，修改成你实际的CANN安装路径，时，不知道如何查询CANN安装路径； 

MaasMaas叫做模型即服务（Model as a Service）,这是一种新兴流行的人工智能服务模式，它通过将机器学习模型（比如通义）及其相关能力打包成可重复使用的服务，通过API的形式提供给用户。这样用户在无需了解任何复杂的算法和实现细节的情况，就可以调用模型进行数据处理和沟通了。 华为云打造的AI开放平台ModelArts,是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。 我们在控制台搜索一下model可以看到Ai开发平台ModelArts，属于人工智能模块。我们点击进入。我们在左侧菜单中可以看到ModelArts Studio平台，点击进入。（注意如果没有这个菜单的，切换到华东二区域）进入后我们可以看到关于ModelArts Studio的相关介绍，它有丰富的模型资源，配合易上手的模型工具，就可以快速打造AI了。我们可以看到，平台为我们准备了大量的tokens可以让我们免费体验，点击立即领取进入到领取页。我们可以看到平台为我们提供了不同的模型，让我们可以测试体验。我们首先点击领取，则可以领取免费的tokens用来调用，然后点击更多，点击调用。调用弹窗中，我们可以看到提供的内容。1、API地址，这个地址就是用来请求AI的服务地址。2、模型名称，这个是在调用AI服务时，需要告诉AI当前是哪个模型。3、管理API Key ，这个是用来在请求AI服务时，需要有一个安全认证，这里就是安全秘钥的生成管理地址。首先，我们创建一个安全秘钥，点击管理API Key , 直接创建就可以。注意，API Key生成后只会显示一次，需要自己管理。感兴趣的朋友可以看一下调用示例，可以在本地python环境下，调用一下试试。DifyDify 是一个创新的开源平台，它专门为大型语言模型（LLM）应用的开发而设计。它巧妙地结合了后端即服务（Backend as Service）的理念和LLMOps的实践，加速了开发者构建高效、可扩展的生成式 AI 应用的过程。Dify 支持集成多种顶尖的大型语言模型。我们通过Flexus X实例快速部署Dify。我们创建资源栈，选择模板URL方式 。参数配置我们输入创建ecs_password。也就是ecs的密码。然后一直下一步确认即可。在创建完成的资源处-输入栏目，可以看到dify对应的访问网址。至此，dify我们就安装完成。我们访问dify后，点击用户信息-设置-模型供应商进行配置模型。第一步：选择OpenAI-API-compatible ，通义的模型也支持这个模型。第二步：选择模型类型LLM.第三步：输入 模型名称 。第四步：输入APIkey、API Url、模型code。文章上方已经介绍过APIkey、url和模型key的获取。可以在重温一下。接下来我们创建一个名称为Chat1应用，在编排处，输入提示词，选择对应的模型。我们在调试和预览处可针对提示词和一些其他编排信息进行测试。测试无误后直接点击右上角发布即可。 到此，基于Dify工具结合Maas快速创建聊天助手完成了。 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档 cid:link_0  

MaxKB是什么？MaxKB是一款基于大语言模型（LLM）和 检索增强生成(RAG) 的开源知识库问答系统, 广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。企业可以利用MaxKB搭建专属AI客服，快速响应客户咨询。核心功能点？支持对知识库文档的直接上传、并可自动爬取在线文档，对文本自动进行拆分、向量化处理，支持多种文件格式，包括Markdown、TXT、PDF、DOCX、HTML等。通过检索增强生成（RAG）技术，解析用户发出的问题并匹配检索知识库，提供更加准确的答案。支持对接各种大语言模型，包括本地私有大模型（如Llama 3、Qwen 2等）和国内外公共大模型（如OpenAI、通义千问、百度千帆等）。内置强大的工作流引擎和函数库，满足各种复杂业务场景下的需求。如何安装?在线通过docker安装非常简单。只需要执行下方的命令即可安装成功。# Linux 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb # Windows 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb安装成功后，通过浏览器访问 http://目标服务器IP地址:8080 即可 默认登录信息 用户名：admin 默认密码：MaxKB@123.安装成功后，访问域名可看到如下页面。输入账号密码即可进入主页。 MaasMaas叫做模型即服务（Model as a Service）,这是一种新兴流行的人工智能服务模式，它通过将机器学习模型（比如通义）及其相关能力打包成可重复使用的服务，通过API的形式提供给用户。这样用户在无需了解任何复杂的算法和实现细节的情况，就可以调用模型进行数据处理和沟通了。华为云打造的AI开放平台ModelArts,是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。我们在控制台搜索一下model可以看到Ai开发平台ModelArts，属于人工智能模块。我们点击进入。我们在左侧菜单中可以看到ModelArts Studio平台，点击进入。（注意如果没有这个菜单的，切换到华东二区域）进入后我们可以看到关于ModelArts Studio的相关介绍，它有丰富的模型资源，配合易上手的模型工具，就可以快速打造AI了。我们可以看到，平台为我们准备了大量的tokens可以让我们免费体验，点击立即领取进入到领取页。我们可以看到平台为我们提供了不同的模型，让我们可以测试体验。我们首先点击领取，则可以领取免费的tokens用来调用，然后点击更多，点击调用。调用弹窗中，我们可以看到提供的内容。1、API地址，这个地址就是用来请求AI的服务地址。2、模型名称，这个是在调用AI服务时，需要告诉AI当前是哪个模型。3、管理API Key ，这个是用来在请求AI服务时，需要有一个安全认证，这里就是安全秘钥的生成管理地址。首先，我们创建一个安全秘钥，点击管理API Key , 直接创建就可以。注意，API Key生成后只会显示一次，需要自己管理。 至此，我们就介绍完了Maas的访问基础信息及MaxKB的安装访问。接下来我们就实战使用MaxKB结合Maas快速打造AI Agent实战：MaxKB调用Maas服务我们打开MaxKB后，首先创建一个基础的应用，点击创建应用，只需要输入应用名称，然后点击创建。接下来我们配置模型，点击AI模型后，默认是没有模型的，点击添加模型。选择OpenAI,这个大部分模型都支持。这里我们第一步：填写一个模型名称，自定义即可。第二步：在模型类型处选择大语言模型。第三步：在基础模型处输入我们在Maas平台调用处显示的模型名称，可搜索出来。第四步：输入API域名，也是在Maas平台提供的API域名，注意，域名只到V1，后面的参数都不要第五步：输入API Key , 也是我们在Maas平台调用处管理的API Key. 完成上面五步后，点击创建，我们就完成了模型的创建。我们在简单配置一下开场白，这块就是基于业务需求来配置了。 最后点击保存并发布。然后来到MaxKB主页，我们来演示一下。点击应用的演示按钮。自动跳转到演示页面。下面就是相应的AI Agent调用了。这样一个企业级的AI就快速打造完成了。可以在任何企业平台进行调用。 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档cid:link_0 

ModelArts Studio 大模型即服务平台简称 MaaS 服务，MaaS 服务提供了简单易用的模型开发工具链，其内置了多款模型可以直接调用，同时支持大模型定制开发，让模型应用与业务系统无缝衔接，可以降低企业AI落地的成本与难度。LobeChat是开源的高性能聊天机器人框架，支持语音合成、多模态，提供可扩展的插件系统，可实现一键免费部署私人ChatGPT/LLM网页应用程序。本实践中我们将实现部署 LobeChat 私人智能助理并接入华为大模型服务 Maas。免费领取 ModelArts Studio 千万 TokensModelArts Studio 大模型即服务平台 MaaS 目前处于内测中，提供千万 Tokens 可以免费领取使用，使用前需要申请试用，点这里可以直接申请，很快就会开通权限。开通权限后，进入华为云控制台，搜索“ModelArts”点击“AI开发平台ModerlArts”进入控制台。ModelArts Studio 目前支持“华东二”和“西南-贵阳一”区域，我们需要先把地区切换为“华东二”和“西南-贵阳一”，之后才能看到 ModelArts Studio，点击 ModelArts Studio 进入控制台在这里我们可以看到最新动态中的免费体验千万免费Tokens，点击“立即领取”前往“模型部署”-“预制服务”页面ModelArts Studio 提供了多个预置模型服务，根据需要选择对应的模型点击“领取”，领取之后即可体验或调用点击对应模型后面的“更多”，点击“调用”即可看到调用接口、模型名称和示例代码复制弹窗中的“API地址”和“模型名称”备用接下来我们还需要一个 API Key 用于调用接口，点击上图中的“管理API Key”按钮，前往鉴权管理页面，点击“创建API Key”按钮、输入自定义名称、点击“确定”按钮创建API Key点击复制按钮复制密钥备用一行命令完成部署准备工作完成以后，我们开始部署 LobeChat，LobeChat 的部署也非常简单，以 docker 为例一行命令即可，将命令中的<API_KEY>替换为我们在前面 API Key 中获取到的密钥、<PROXY_URL>替换为前面获取的“API地址”（到最后一个v1即可，删除最后面的/chat/completions）、<MODEL_NAME>替换为前面获取到“模型名称”例如DeepSeek-R1-Distill-Qwen-32Bdocker run -d -p 3210:3210 \ -e OPENAI_API_KEY=<API_KEY> \ -e OPENAI_PROXY_URL=<PROXY_URL> \ -e OPENAI_MODEL_LIST=<MODEL_NAME> \ --name lobe-chat \ lobehub/lobe-chat 等待下载部署完成之后，我们可以直接通过本地IP的 3210 端口访问，将模式切换为我们刚刚设置的 DeepSeek-R1-Distill-Qwen-32B 即可使用至此我们已经拥有了一个属于自己的私人智能助手我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档cid:link_1

1. AI开发平台ModelArts新功能2024年12月份ModelArts发布的新功能有3项。都是与底层的算力昇腾AI处理器相关。2025年1月份截止当天没有发布新功能。1. Dit模型Pytorch迁移与精度性能调优DiT（Diffusion Transformers）模型是一种将Transformer架构引入扩散模型的新方法。您可以使用Dit模型在昇腾设备上进行模型迁移，精度及性能调优。2. 训练业务昇腾迁移指导介绍如何将开源社区中实现过的模型或客户自研模型迁移到昇腾AI处理器上，获得较好的模型训练效果。3. 从0制作自定义镜像用于创建训练作业（Pytorch+Ascend）介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是专属资源池的Ascend芯片。2. 人工智能相关直播合集【深度开放特辑】大咖圆桌派https://bbs.huaweicloud.com/live/cloud_live/202412261600.html直面大咖深度对话，CANN技术智囊团与特邀神秘嘉宾齐聚，深入聊聊昇腾CANN算子开发的那些“绝招儿”！真*面对面【深度开放特辑】MindStudio开发工具链实践系列（二）https://bbs.huaweicloud.com/live/cloud_live/202501101600.html算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操用代码全方位驱动 OBS 存储https://bbs.huaweicloud.com/live/cloud_live/202501141630.html如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？事件驱动如何响应？访问凭据如何管理？OBS简直是ModelArts的通灵宝玉，可以看看这个直播，熟悉如何熟练使用OBS。【深度开放特辑】Ascend C高层API设计原理与实现系列（七）https://bbs.huaweicloud.com/live/cloud_live/202501171600.html以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API

前言模型即服务（Model as a Service）简称MaaS ，这是一种新兴的云计算服务模式，主要是将机器学习模型及其相关能力封装成可重复使用的服务，开发者可以通过 API 调用、SaaS 或开源软件的形式使用这些模型，而无需自行开发和维护底层基础架构。这种模式在人工智能领域发展迅速，尤其适用于大模型的部署和应用方面极为突出，是快速生成AI Agent的绝佳利器。 ModelArts Studio华为云ModelArts Studio 平台，是华为云推出的一款大模型即服务平台，可以一站式的对业界主流开源大模型进行部署托管，同时开放大模型API服务，可以结合业界主流Agent开发框架，进行并轻松的构建AI Agent应用。需注意当前Maas采用白名单，需要先申请试用 。我们先看一下在华为云上具体的MordelArts Studio服务。在申请试用 成功后，在控制台搜索modelArts可以看到下方出来的AI开发平路ModelArts,点击进入。 进入AI开发平台ModelArts后，可以看到总览下有一个ModelArts Studio模块，需要注意的是。目前ModelArts Studio仅支持“华东二”和“西南-贵阳一”区域。所以如果没有这个模块的同学，需要切换一下区域。 ModelArts Studio集成了丰富的模型资源，配置上好用的模型工具，就可以快速的使用模型服务。ModelArts Studio为我们准备了免费体验的千万及Tokens，可以免费调用。这些Tokens可以使用千问大模型上。我们点击立即领取。可以看到，平台为我们提供了上10种通用的大模型，每款大模型都提供了200万的tokens供我们调用使用。我们只需要领取就可以正常使用了。注意：在这里第三步千万不要部署成自己的服务，如果部署的话是会开始收取费用的。免费的tokens仅供调用。当然如果有需要的话则可以自定义部署。在调用页面，我们需要关注的有4个地方。第一：API地址，这个就是我们调用大模型的API接口，调用这个接口就可以正常与大模型进行对话。第二：模型名称，这个是大模型的名称，模型名称有很多，所以这里需要注意我们使用的是哪个，在实际运用中选择它。第三：调用示例，这个是一个python的调用大模型的示例，通过这个代码示例可以在本地使用python开发环境与大模型进行调用沟通。第四：管理API Key , 这是一个安全秘钥，是每个用户自行管理的秘钥，在每一次与大模型沟通时，都需要使用的。点击管理 API Key 后，会进入到鉴权管理列表，我们点击创建API Key , 输入API Key描述，点击确定，就可生成就一个API Key ,注意：这个api Key需要自行记录，否则忘记了就只能删除后重新生成新的。至此，我们的Maas服务就已经做好了准备工作，接下来开始安装模型工具MaxKB。MaxKBMaxKB = Max Knowledge Base，它是一款基于大语言模型和 RAG 的开源知识库问答系统，它支持多种大模型，其中就包括我们上方的 Qwen 模型，通过与大模型的对接，可快速的打造出适合企业级的智识体系AI Agent.MaxKB的安装也是很简单的。它支持Window和Linux ,本次我们以Linux为例子进行安装。我们通过在线部署 MaxKB ，需要开通的访问端口有2个：22(通过ssh连接) 、 8080 (web访问端口)。MaxKB可以直接通过docker一键启动，执行下面的命令，开通对应的端口，就可以在浏览器通过：http://目标服务器IP地址:8080 进行服务访问了。# Linux 操作系统docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb# Windows 操作系统docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb安装完成后，我们访问 ： http://目标服务器IP地址:8080 ，默认账号密码-用户名：admin 默认密码：MaxKB@123.. 注意这个密码后面有两个点。进入MaxKB后，我们创建一个应用，点击创建应用- 输入应用名称-描述非必填-点击创建即可。创建后，进入配置页面，我们开始配置一下模型，选择AI模型-点击添加模型-点击OpenAI 。 因为大多数模型都支持OpenAI，所以我们直接选择这个就可以。在模型配置中，我们首先输入模型名称。模型类型选择：大语言模型下方的三个如果不知道的话可以在文章中搜索：《在调用页面，我们需要关注的有4个地方》 关键字来查看介绍。基础模型：这里是可以搜索的，直接搜索我们上面试用的模型名称。API域名：直接输入调用模型的API地址，这里需要注意，地址只到V1,V1后面的路径全都需要删除。API Key：我们在管理API key中配置的秘钥。添加完成后，在AI模型处点击选择，即可选择我们刚添加的AI服务。配置一下角色设定自定义配置一下开场白点击保存并发布，就可以在线体验我们发布的AI Agent了。 最后我们来对在线的AI Agent进行演示一下   我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档：cid:link_1

      上回谈到合规模型使用了外采的软件包，有部分软件包是国外厂商开发的，在国内鲲鹏平台上从没有编译运行过。这些软件包需要先分析出软件包清单和迁移准备。      软件包清单通过扫描，发现合规模型有15个软件包需要迁移，迁移准备期间需要做镜像。这个镜像包括SWR文件和软件依赖包，这两部分构成同一个Docker镜像，进行一次迁移。15个软件包就打包15个镜像。      打包好镜像后还有一个工序，就是进行硬件平台调试。为了平台测试，提前规划了测试指标和测试参数选择。      软件包主要是合规模型的核心功能调用，因此就上回提到的五个核心场景，分别定义了测试指标。从合同识别功能分析，每张图片识别不超过秒级；合同自动识别涉及文本比对，需要查数据库，因此不超过分钟级；合同内容风险识别，根据标注的条数而定，标注需要靠模型辅助，由于风险点浩如烟海，因此风险点标注是毫秒级；合同外规内化，涉及另一个模型调用，内外规搜索，也不超过分钟级；最后合同模版自动生成，这是一个合成的工作，因此各种测试指标都通过后，才能进入这个环节，不超过分钟级。        定义了测试指标后，还有一个测试参数选择的问题。平台节点只有一个，单机配置鲲鹏平台，双卡710，相当于0.8A100的计算能力，CPU是麒麟。        在实验室，测试数据一般达到7T左右，但是为了测试效率，只能输入1T测试，不然计算能力承载不起模型运算。

        上回谈到合规模型使用了外采的软件包，有部分软件包是国外厂商开发的，在国内鲲鹏平台上从没有编译运行过。这些软件包需要先分析出软件包清单和迁移准备。        软件包清单通过扫描，发现合规模型有15个软件包需要迁移，迁移准备期间需要做镜像。这个镜像包括SWR文件和软件依赖包，这两部分构成同一个Docker镜像，进行一次迁移。15个软件包就打包15个镜像。        打包好镜像后还有一个工序，就是进行硬件平台调试。为了平台测试，提前规划了测试指标和测试参数选择。         软件包主要是合规模型的核心功能调用，因此就上回提到的五个核心场景，分别定义了测试指标。         从合同识别功能分析，每张图片识别不超过秒级；合同自动识别涉及文本比对，需要查数据库，因此不超过分钟级；合同内容风险识别，根据标注的条数而定，标注需要靠模型辅助，由于风险点浩如烟海，因此风险点标注是毫秒级；合同外规内化，涉及另一个模型调用，内外规搜索，也不超过分钟级；最后合同模版自动生成，这是一个合成的工作，因此各种测试指标都通过后，才能进入这个环节，不超过分钟级。        定义了测试指标后，还有一个测试参数选择的问题。平台节点只有一个，单机配置鲲鹏平台，双卡710，相当于0.8A100的计算能力，CPU是麒麟。        在实验室，测试数据一般达到7T左右，但是为了测试效率，只能输入1T测试，不然计算能力承载不起模型运算。