• [其他] 神经网络如何检测图像中的边缘
    将周围像素分配负权重而不是0权重的原因在于,负权重能够更好地捕捉到边缘的特征,而0权重则无法做到这一点。1. 负权重的作用:增强对比度边缘的定义:边缘是图像中亮度或颜色发生显著变化的区域。例如,一个亮物体在暗背景下的边缘,中央像素很亮,而周围像素很暗。负权重的作用:通过给周围像素分配负权重,神经网络可以放大中央像素与周围像素之间的差异。如果中央像素很亮,而周围像素很暗,负权重会进一步减少周围像素的贡献,从而使加权和更大,更容易检测到边缘。0权重的问题:如果周围像素的权重为0,那么周围像素的亮度值对加权和没有影响。这意味着网络无法区分中央像素是否被暗像素包围,从而无法有效检测边缘。2. 数学上的解释负权重的情况:加权和在边缘处(中央亮,周围暗)会显著大于非边缘处(中央和周围都亮)。0权重的情况:如果周围像素的权重为0,那么无论周围像素是亮还是暗,加权和都只取决于中央像素:网络无法区分中央像素是否被暗像素包围,因此无法检测边缘。3. 直观理解:边缘检测的本质边缘检测的核心是捕捉亮度变化,而不仅仅是中央像素的亮度。负权重的作用是让网络对中央像素与周围像素的对比度敏感:如果中央像素很亮,周围像素很暗,加权和会很大(因为负权重减少了周围像素的贡献)。如果中央像素和周围像素都很亮,加权和会较小(因为负权重抵消了周围像素的贡献)。如果中央像素和周围像素都很暗,加权和会很小。这种设计使得网络能够有效地区分边缘区域和非边缘区域。4. 为什么不用0权重?如果周围像素的权重为0,网络将完全忽略周围像素的信息,只能根据中央像素的亮度来判断。这会导致以下问题:无法检测边缘:边缘的特征是中央像素与周围像素的亮度差异,如果忽略周围像素,网络无法捕捉这种差异。失去局部上下文:图像中的许多特征(如边缘、纹理)都依赖于局部像素之间的关系。如果权重为0,网络将失去这些重要信息。
  • [其他] Deconvolutional Network(反卷积网络)-可视化和理解CNN的工具
    Deconvolutional Network(反卷积网络)是一种用于可视化和理解卷积神经网络(CNN)内部特征的工具,由Matthew Zeiler和Rob Fergus在2013年的论文《Visualizing and Understanding Convolutional Networks》中提出。它的主要目的是通过“逆向”操作,将卷积神经网络中每一层的特征图映射回输入像素空间,从而揭示网络在不同层次上学到的特征。1. Deconvolutional Network 的核心思想Deconvolutional Network 的核心思想是通过一系列反向操作(如反卷积、反池化等),将卷积层的输出特征图重建为输入图像的空间表示。通过这种方式,可以直观地看到每个卷积核(filter)对输入图像的哪些部分响应最强,从而理解网络的学习过程。2. Deconvolutional Network 的主要组件Deconvolutional Network 包含以下关键操作:(1)反卷积(Deconvolution)反卷积(也称为转置卷积)是卷积操作的逆过程。它通过将特征图“上采样”到更高的分辨率,试图重建输入图像的空间结构。反卷积操作使用与原始卷积核相同的权重,但方向相反。(2)反池化(Unpooling)池化操作(如最大池化)会丢失一些空间信息,因为它在局部区域中选择最大值并丢弃其他值。反池化通过记录池化时的最大值位置(称为“开关”),在重建时将值放回原来的位置,其他位置填充零。这种操作可以部分恢复池化过程中丢失的空间信息。(3)激活函数反向映射在卷积神经网络中,激活函数(如ReLU)会引入非线性。在Deconvolutional Network中,反向映射时只保留正激活值,负值被置为零。3. Deconvolutional Network 的工作流程Deconvolutional Network 的工作流程可以分为以下几个步骤:选择目标特征图:从卷积神经网络的某一层中选择一个特征图(通常是某个卷积核的输出)。反向操作:通过反卷积、反池化和激活函数反向映射,将特征图逐步映射回输入像素空间。重建输入图像:最终得到一个与输入图像大小相同的重建图像,显示该特征图对输入图像的哪些部分响应最强。4. Deconvolutional Network 的应用Deconvolutional Network 主要用于以下场景:(1)可视化卷积核的特征通过将每个卷积核的特征图映射回输入空间,可以直观地看到该卷积核对哪些视觉模式(如边缘、纹理、形状)敏感。例如,低层卷积核通常对边缘和纹理敏感,而高层卷积核可能对更复杂的模式(如物体部分)敏感。(2)理解网络的层次化特征学习通过可视化不同层次的特征图,可以观察到网络从简单特征(低层)到复杂特征(高层)的层次化学习过程。(3)诊断网络问题如果某些卷积核的特征图没有明显的模式,可能表明网络训练不足或结构设计有问题。5. Deconvolutional Network 的局限性尽管Deconvolutional Network 是一种强大的可视化工具,但它也有一些局限性:重建图像不完美:由于池化操作会丢失信息,重建的图像通常只能部分恢复原始输入的结构。解释性有限:虽然可以观察到特征图的响应模式,但无法完全解释网络的决策过程。计算成本较高:对于深层网络,反卷积和反池化操作的计算量较大。6. 示例:Deconvolutional Network 的可视化结果在Zeiler和Fergus的研究中,他们使用Deconvolutional Network 可视化了AlexNet的不同层次特征图:第一层卷积核:学习到类似Gabor滤波器的模式,对边缘和纹理敏感。中间层卷积核:学习到更复杂的纹理和物体部分。高层卷积核:学习到与类别相关的语义特征(如狗的脸、车轮等)。7. 总结Deconvolutional Network 是一种重要的可视化工具,通过反卷积、反池化等操作,将卷积神经网络的特征图映射回输入空间,帮助我们理解网络的学习过程。尽管它有一定的局限性,但在解释卷积神经网络的层次化特征学习方面发挥了重要作用。
  • [问题求助] 在Modelarts云平台训练作业中找不到mindspore中的文件
    这个找不到文件是mindspore的问题,还是我的设置的问题以下是我的设置
  • [案例共创] 【案例共创】基于模型平台ModelArts Studio和开源Agent框架Dify.AI构建聊天助手实践
    ModelArts Studio作为华为云的一站式AI开发平台,提供了丰富的开源大模型资源,支持一键部署模型服务并通过API调用。Dify.AI则是一个功能强大的Agent开发框架,通过可视化的工作流编排方式,让开发者能够快速构建聊天助手、知识库、Agent等智能应用,大幅提升AI应用开发效率。开发者空间则汇聚了以华为云为底座的鲲鹏、昇腾、鸿蒙根技术工具和资源,为每个开发者提供一台云主机, 云主机中预置的开发工具、沙箱环境、云存储空间、案例中心、技术支持入口等能力,帮助开发者持续使用、持续成长、持续创新。流程概览① 通过开发者空间云主机的Firefox浏览器访问并开通 ModelArts Studio 模型即服务。本案例中采用的 Qwen2_5-72B-Instruct 。② 通过终端从 https://gitcode.com/huqi/huaweicloud-dify 获取安装脚本,安装脚本基于 Docker 安装并部署 Dify.AI。③ 通过Firefox浏览器访问开发者空间云主机部署的 Dify.AI,完成后续模型服务配置、应用开发等操作。说明:本案例需要华为云账号,且经过实名认证本案例需要开发者空间账号,且经过实名认证仅“华东二”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。MaaS是白名单功能,请先申请权限。所需资源云资源消费/时时长开发者空间 云主机免费—ModelArts Studio免费(需先领取千万免费Tokens)–ModelArts Studio 模型服务访问 ModelArts Studio 模型部署进入云主机,打开浏览器,输入 https://console.huaweicloud.com/modelarts/?region=cn-east-4&locale=zh-cn#/model-studio/deployment ,即可访问ModelArts Studio。领取免费 Token 额度领取千万免费token额度,可用于体验Qwen、Chatglm等系列模型,免费额度仅适合用于体验模型。Qwen2.5系列预置服务还支持Function Calling,可以用于构建Agent。获取大模型API和名称以Qwen2_5-72B-Instruct为例,点击更多-调用,获取API地址和模型名称。创建API Key左侧鉴权管理-创建API Key,保存创建的密钥信息最多创建5个密钥,密钥只会在新建后显示一次,请妥善保存。调试大模型API我们使用 curl 脚本调试大模型API,确保API配置可用,在终端执行以下命令。# 调试API curl -X POST "yourBaseUrl" \ -H "Content-Type: application/json" \ -H "Authorization: Bearer yourApiKey" \ -d '{ "model": "yourModelName", "max_tokens": 20, "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "stream": false, "temperature": 1.0 }' 请把yourBaseUrl、yourApiKey、yourModelName替换为步骤2.1.3和步骤2.1.4中的信息。能看到类似的返回即为API配置可用。{"id":"chat-1d324bf7eb884c728b2542ddc53f7218","object":"chat.completion","created":1734748674,"model":"Qwen2.5-72B","choices":[{"index":0,"message":{"role":"assistant","content":"你好!很高兴见到你!你有什么问题或者需要帮助吗?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":20,"total_tokens":35,"completion_tokens":15},"prompt_logprobs":null} 安装和配置Dify.AI安装Dify.AI安装脚本见: https://gitcode.com/huqi/huaweicloud-dify如有问题欢迎反馈: https://gitcode.com/huqi/huaweicloud-dify/discussion进入云主机,打开终端,执行以下命令,安装Dify.AI。# 下载安装脚本 sudo wget -P /home/ https://raw.gitcode.com/huqi/huaweicloud-dify/raw/main/install.sh # 执行安装脚本 sudo bash /home/install.sh安装完毕后显示安装过程结束,详细日志请查看: /var/dify-install.log 即为安装成功。登录Dify.AI通过云主机,打开浏览器,输入http://127.0.0.1,即可访问Dify.AI。如果端口80无法访问,我们可以通过命令去查看端口的使用情况,确定Dify.AI使用的端口。# 查看端口使用情况 sudo netstat -tulnp | grep docker首次登陆需注册管理员账号,依次填写邮箱、账号、密码。配置Dify.AI进入Dify平台,点击右上角设置,进入模型供应商页签,选择OpenAI-API-compatible供应商,关键信息配置如下:模型类型选择LLM模型名称请填入步骤2.1.3服务信息中的模型名称API Key 请填入步骤2.1.4中创建的API KeyAPI endpoint URL请填入步骤2.1.3中的API地址,并且删除最后面chat/completions部分Completion mode请选择对话模型上下文长度\最大 token 上限保持默认Function calling保持默认不支持Stream function calling保持默认不支持流模式返回结果的分隔符保持默认\n\n构建Agent创建Agent在Dify平台(http://127.0.0.1/apps),点击工作室–Agent-创建空白应用,进入Agent页签,填写Agent名称。Agent 设置在右上角单击“Agent 设置”,选择上一步配置好的模型进行使用。Function Call 模式会报错,实际使用代理模型,下图为 Agent 设置示意图编排提示词配置在“编排”页面的“提示词”文本框,输入以下信息。你是一位乐于助人的AI助手。在回答用户问题时,你需要遵循以下原则: 1. 始终使用自然语言解释你将要采取的行动 2. 在调用工具之前,说明你要使用哪个工具以及原因 3. 在获取信息的过程中,清晰地描述你正在做什么 4. 永远不要返回空的回复 - 确保用自然语言解释你的每个步骤 举例说明: 当用户询问今日热点新闻时,你应该这样回复: "让我使用新闻搜索工具为您查询今日热点新闻..." 然后再进行具体的工具调用。 重要提示: - 先表达你的理解和计划 - 再使用相应的工具 - 每次回复都必须包含对用户的清晰解释 基于以上原则,请根据用户的问题,给出相应的回答。编排工具配置在“编排”页面的“工具”区域右侧,单击“添加”,按需添加工具并与模型进行对话调用。Dify内置有丰富的插件,同时支持自定义工具的创建调试Agent我们可以进行调试和预览。使用Agent我们可以通过网页的方式,直接与Agent对话,也可以通过API的方式,将Agent集成到其他系统中。总结通过本案例,我们了解了如何使用ModelArts Studio平台和开源Agent框架Dify.AI构建个性化聊天助手。ModelArts Studio提供了丰富的开源大模型资源,支持一键部署模型服务并通过API调用。Dify.AI则是一个功能强大的Agent开发框架,通过可视化的工作流编排方式,让开发者能够快速构建聊天助手、知识库、Agent等智能应用,大幅提升AI应用开发效率。最重要的开发者空间为我们提供了便捷的开发环境,让我们更专注于业务开发。参考文档ModelArts用户指南(Studio)Dify.AI 文档开发者空间案例中心我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
  • [训练管理] 在Modelarts云平台训练作业中训练llama报错,想问一下有人知不知道怎么解决,急!
    llama的启动指令不是py,而是bash。具体启动指令是:bash run_distribute.sh /user/config/jobstart_hccl.json ../configs/llama/run_llama_7b.yaml [0,8] finetune然后我查了一下文档,在训练作业中执行.sh文件的方法如下:然后我试了一下,但是一直显示找不到路径,有人知道是怎么回事吗?感谢!!!我的训练作业配置如下:按照官网给的文档,我的test.py文件配置如下:报错如下:显示找不到这个文件,但是我检查了我的路径,我的路径是对的。这是我OBS里面的文件位置:有人知道怎么回事吗?感谢!!!
  • [其他] 大模型解数学题的稳健性
    不太好。斯坦福大学最新研究表明,在他们最新提出的Putnam-AXIOM测试集上,仅仅是更换一下原题目的变量名称、变量取值范围,模型的准确率就直线下降。也就是说,大模型的数学推理能力并不是真正掌握了解题逻辑,很可能只是检索已存储的题目……即使是表现最好的o1-preview,它的成绩也从50%下降到了33.96%,GPT-4o、Claude、Deepseek、Qwen等模型也几乎是全军覆没。要知道,模型推理能力的稳健性可是非常重要的指标,能代表他们是否真正掌握了解决方法:有网友锐评到:o1的o不会是overfitting的o吧?(doge)还有热心网友做了解释,他认为模型的搜索空间会随着深度指数级增长,搜索时间越长,搜索的难度也会更高。
  • [其他] DeepSeek-V3的参数量
    虽然说是开源了,但是得多少硬件配置才能跑起来呢?总参数是671B,就是6710亿个参数。虽然激活是37B,但是激活之前,总要全部加载先吧~
  • [其他] 神经元、连接、激活函数、权重和偏置之间的关系
    1. 神经元(Neuron)概念:神经元是人工神经网络的基本单元,负责接收输入、处理数据并产生输出。它的核心功能是对输入信号进行加权求和,并通过激活函数决定是否输出信号。作用:神经元的作用是整合输入信息,做出“决策”。每个神经元接收多个输入信号,每个信号都有一个权重,神经元将这些信号加权求和,再加上一个偏置,最后通过激活函数处理,输出一个值。类比:神经元就像一个“小决策器”。比如,你要决定是否出门,可能会考虑天气、心情、是否有事等因素。神经元就是把这些因素综合起来,做出一个决定。2. 连接(Connection)概念:连接是神经元之间的桥梁,每个连接都有一个权重,表示信号传递的强度。作用:连接的作用是传递信号,并通过权重调整信号的重要性。权重越大,表示该输入对神经元的影响越大。类比:连接就像是你对不同因素的重视程度。比如,你可能更看重天气,所以天气这个输入的权重就比较大。3. 权重(Weight)概念:权重是连接上的一个数值,表示输入信号对神经元的重要性。权重可以是正数、负数或零,正数表示增强信号,负数表示抑制信号,零表示忽略信号。作用:权重的作用是调整输入信号的影响力。神经网络的训练过程就是不断调整权重,使得网络的输出更接近预期结果。类比:权重就像是你对不同因素的“重视程度”。比如,天气的权重是0.8,心情的权重是0.3,表示你更看重天气。4. 偏置(Bias)概念:偏置是神经元中的一个常数,用于调整神经元的激活阈值。它可以理解为神经元的“偏好”。作用:偏置的作用是让神经元更容易或更难被激活。它可以增加模型的灵活性,帮助神经网络更好地拟合数据。类比:偏置就像是你做决定时的“倾向性”。比如,你天生喜欢宅在家里,那么即使天气很好,你可能也不太愿意出门。这个“倾向性”就是偏置的作用。5. 激活函数(Activation Function)概念:激活函数是神经元中的一个数学函数,用于决定神经元是否应该被“激活”,即是否输出信号。作用:激活函数的作用是引入非线性,使得神经网络可以学习复杂的模式。如果没有激活函数,神经网络就只能学习线性关系,无法处理复杂问题。常见激活函数:Sigmoid:将输入压缩到0和1之间。ReLU(Rectified Linear Unit):如果输入大于0,输出输入值;否则输出0。Tanh:将输入压缩到-1和1之间。类比:激活函数就像是你做决定时的“门槛”。比如,只有当综合评分超过某个值时,你才会决定出门。这个“门槛”就是激活函数的作用。6. 完整流程输入信号:神经元接收多个输入信号((x_1, x_2, …, x_n))。加权求和:每个输入信号乘以对应的权重((w_1, w_2, …, w_n)),然后相加,再加上偏置((b))。公式为:[z = w_1x_1 + w_2x_2 + … + w_nx_n + b]激活函数:将加权求和的结果 (z) 输入激活函数 (f),得到神经元的输出:[y = f(z)]输出信号:输出 (y) 会传递到下一层神经元,作为它们的输入。7. 总结神经元是决策器,负责整合输入信号并输出结果。连接是神经元之间的桥梁,通过权重调整信号的重要性。偏置是神经元的“倾向性”,帮助调整激活阈值。激活函数是决策的门槛,引入非线性,使神经网络能够学习复杂模式。整体关系:输入信号通过连接传递到神经元,每个信号被权重调整。神经元对加权输入求和,加上偏置,得到中间结果。中间结果通过激活函数处理,得到最终输出。输出信号传递到下一层神经元,重复上述过程。举个例子假设你要决定是否出门,考虑以下因素:天气((x_1)):权重 (w_1 = 0.8)(你很看重天气)心情((x_2)):权重 (w_2 = 0.3)(心情影响较小)是否有事((x_3)):权重 (w_3 = 0.5)(有一定影响)偏置 (b = -0.5)(你天生喜欢宅在家里)计算过程:加权求和:[z = w_1x_1 + w_2x_2 + w_3x_3 + b = 0.8x_1 + 0.3x_2 + 0.5x_3 - 0.5]通过激活函数(比如ReLU):[y = \text{ReLU}(z)]如果 (z > 0),则 (y = z),表示决定出门;否则 (y = 0),表示不出门。这其中,最基本的就是神经元。就是下图中的圈圈。它可以理解为一个初始值、一个最终的输出、也可以理解成一个函数。
  • [案例共创] 【案例共创】通过ModelArts自动学习能力和低代码平台Astro实现"比熊识别"的AI应用实践
    引言在当今快速发展的技术环境中,人工智能(AI)和机器学习(ML)已经成为推动创新的关键力量。随着这些技术的普及,越来越多的企业和个人开发者开始探索如何将AI集成到日常应用中,以解决实际问题并提升效率。作为一名对AI充满热情的技术爱好者,我一直渴望找到一个既有趣又能体现AI价值的项目。因此,我选择了构建一个“比熊识别”应用程序作为我的实践案例,不仅因为比熊犬是我最喜欢的宠物之一,而且这个项目也提供了一个完美的机会来体验华为云提供的ModelArts自动学习能力和低代码开发平台——Astro的强大功能。(实话实说,比熊是真的可爱,我家的比熊就像个小公主,哈哈~通过该案例的实践,大家可以训练更庞大的数据集,毕竟千篇一律嘛~)选择ModelArts与Astro的原因ModelArts是一个一站式AI开发平台,它集成了数据处理、模型训练、部署和服务管理等功能,使得即使是非专业开发者也能轻松上手。而Astro则是一款基于浏览器的可视化编程工具,允许用户无需编写大量代码就能创建复杂的AI应用程序。这两个平台结合在一起,为我这样的开发者提供了前所未有的便利性和灵活性。本文将介绍如何通过 ModelArts 和 Astro 轻应用实现 AI 应用落地,并以一个物体检测应用为例进行演示。本次实践基于华北-北京四环境。准备工作在开始之前,首先需要准备一些基础材料:硬件环境:一台可以连接互联网的计算机。软件环境:安装了最新版本Chrome或Firefox浏览器的操作系统;注册华为云账号,并开通ModelArts服务。数据集:收集足够数量且质量良好的比熊犬图片用于训练模型。可以通过公开的数据集或者自行拍摄获得。第一步:ModelArts 训练并部署模型使用 ModelArts 的数据处理功能,对原始数据进行预处理和标注,生成训练所需的数据集。通过自动学习对数据集进行训练并发布部署模型。数据是 AI 应用的基础,要构建一个高质量的 AI 模型,首先需要有一个高质量的数据集(在 GPT 时代数据集也许无需标注,但要求更高的质量和多样性)。ModelArts 提供了数据处理功能,可以帮助用户对原始数据进行预处理和标注,生成训练所需的数据集。ModelArts 也提供了自动学习,就算您是零基础的 AI 小白,根据教程点点鼠标就能训练出自己专属的模型。1.登录 ModelArts 控制台,在左侧导航栏中选择“自动学习”,进入自动学习页面并点击物体检测创建自动学习任务。(PS:由于下载的数据集默认在新版数据集管理中,无法一键创建自动学习任务,我们可以在自动学习页面用下载的数据集来创建新的数据集进行自动学习)这里我要补充说明下:在创建项目的时候有个前提就是你得先创建数据集,我们可以通过OBS来上传,如下图所示:01在OBS上创建和上传相关材料;02创建数据集,路径使用刚创建的obs路径:03创建数据集后我们需要等待一段时间将数据导入,看数据大小,我这边100份图OBS只需要1分钟左右:04接下来就可以创建物体检测项目了,这里我们选择了限时免费训练规格(其他参数自定义即可):05创建完成后,我们将进行训练学习,训练学习的步骤可分为6项,分别是:数据标注、数据集版本发布、数据校验、物体检测、模型注册、服务部署。如下图所示:05-001首先第一步:数据标注,点击【数据标注】下的【实例详情】按钮,跳转至实例详情页面:05-002单击开始标注进行图片标注(这里我们先创建标签并手动进行5张图片的标注,然后可以选择智能标注):05-003进入智能标注后,我们等待时间即可(这里我9张图花了5分钟时间,标注的效果其实还不错的):05-004复核标注信息,这里我们可以选择【快速复核】,快速复核会直接展示标注信息,如果你看到某张图标注有问题,可以点击进入进行修改调整重新标注;05-005完成确认后,点击发布即可(版本默认设置为v001);05-006然后下一步我们返回【自助学习页面】点击进行【继续运行】进入到下一步:【数据集版本发布】:05-007【数据集版本发布】成功够将会自动进入下一步【数据校验】,这里我们等待这即可,无须操作(华为云提供了[限时免费]的训练资源规格:GPU: 1*GP-Vnt1(32GB) | CPU: 8 核 64GB):05-008【数据校验】成功够将会自动进入下一步【物体检测】,这里我们同样只需等待即可:当然,如果等待过程如果你想查询进入,我们可以前往【实例详情】页面进行查看:在运行日志中,我们可以直观的看到相关进度:05-009在【物体检测】跑完后,我们可以在实例运行界面查看数据评估,这里他会给出综合评估(从多个角度评价模型,并给出一定的调优建议。)。这里我的模型跑出来人建议如下所示:目标框面积占比对bixong的召回率有重大影响,在不同特征区间上mAP的方差为0.400。建议使用Balanced Loss来进行目标框回归计算。目标框清晰度对bixong的召回率有重大影响,在不同特征区间上mAP的方差为0.400。建议在训练时,添加针对此特征的数据增强。目标框亮度对bixong的召回率有重大影响,在不同特征区间上mAP的方差为0.331。建议在训练时,添加针对此特征的数据增强。05-009接下来我进行【服务部署】,这里计算机规格可以选择(免费)的哟(选择免费规格的话需要开启自动停止配置,且时间只能选择1小时,否则会部署失败);05-010等待部署成功之后可以进行预测调试。在线服务将AI应用部署为一个Web Service,并且提供在线的测试UI与监控能力。(这里我再强调下:免费实例 1 小时之后就会自动停止,如需不间断运行只能使用付费运行或者使用脚本维持。)这里,请记住服务 ID,比如: 26078a82-1da1-443c-a98b-9516ae422815,请保存调用指南中的 API 地址,前面一串数字是 模型Apig-Code,服务ID也就是后面那串数字是 模型Id。ModelArts 的数据处理能力展现了其在灵活性、效率和易用性方面的显著优势,为用户提供了强大的支持:多样化的数据与标注类型:无论是图像、视频、音频还是文本,ModelArts 都能处理,并且支持分类、检测、分割等多样的标注需求。这种广泛的支持确保了无论您的项目涉及何种数据形式或任务类型,都能找到合适的解决方案。智能化与协作式的标注流程:通过集成智能标注特性,ModelArts 能够利用预设或定制化的模型自动完成数据标签化工作,大幅减少了人工投入的时间与成本。同时,平台还支持团队成员间的协同作业,允许多人共同参与数据标注过程,并内置了评分与反馈机制,确保了标注结果的一致性和精准度。灵活的数据存储选项:为了简化数据管理并提升使用便捷性,ModelArts 提供了两种主要的存储方案——OBS(华为云对象存储服务)和本地存储。前者适合需要安全、稳定地保存大量数据的场景;后者则针对快速上传下载的需求设计,提供了即时可用的临时存储空间。第二步:Astro 轻应用集成 ModelArts 在线服务使用 Astro 轻应用的轻应用功能,通过拖拉拽的方式搭建应用界面,将 ModelArts 的模型服务接入 Astro 轻应用的连接器,实现应用的前端展示和交互。应用是 AI 应用的载体,要构建一个高品质的 AI 应用,需要有一个高品质的应用界面,并能与 AI 模型服务进行有效的交互。Astro 轻应用提供了轻应用功能,可以帮助用户通过拖拉拽的方式搭建应用界面,并将 ModelArts 的模型服务接入 Astro 轻应用的数据源,实现应用的前端展示和交互。步骤开始咯01登录 Astro 轻应用控制台,在左侧导航栏中选择的“应用”,点击“新建低代码应用–新建空白应用”。02根据流程,我们先配置好应用名称,和图标:03Astro 通过集成 ModelArts 连接器,实现了调用 ModelArts 在线服务。以前在没有 ModelArts 连接器的时候,我们需要自行开发 AKCK 鉴权、ModelArts API 调用、OBS 文件上传等等。现在我们要将Astro 集成 ModelArts 连接器,我们的环境默认是没有配置好的 ModelArts 连接器,需要开发者自行配置,我们可以导入下面的实例安装包,再进行连接器配置。实例安装包:https://appcube-ai-temp.obs.cn-north-4.myhuaweicloud.com/CNAMEO__EI-0.0.1-beta.zip04配置好连接器,我们可以在这个页面对在线模型检测简单的测试。为了方便大家的学习和操作,我这边附上官方的教学视频:低代码 AI 实战营: https://bbs.huaweicloud.com/live/cloud_live/202212151900.html05接着进行拖拉拽开发页面,这里就不多说,重要的还是自己去动手实践。完成开发后,大致的实现效果如下所示:Astro 轻应用不仅是一套工具,更是一种全新的开发理念,它通过一系列创新特性,为开发者和业务人员提供了前所未有的便捷性和灵活性。多样化应用场景:无论是构建轻量级应用、行业定制化解决方案还是大型业务展示平台,Astro 都能完美适配。从日常办公到人力资源管理,再到运营协同与项目管控,Astro 涵盖了企业运作的方方面面,确保每个需求都能得到精准满足。直观易用的界面设计:借助拖拽式的页面编辑器,即使是没有编程背景的用户也能轻松创建出功能完备的应用界面。丰富的组件库、预设模板以及可视化工作流编辑器,让用户能够迅速将创意转化为现实,无需一行代码。强大的数据整合能力:Astro 支持多源数据接入及服务编排,可以无缝集成来自 ModelArts 的机器学习模型服务或华为云及其他第三方提供的各种服务。这一切都可以通过图形化的界面完成配置,让复杂的数据处理变得简单直观,实现从前端交互到后端逻辑的全面贯通。高效的应用部署与管理:一键发布功能支持多种终端形式——PC 端、移动端、微信小程序/H5 和 WeLink 集成等,同时提供详尽的应用性能监控、使用统计和分享选项,确保每一个上线的应用都具备高度的可用性和稳定性。总结与展望以上便是我个人关于通过ModelArts自动学习能力和低代码平台Astro实现“比熊识别”的AI应用实践经历。希望这篇文章能够为同样对AI感兴趣的朋友们提供一些有价值的参考。如果你也有兴趣尝试,请不要犹豫,勇敢迈出第一步吧!当然,通过这次实践案例,我深刻体会到了ModelArts和Astro所带来的巨大便利。它们不仅大大降低了AI开发的技术门槛,也让普通开发者有机会参与到这场科技变革之中。未来,我希望能够继续深入研究这两个平台的更多特性,并尝试将其应用于更广泛的领域。此外,随着AI技术的不断发展,相信会有越来越多类似ModelArts和Astro这样优秀的工具涌现出来,为人们的生活带来更多惊喜和改变。我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
  • [问题求助] 使用pycharm modelarts 上传training job 遇到obs路径问题
    使用pycharm modelarts 上传training jobupload training code时生成了压缩包,而后无法读取此压缩包以下是我的事件日志
  • [体验官] 与PaaS产品一起成长的故事:J省财政预算一体化平台技术咨询实战“术”分享——AI架构运行优化7:平台流水线和OBS容量设计
          在预算一体化平台的业务架构和功能架构搭建之后,随着AI架构逐步运行起来,慢漫开始出现了幻觉,这是模型泛化能力不强导致的。     这需要开始优化AI架构,增强模型泛化能力,减少模型幻觉。这需要聊到AI架构依赖的平台和工作间环境。AI架构模型如何逐步从一个一个的模型算子,组合起来变成一套整体功能的模型,实现独立的预测功能。算子有五个,通过流水线部署的方式,部署到工程平台上,MA平台部署的算子都是独立,之间没有关联起来。    之前谈过chatflow,这是一个MA平台的流程工作间,有了它,我们就可以把算子关联起来。我们先把算子跟训练数据集关联起来,训练数据库是存储在数仓里,上一回谈到数仓都是存储格式内容相对统一的数据,这里都是存放预算管理的训练数据。         模型输入了训练数据集后进行计算,模型采用了稀疏数据间插的算法,计算出每天的预测结果,通过曲线把未来30天的预测结果显示在图表上。       这些解析出来的结果要存储在数仓里,这也是依赖上回谈到数据架构。到这里你就会明白平台数据架构为什么要这样设计了。      在云平台上,数据架构存储空间会换成OBS,也就是桶,五个算子的结果会存放在同一个桶中,这个桶命名为预算管理模型训练桶。     这个OBS容量设计,我们预留了10T的空间,由于模型训练数据量比较大,通常要1000份数据作为训练数据集,根据2/8原则,还要预留250份数据作为测试数据集,共1250份数据集。     经过了平台和工作间的再训练,模型的幻觉减少了,原来识别精度只有1/6,训练后加强到1/12.5,这样的精度基本满足的预算的工作要求。
  • [技术干货] 与PaaS产品一起成长的故事:Z市地质一体化云化平台技术咨询项目实战“术”分享——咨询项目初期如何设计数据存储和云平台层
    咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。调研之后就是着手开始写架构规划了,下回咱继续聊。
  • [体验官] 与PaaS产品一起成长的故事:Z市地质一体化云化平台技术咨询项目实战“术”分享——确立AI模型依赖的两个基石:数据存储和云平台层
         咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。    在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。     经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。     依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。      调研之后就是着手开始写架构规划了,下回咱继续聊。     欢迎点赞原文和关注公众号“科技江河”,如果喜欢,欢迎打赏,感谢。
  • [分享交流] Z市台风模型应用一体化平台技术咨询实战“术”分享——两大基石之AI工程平台的公有云数据设计
    它山之石可以攻玉!模型需要训练和调试,众所周知。 在不同平台上,开发部署训练调试模型,所经历的过程是不一样的。这里我们介绍一下在国内五彩斑斓的云环境下如何“借鸡下蛋”。在2017年,国内云市场不如现在百花齐放,云的概念还没有普及。在Z市台风模型一体化平台上曾经借助OWS云开发环境,开发业务模型,这是当时为数不多在国内企业B端市场上活跃的一朵云。有公有云和私有云两种场景,这里介绍这个平台的开发模式,供读者参照对比。当时私有云部署不多,硬件平台也不具备条件,大多数企业采用公有云开发,在公有云上训练模型算法。项目平台基本的业务架构和AI架构都已设计好后,接下来就是逐步搭建云平台能力,让AI模型运行起来。首先配置平台,这是AI模型配置部署运行流水线。 配置有两种形式,一种是在华为云私有云部署配置,适用本地数据不允许外发到互联网的场景;一种是数据外发到华为内部,在内部云上进行模型部署配置。这是集众多AI模型功能于一体的平台,本咨询项目涉及到AI Galley和流水线。流水线要配置数据处理全周期,数据选型、数据清洗和数据存储三部分。数据选型是对AI模型的训练数据和测试数据进行选型,这个功能提供了用户选用地质数据的范围,并且按照理论化的配置,80%用于训练,20%用于测试。这个基础上,再设计模型数据的分类,数据选型前就已经搭好数据湖设计,则按地质业务,训练数据分为图表和文字这两类结构化数据,这是由于当时云环境还不支持非结构化数据。我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
  • [体验官] 与PaaS产品一起成长的故事:Z市台风模型应用一体化平台技术咨询实战“术”分享——两大基石之AI工程平台MA配置
    它山之石可以攻玉!模型需要训练和调试,众所周知。 在不同平台上,开发部署训练调试模型,所经历的过程是不一样的。这里我们介绍一下在国内五彩斑斓的云环境下如何“借鸡下蛋”。在2017年,国内云市场不如现在百花齐放,云的概念还没有普及。在Z市台风模型一体化平台上曾经借助OWS云开发环境,开发业务模型,这是当时为数不多在国内企业B端市场上活跃的一朵云。有公有云和私有云两种场景,这里介绍这个平台的开发模式,供读者参照对比。当时私有云部署不多,硬件平台也不具备条件,大多数企业采用公有云开发,在公有云上训练模型算法。项目平台基本的业务架构和AI架构都已设计好后,接下来就是逐步搭建云平台能力,让AI模型运行起来。首先配置平台,这是AI模型配置部署运行流水线。 配置有两种形式,一种是在华为云私有云部署配置,适用本地数据不允许外发到互联网的场景;一种是数据外发到华为内部,在内部云上进行模型部署配置。这是集众多AI模型功能于一体的平台,本咨询项目涉及到AI Galley和流水线。流水线要配置数据处理全周期,数据选型、数据清洗和数据存储三部分。数据选型是对AI模型的训练数据和测试数据进行选型,这个功能提供了用户选用地质数据的范围,并且按照理论化的配置,80%用于训练,20%用于测试。这个基础上,再设计模型数据的分类,数据选型前就已经搭好数据湖设计,则按地质业务,训练数据分为图表和文字这两类结构化数据,这是由于当时云环境还不支持非结构化数据。
总条数:3184 到第
上滑加载中