-
在预算一体化平台的业务架构和功能架构搭建之后,随着AI架构逐步运行起来,慢漫开始出现了幻觉,这是模型泛化能力不强导致的。这需要开始优化AI架构,增强模型泛化能力,减少模型幻觉。这需要聊到AI架构依赖的平台和工作间环境。AI架构模型如何逐步从一个一个的模型算子,组合起来变成一套整体功能的模型,实现独立的预测功能。算子有五个,通过流水线部署的方式,部署到工程平台上,MA平台部署的算子都是独立,之间没有关联起来。之前谈过chatflow,这是一个MA平台的流程工作间,有了它,我们就可以把算子关联起来。我们先把算子跟训练数据集关联起来,训练数据库是存储在数仓里,上一回谈到数仓都是存储格式内容相对统一的数据,这里都是存放预算管理的训练数据。模型输入了训练数据集后进行计算,模型采用了稀疏数据间插的算法,计算出每天的预测结果,通过曲线把未来30天的预测结果显示在图表上。这些解析出来的结果要存储在数仓里,这也是依赖上回谈到数据架构。到这里你就会明白平台数据架构为什么要这样设计了。在云平台上,数据架构存储空间会换成OBS,也就是桶,五个算子的结果会存放在同一个桶中,这个桶命名为预算管理模型训练桶。这个OBS容量设计,我们预留了10T的空间,由于模型训练数据量比较大,通常要1000份数据作为训练数据集,根据2/8原则,还要预留250份数据作为测试数据集,共1250份数据集。经过了平台和工作间的再训练,模型的幻觉减少了,原来识别精度只有1/6,训练后加强到1/12.5,这样的精度基本满足的预算的工作要求。 我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
-
在预算一体化平台的业务架构和功能架构搭建之后,随着AI架构逐步运行起来,慢漫开始出现了幻觉,这是模型泛化能力不强导致的。 这需要开始优化AI架构,增强模型泛化能力,减少模型幻觉。这需要聊到AI架构依赖的平台和工作间环境。AI架构模型如何逐步从一个一个的模型算子,组合起来变成一套整体功能的模型,实现独立的预测功能。算子有五个,通过流水线部署的方式,部署到工程平台上,MA平台部署的算子都是独立,之间没有关联起来。 之前谈过chatflow,这是一个MA平台的流程工作间,有了它,我们就可以把算子关联起来。我们先把算子跟训练数据集关联起来,训练数据库是存储在数仓里,上一回谈到数仓都是存储格式内容相对统一的数据,这里都是存放预算管理的训练数据。 模型输入了训练数据集后进行计算,模型采用了稀疏数据间插的算法,计算出每天的预测结果,通过曲线把未来30天的预测结果显示在图表上。 这些解析出来的结果要存储在数仓里,这也是依赖上回谈到数据架构。到这里你就会明白平台数据架构为什么要这样设计了。 在云平台上,数据架构存储空间会换成OBS,也就是桶,五个算子的结果会存放在同一个桶中,这个桶命名为预算管理模型训练桶。 这个OBS容量设计,我们预留了10T的空间,由于模型训练数据量比较大,通常要1000份数据作为训练数据集,根据2/8原则,还要预留250份数据作为测试数据集,共1250份数据集。 经过了平台和工作间的再训练,模型的幻觉减少了,原来识别精度只有1/6,训练后加强到1/12.5,这样的精度基本满足的预算的工作要求。
-
咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。调研之后就是着手开始写架构规划了,下回咱继续聊。我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测,共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html
-
咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。 在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。 经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。 依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。 调研之后就是着手开始写架构规划了,下回咱继续聊。 欢迎点赞原文和关注公众号“科技江河”,如果喜欢,欢迎打赏,感谢。
-
生成不同入场角度的二维航线1、Python实现给定一组经纬度坐标 ,生成不同入场角度的面状航线。2、对多边形区域进行顺时针旋转x度从而生成不同入场角度的航线,其中0度为正北方向。3、获取多边形区域的最小正外接矩形并进行扩框(生成的航点要在原来不规则多边形的基础上外扩),使用SAHI进行切分,切分区域大小为无人机拍摄画面大小,设置航线的重叠度。4、对生成的航点顺时针旋转360-x度得到航点经纬度坐标并返回各个航点之间的距离。算法详情可以运行Notebook:cid:link_0
-
进入活动链接:https://pangu.huaweicloud.com/gallery/asset-detail.html?id=c1cf0774-59ce-44fc-a4a8-8fcf026d2fec1、切换规格为64GB的限时免费规格2、点击执行3、然后执行:4、继续执行5、切换python版本,这个很重要!!!!,6、安装和启动运行7、最后生成了一个链接:Running on public URL: https://0dfb450b322dd89a40.gradio.live8、点击该URL,就可以开始使用了角色:man 活动: play basketball,选择风格类型使用效果1,这个是“线条艺术”这个是“油画”效果这个是“日本动画”风格该模型部署起来很方便,模型很强大,伙伴们可以多多探索,多少挖掘
-
比如我想将.pt/.onnx的模型转换为rknn格式的模型,每次都需要在notebook中运行写好的代码,其中涉及到某些自定义算子的转换,如果我想分享给别人用且不希望开源代码,不知道在AI Gallery创建好AI应用是否支持模型自定义转换和导出的功能,类似于创建模型推理的服务,直接将写好的代码和镜像打包成AI应用,这样上传模型就可以模型的实现一键转换,进而部署到不同设备上使用,即创建好的AI应用可以不仅限于内容生成,也可以上传模型并下载转换好的模型文件:
-
为什么从我的AI Gallery中下载之前上传数据集到自己的OBS桶中提示没有权限操作,换成其他的桶也是一样,显示下载完成但是桶路径下没有对应的文件?
-
要开发一个无人机,需要掌握哪些技能
-
MindSpore2.3.0+Ascend910A,镜像为swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b-20240727152329-0f2c29a,运行测试样例报错RuntimeError: Call aclnnSub failed, detail:EZ9999: Inner Error!kernel没装全导致二进制算子操作报错。/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/numpy/core/getlimits.py:499: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero. setattr(self, word, getattr(machar, word).flat[0])/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero. return self._float_to_str(self.smallest_subnormal)/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/numpy/core/getlimits.py:499: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero. setattr(self, word, getattr(machar, word).flat[0])/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero. return self._float_to_str(self.smallest_subnormal)[ERROR] RUNTIME_FRAMEWORK(3361,ffff93dd11e0,python):2024-10-31-20:00:24.542.957 [mindspore/ccsrc/runtime/graph_scheduler/actor/actor_common.cc:327] WaitRuntimePipelineFinish] Wait runtime pipeline finish and an error occurred: Call aclnnSub failed, detail:EZ9999: Inner Error!EZ9999: 2024-10-31-20:00:24.531.850 Parse dynamic kernel config fail.[THREAD:3973] TraceBack (most recent call last): AclOpKernelInit failed opType[THREAD:3973] Op Sub does not has any binary.[THREAD:3973] Kernel Run failed. opType: 3, Sub[THREAD:3973] launch failed for Sub, errno:561000.[THREAD:3973]----------------------------------------------------- C++ Call Stack: (For framework developers)----------------------------------------------------mindspore/ccsrc/plugin/device/ascend/kernel/opapi/aclnn/sub_aclnn_kernel.h:36 RunOpTraceback (most recent call last): File "/home/ma-user/work/Test/test.py", line 36, in <module> out = net(x, y) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/nn/cell.py", line 703, in __call__ out = self.compile_and_run(*args, **kwargs) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/nn/cell.py", line 1074, in compile_and_run return _cell_graph_executor(self, *new_args, phase=self.phase) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/common/api.py", line 1860, in __call__ return self.run(obj, *args, phase=phase) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/common/api.py", line 1911, in run return self._exec_pip(obj, *args, phase=phase_real) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/common/api.py", line 185, in wrapper results = fn(*arg, **kwargs) File "/home/ma-user/anaconda3/envs/MindSpore/lib/python3.9/site-packages/mindspore/common/api.py", line 1891, in _exec_pip return self._graph_executor(args, phase)RuntimeError: Call aclnnSub failed, detail:EZ9999: Inner Error!EZ9999: 2024-10-31-20:00:24.531.850 Parse dynamic kernel config fail.[THREAD:3973] TraceBack (most recent call last): AclOpKernelInit failed opType[THREAD:3973] Op Sub does not has any binary.[THREAD:3973] Kernel Run failed. opType: 3, Sub[THREAD:3973] launch failed for Sub, errno:561000.[THREAD:3973]----------------------------------------------------- C++ Call Stack: (For framework developers)----------------------------------------------------mindspore/ccsrc/plugin/device/ascend/kernel/opapi/aclnn/sub_aclnn_kernel.h:36 RunOp
-
2024“数据要素×”大赛全国总决赛在北京中关村国际创新中心举行颁奖仪式,云南白药集团“中医药行业雷公大模型”斩获全国总决赛二等奖。国家数据局党委书记、局长刘烈宏,北京市委常委、常务副市长夏林茂等领导出席颁奖仪式。“数据要素×”大赛主题为“数据赋能,乘数而上”,是由国家数据局、北京市人民政府、中央网信办、工业和信息化部以及12个领域国家相关部门主办,是国内首个聚焦数据要素开发应用的全国性大赛。大赛共设置了工业制造、医疗健康、金融服务、科技创新、绿色低碳、城市治理等12个赛道,全国1.9万多支队伍参赛,全国总决赛660多支队伍共同角逐。旨在通过遴选出一批应用成效显著、创新性强、引领效应好的解决方案,推动相关技术产业发展。华为云与云南白药集团在2024年2月签署战略合作协议之后,在大模型、智慧差旅及灯塔工厂工业物联网建设等多个领域展开了全面合作,充分整合数据、技术、平台和算力资源。借助华为云盘古大模型的领先优势,构建了新的智能生产力体系,全面提升了云南白药集团的数字化能力。在双方项目合作的前期阶段,成果显著,不仅带动了销售增长,还节省了中药材的退换货成本;同时,解决了多源异构数据的应用难题,构建了高质量的数据集,推动了中医药行业的数字化转型与发展。盘古大模型,赋能智能生产;云端数据,驱动创新腾飞。华为云与云南白药集团本次联创的“中医药行业雷公大模型”,联合权威数据提供方,利用华为云先进的人工智能和大模型技术,致力于提升中医药行业全产业链的效率和质量。本项目充分响应国家推动传统中医药与现代科学相结合、相促进的政策,旨在实现中医药全行业、全产业链、全流程数据的有效贯通。通过构建中医行业高质量数据集,项目不仅推动了人工智能与中医药全产业链数据要素的深度融合,还积极参与国家数据局高质量数据整理与交易工作,充分发挥中医药数据的行业价值。华为云的技术支持为中医药行业的数字化转型与高效发展提供了强大动能,展现了其在推动产业创新中的重要作用。此次获奖不仅高度认可了云南白药集团在中医药现代化探索中的突出成就,也肯定了其利用大数据、人工智能等前沿科技赋能传统中医药行业的创新实践,展示了在中医药领域数字化转型中的深远影响和领导力。华为云将继续与云南白药集团紧密合作,进一步探索和应用大模型、人工智能等前沿技术,持续为云南省数字经济的发展注入新的活力。转自华为云公众号
-
Atlas 200I A2用于EP侧,安装了驱动,可以通过串口进入Atlas 200I A2的系统,但是每次重启Atlas 200I A2的系统,我在里面写的脚本就会被还原
-
大模型的浪潮让AI开发和应用有了全新的面貌,大家有什么想法可以分享
-
一张图来看目前AI Gallery的定位。个人感觉,它应该是在越来越找准自己的定位的状态中了....
-
AI Gallery中的免费GPU算力最多同时支持多少人在线?
上滑加载中
推荐直播
-
GaussDB数据库介绍
2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等,旨在帮助开发者了解GaussDB数据库,并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典:华为开发者空间大咖汇,共探云端开发创新
2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速,驱动着技术革新发展,华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源,打破平台间的壁垒,实现跨平台协同?在科技迅猛发展的今天,开发者们如何迅速把握机遇,实现高效、创新的技术突破?DTT 年度收官盛典,将与大家共同探索华为开发者空间的创新奥秘。
去报名 -
GaussDB应用实战:手把手带你写SQL
2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍,帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
去报名
热门标签