上次谈到模型计算的结果，要通过数字孪生平台来展示，在架构上这是包含关系。数字孪生平台分为算法模型和IOC界面，其中算法就是Paas平台的能力组件，那这二者如何融合设计。为什么考虑融合这两个架构？从数字孪生架构自成一体，包含数据架构和功能架构。数据架构包括仿真包含的主题库，例如码头/港口/道路这些，形成了仿真所需的时空数据；功能架构用了模型的一些特有功能。模型在指定了参数后，还有预训练，这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录，而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法，也就是教会计算机认识这些数据集，训练数据集之间有什么关联。算子也分为几种台风，例如海上产生的台风、大陆产生的台风等，每一种类型都有不同的算子。进入训练阶段，就要开始跟云平台关联了。云平台是一种能力平台，上面有各种各样的OBS桶，有大的，有小的，有适合装文件数据的，有适合装图片数据的......台风记录通常是文件文档，因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据，以及训练后模型输出的结果数据。基于以上二者的关联，需要设计时考虑两个架构的融合设计。我正在参加【案例共创】第1期 书写云产品应用构建开发最佳实践/评测，共创官方文档https://bbs.huaweicloud.com/forum/thread-0217170307934787108-1-1.html

      上次谈到模型计算的结果，要通过数字孪生平台来展示，在架构上这是包含关系。数字孪生平台分为算法模型和IOC界面，其中算法就是Paas平台的能力组件，那这二者如何融合设计。      为什么考虑融合这两个架构？从数字孪生架构自成一体，包含数据架构和功能架构。数据架构包括仿真包含的主题库，例如码头/港口/道路这些，形成了仿真所需的时空数据；功能架构用了模型的一些特有功能。      模型在指定了参数后，还有预训练，这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录，而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法，也就是教会计算机认识这些数据集，训练数据集之间有什么关联。算子也分为几种台风，例如海上产生的台风、大陆产生的台风等，每一种类型都有不同的算子。进入训练阶段，就要开始跟云平台关联了。云平台是一种能力平台，上面有各种各样的OBS桶，有大的，有小的，有适合装文件数据的，有适合装图片数据的......台风记录通常是文件文档，因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据，以及训练后模型输出的结果数据。      基于以上二者的关联，需要设计时考虑两个架构的融合设计。

      在预算一体化平台的业务架构和功能架构搭建之后，随着AI架构逐步运行起来，慢漫开始出现了幻觉，这是模型泛化能力不强导致的。     这需要开始优化AI架构，增强模型泛化能力，减少模型幻觉。这需要聊到AI架构依赖的平台和工作间环境。AI架构模型如何逐步从一个一个的模型算子，组合起来变成一套整体功能的模型，实现独立的预测功能。算子有五个，通过流水线部署的方式，部署到工程平台上，MA平台部署的算子都是独立，之间没有关联起来。    之前谈过chatflow，这是一个MA平台的流程工作间，有了它，我们就可以把算子关联起来。我们先把算子跟训练数据集关联起来，训练数据库是存储在数仓里，上一回谈到数仓都是存储格式内容相对统一的数据，这里都是存放预算管理的训练数据。         模型输入了训练数据集后进行计算，模型采用了稀疏数据间插的算法，计算出每天的预测结果，通过曲线把未来30天的预测结果显示在图表上。       这些解析出来的结果要存储在数仓里，这也是依赖上回谈到数据架构。到这里你就会明白平台数据架构为什么要这样设计了。      在云平台上，数据架构存储空间会换成OBS，也就是桶，五个算子的结果会存放在同一个桶中，这个桶命名为预算管理模型训练桶。     这个OBS容量设计，我们预留了10T的空间，由于模型训练数据量比较大，通常要1000份数据作为训练数据集，根据2/8原则，还要预留250份数据作为测试数据集，共1250份数据集。     经过了平台和工作间的再训练，模型的幻觉减少了，原来识别精度只有1/6，训练后加强到1/12.5，这样的精度基本满足的预算的工作要求。

     咨询项目调研完，客户提出一个问题：为什么不开发一个台风预测模型？ 它既用于地质领域。既可以保护人身安全，也可以避免台风带来的山体滑坡自然灾害发生，减少经济损失。    在地质一体化平台上要开发这个台风预测模型，有一些共同的特点：首先要有一个厚重的云底座，底座上有强大的平台能力和数据存储能力，云数据库；除此之外，计算能力都非常强大，依赖于强大的计算硬件平台提供的算力，台风模型才可以迅速计算出台风相似路径的预测结果。     经过前期业界的了解，我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓：上层应用是应用平台，调用中台的台风模型，模型层之下是坚实的平台能力，包括云平台和数据平台，AI工程平台；平台依托在下层的硬件平台之上，包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。     依据这个轮廓，我们通过调研获悉，院内有地质云平台，但版本比较旧，3.0版本，很多高阶服务还不支持；还有院内各业务部门和上下级机关单位多年存储的业务数据，我们惊奇的发现这些数据非常宝贵，直接可以用来训练模型，存储量达15T之多。众所周知，大模型训练至少需要10000份数据，地质数据分为两类：调查文献资料和勘探地形地貌的GIS数据或向量数据。      调研之后就是着手开始写架构规划了，下回咱继续聊。     欢迎点赞原文和关注公众号“科技江河”，如果喜欢，欢迎打赏，感谢。

它山之石可以攻玉！模型需要训练和调试，众所周知。 在不同平台上，开发部署训练调试模型，所经历的过程是不一样的。这里我们介绍一下在国内五彩斑斓的云环境下如何“借鸡下蛋”。在2017年，国内云市场不如现在百花齐放，云的概念还没有普及。在Z市台风模型一体化平台上曾经借助OWS云开发环境，开发业务模型，这是当时为数不多在国内企业B端市场上活跃的一朵云。有公有云和私有云两种场景，这里介绍这个平台的开发模式，供读者参照对比。当时私有云部署不多，硬件平台也不具备条件，大多数企业采用公有云开发，在公有云上训练模型算法。项目平台基本的业务架构和AI架构都已设计好后，接下来就是逐步搭建云平台能力，让AI模型运行起来。首先配置平台，这是AI模型配置部署运行流水线。 配置有两种形式，一种是在华为云私有云部署配置，适用本地数据不允许外发到互联网的场景；一种是数据外发到华为内部，在内部云上进行模型部署配置。这是集众多AI模型功能于一体的平台，本咨询项目涉及到AI Galley和流水线。流水线要配置数据处理全周期，数据选型、数据清洗和数据存储三部分。数据选型是对AI模型的训练数据和测试数据进行选型，这个功能提供了用户选用地质数据的范围，并且按照理论化的配置，80%用于训练，20%用于测试。这个基础上，再设计模型数据的分类，数据选型前就已经搭好数据湖设计，则按地质业务，训练数据分为图表和文字这两类结构化数据，这是由于当时云环境还不支持非结构化数据。

上回我们谈到AI模型的两大基石之一，云能力，而云能力分为边缘计算能力和PAAS层中心能力。在咨询项目中，如何构建PAAS层中心能力。从当时地质业务需求来看，中心层能力是大模型计算的核心能力，依赖机房的计算存储平台，大模型可以按需运算并预测结果。    由于部署了台风预测模型，业务侧需要分钟级输出未来30天的预测结果，每分钟计算资源要非常充足。因此，给每个因子每个场景配置了4VPU，128flop/VCPU；由于地质勘查图片量非常大，要一分钟内分析上千份图片，因此计算速度用最快的NPU，9XX型号的算力卡，20张/秒的分析速度，1200张/分钟。有了超级快的计算能力外，还要有海量的存储单元，分为块存储、文件存储和缓存三种类型。其中块存储的空间需求最多，因为它非常灵活，可以存放多种格式的数据；按10M/图片来计算，块存储空间预留500T空间，存储15年的图片数据。     硬件平台讲了这么多，其实都是为PAAS层能力服务。为了让业务侧具备自主编程和调试台风预测模型的能力，PAAS层配备了微服务流水线的能力，codearts, 微服务架构。这也是因为地质行业数据是保密数据，不允许外发到专有云外，因此必须在本地训练。同时业务场景层出不穷，目前只是梳理了5种场景：全球场景、局部场景、自然灾害场景、山体滑坡场景和泥石流场景。未来模型应用的场景会逐步增多，新场景除了模型泛化能力支持外，还要进行算法调优或RAG等技术辅助。欢迎点赞和关注公众号“科技江河”，如果喜欢，在公众号打赏下呗，感谢华为云App

在这次技术咨询项目中，AI架构的设计，让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型，可不是简单的上层模型添加进来，而是一项系统工程。     台风模型是小模型，在需求分析阶段，就要先搜集台风模型采用的算法和了解模型预训练的数据集，这是模型的大脑和成长养分。台风模型的算法，主要是知识图谱的关联算法。在以往的台风路径中，把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中，有几张台风的轨迹坐标都非常相似，符合这些要素的台风就是相似台风，把共性路径坐标抽取出来，形成一条路径。新的台风来临，如果要素跟这条路径相似，那预测这个台风下一步的轨迹也会大致沿着路径前进。   为了让算法能顺利发挥作用，它需要训练，为此我们把院内以往积累的台风预警报告文件都发给了模型，但这是非结构化数据，模型还不能完全读懂，因此模型外还做了一个应用服务，跟院内每天台风预测信息系统对接，获取当天的人工数据。    此系统是院内早些年搭建的应用系统，国内所有省份每天都会进行气象会商，通过原始却有效的方法，人们进行着年复一年，日复一日的协同交流工作。这就像没有发明对讲机以前，村里通讯基本靠大喇叭；没有大喇叭以前，基本靠跑动交流......     然而，人会疲惫，机器不会。这些结构化数据读取后，模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身，下层依赖的Model Art平台，下回我们接着聊它是如何支撑台风模型实战。欢迎点赞原文和关注公众号“科技江河”，如果喜欢，欢迎打赏呗，感谢。

上次跟客户单位讨论台风模型的工作流程，客户是地质专家，对业务非常熟悉，可是一直认为我们的台风模型不符合业务流，对模型在训练阶段前稍微做了些定制，发现对模型应用非常有帮助。    模型在投入新应用前，有三个阶段：微调、预训练和训练。    客户对模型微调有一些改动，提出用全参调试。他指定了要用的关键参数，风力、浪高、有效波高、路径......在地质院每天会商会议上，各省市主要核对的也是这些参数。客户对参数做了一些阈值预设。    指定了参数后，还有预训练，这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录，而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法，也就是教会计算机认识这些数据集，训练数据集之间有什么关联。算子也分为几种台风，例如海上产生的台风、大陆产生的台风等，每一种类型都有不同的算子。     进入训练阶段，就要开始跟云平台关联了。云平台是一种能力平台，上面有各种各样的OBS桶，有大的，有小的，有适合装文件数据的，有适合装图片数据的......台风记录通常是文件文档，因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据，以及训练后模型输出的结果数据。      台风模型后，就是具备一定分析推理能力的智能体，但上面说过，还要配置一定的业务流程才能让智能体更适合业务使用。业务流程在Model Art的studio中调试，这个平台可以进行流程改造，让台风模型输出相似路径后可以直接嵌入各种场景中使用，Model Art studio就像一个工作间，可以在这里创造和定制模型。

     在这次技术咨询项目中，AI架构的设计，让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型，可不是简单的上层模型添加进来，而是一项系统工程。     台风模型是小模型，在需求分析阶段，就要先搜集台风模型采用的算法和了解模型预训练的数据集，这是模型的大脑和成长养分。台风模型的算法，主要是知识图谱的关联算法。在以往的台风路径中，把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中，有几张台风的轨迹坐标都非常相似，符合这些要素的台风就是相似台风，把共性路径坐标抽取出来，形成一条路径。新的台风来临，如果要素跟这条路径相似，那预测这个台风下一步的轨迹也会大致沿着路径前进。   为了让算法能顺利发挥作用，它需要训练，为此我们把院内以往积累的台风预警报告文件都发给了模型，但这是非结构化数据，模型还不能完全读懂，因此模型外还做了一个应用服务，跟院内每天台风预测信息系统对接，获取当天的人工数据。    此系统是院内早些年搭建的应用系统，国内所有省份每天都会进行气象会商，通过原始却有效的方法，人们进行着年复一年，日复一日的协同交流工作。这就像没有发明对讲机以前，村里通讯基本靠大喇叭；没有大喇叭以前，基本靠跑动交流......     然而，人会疲惫，机器不会。这些结构化数据读取后，模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身，下层依赖的Model Art平台，下回我们接着聊它是如何支撑台风模型实战。欢迎点赞原文和关注公众号“科技江河”，如果喜欢，欢迎打赏呗，感谢。

在云计算的浪潮中，我初次接触PaaS（Platform as a Service，平台即服务）产品，仿佛打开了一扇新世界的大门。从初次邂逅的懵懂，到如今深度依赖的默契，PaaS不仅是我技术成长的见证者，更是推动我不断前行的强大助力。初识在疫情前的一个项目里，第一次用上了华为云，以前只是了解国内的各大云厂商，华为云，阿里云，腾讯云，京东云，对云的使用需求不是很强烈，自己的测试也只是在自己本地的电脑上，因为项目的推动要用云，公司也注册了华为云账号，自此开始了云化之路华为云上探索因为别的部门用过阿里云，借调了几个人过来，我们慢慢几乎使用了华为云基本主流的所有产品，分布式数据库中间件ddm，对象存储服务 OBS，弹性云服务器 ECS，数据仓库服务 DWS，MapReduce服务 MRS等等，在这段时间里我们同华为的同事一块探讨每个产品在项目中具体的使用方式，印象很深的是华为云上的文档真的写的很好，当时还给了很多考证的名额，因为学历问题把名额给别人了，万分可惜；交流与成长除了日常的开发运维工作，我也会参与各种PaaS相关的开发者活动。从线上的技术分享会到线下的开发者大会，每一次参与都让我受益匪浅。在这些活动中，我不仅学到了最新的技术趋势和最佳实践，还结识了许多志同道合的朋友。最近的免费领取云空间的活动，按着实例教程做做试验，也学习到了很多东西，这种交流与碰撞让我感受到了技术的无限魅力。共同展望虽然现在生产接触华为云的产品比较少了，但还是会关注着华为云的产品，学习着新的知识，共同探索云计算的无限可能，为构建更加美好的数字世界贡献自己的力量

开发者空间体验重磅开启：华为面向广大开发者群体，打造的全球开发者专属空间，工具资源预置，成为开发者云上的“家”。本次开发者空间三期活动提供了最新的CodeArts体验案例，一起来探索吧！【参与形式】Step1：报名开发者空间活动：>活动报名入口<Step2：>免费领取云主机<Step3：有奖调研：参与活动页开发者空间体验，完成调研问卷，即可抽取华为云云宝手办-单个盲盒、开发者定制鼠标垫！礼品参考展示：

【活动简介】年终，作为一个特殊的节点，不仅是回顾过去一年技术发展历程、总结经验教训的时刻，更是展望未来、规划新一年技术路线图的契机。在这样的背景下，针对PaaS开发者，开展一场年终线上福利活动，旨在通过一系列互动活动，与广大开发者们一起回顾一年以来的成长历程，并且希望各位小伙伴能给出一些好的建议和反馈，促进PaaS产品的进步，同时准备了丰厚的福利回馈给大家，欢迎新老用户共同参与！>>>活动报名入口<<<【活动内容速览】Part1：用户回馈：限时优惠购，福利大放送1、产品优惠套餐限时购CodeArts Repo18元套餐（仅面向新注册用户）Astro Zero 5.99元套餐（仅面向新注册用户）CodeArts免费体验版开通开发者空间云主机免费领取2、登录即抽奖，超多丰富礼品在等你！登录报名活动，即可参与抽奖！（奖品：100/50元京东卡、华为自拍杆、半入耳式耳机、鼠标垫、数据线、保温杯、棒球帽、书籍等十多种好礼可抽取！）Part2：有奖征文：开发者成长年度回顾报名活动，根据活动页要求发布文章，筛选优质内容10篇，奖励50元京东卡！Part3：学习体验最佳案例，反馈真实建议1、在线学习：从0到1深度体验华为云CodeArts2、最佳案例体验：凤凰商城DevOps实践Astro Zero零代码构建记账本小程序基于Functiongraph的AI风格化编程一键部署你的AI绘图应用3、有奖调研问卷报名活动，参与填写活动页调研问卷，即可抽奖（奖品：华为云云宝手办*5、鼠标垫*10）加入PaaS产品交流群，与大家共同进步。

10月15日，为加强校企交流，提供学生与产业界接触的机会，培养适合产业发展的人才，“华为开发者名校行”活动走进上海交通大学学，上交大120余名学子一起与业界大咖分享交流，感受科技无穷魅力。活动新闻华为开发者名校行--上海交通大学站圆满落幕：华为开发者名校行--上海交通大学站圆满落幕 (qq.com)：cid:link_0

 7.13专家带你读透“互联网+大赛”华为云七大命题，观直播，赢好礼-获奖名单如下：序号获奖姓名获奖人手机号获奖礼品1*雨阳139****1450华为开发者定制折叠雨伞2陈*187****3526华为开发者定制折叠雨伞3*家诚166****5827华为定制保温杯4唐*135****7740华为定制保温杯5*新宪181****4397华为定制商务双肩包6*和平152****6566华为定制商务双肩包7*金157****9364华为定制商务双肩包【注】1、未在直播间填写信息视为弃奖。本次活动礼品将尽快发出，请您耐心等待。2、活动期间每个ID（同一姓名/电话/收货地址）只能获奖一次，若重复则中奖资格则取消第二次中奖资格。3、活动奖品颜色随机，如活动奖品出现没有库存的情况，华为云工作人员将会替换等价值的奖品，获奖者不同意此规则视为放弃奖品。

7.13专家带你读透“互联网+大赛”华为云七大命题 直播间3轮抽奖，观直播，赢好礼哟！第一次抽奖3名：华为开发者定制折叠雨伞第二次抽奖3名：HC保温杯第三次抽奖3名：华为定制商务双肩包※ 注：以上活动如活动奖品出现没有库存的情况，华为云工作人员将会替换等价值的奖品，获奖者不同意此规则视为放弃奖品。当您获奖时，务必在直播间填写获奖收件地址，未直播间填写获奖收件地址则视为放弃奖品。7.13日16:30，直播间不见不散，奖品等你来拿！