-
在台风模型开发流程和平台设计好之后,面临一系列开发动作。在模型开发的过程中,仍有不少安全漏洞被黑客攻击,导致安全事故。自从2023年安全事件以来,大模型开发的种种漏洞接连被攻击,它就像一个新生儿,提抗力弱,经常遭受这个环境的侵扰。于是,安全设计就像病后膏药一样,一贴接一贴被大家提起。病有轻重缓急,对症下药是不变原则。首先碰到的是Prompt安全漏洞,通过改写Prompt语句,获取服务器甚至内部网络主机信息。在模型开发过程就伴随着这个风险。当时设计了台风模型是可以通过数据集自动获取内网辅助信息,如果改写了Prompt就会导致大模型的算法开始搜索主机信息。这是当时发现的第一个安全漏洞。其次,利用大模型可以根据知识图谱关联台风路径参数的能力,提供了一些训练的知识图谱,大模型关联出内部知识图谱,而这些内部训练数据是秘密级别,大模型对信息安全等级并没有识别把关能力,会全盘托出搜索结果,导致数据泄露。这是当时发现的第二个安全漏洞。发现了这两个漏洞,就像在目前网络上开了两个口子,数据信息可以随意进出。当初大模型架构设计时,曾设计了操作范围,分为部门内部、公司内部、特定范围公开和全球公开,四种公开范围,通过人员身份来识别数据是否可以通过口子进出。仅仅在结果上把关是不够的。有些数据信息是某个环节进行特定范围限制,而在开发过程的其他环节,对数据信息却做了其他范围限制。因此,必须在开发流程上进行安全设计,逐个节点进行设计,才可以满足开发的需求。 欢迎点赞和关注公众号“科技江河”,如果喜欢,打赏下呗,感谢
-
上次跟客户单位讨论台风模型的工作流程,客户是地质专家,对业务非常熟悉,可是一直认为我们的台风模型不符合业务流,对模型在训练阶段前稍微做了些定制,发现对模型应用非常有帮助。模型在投入新应用前,有三个阶段:微调、预训练和训练。客户对模型微调有一些改动,提出用全参调试。他指定了要用的关键参数,风力、浪高、有效波高、路径......在地质院每天会商会议上,各省市主要核对的也是这些参数。客户对参数做了一些阈值预设。指定了参数后,还有预训练,这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录,而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法,也就是教会计算机认识这些数据集,训练数据集之间有什么关联。算子也分为几种台风,例如海上产生的台风、大陆产生的台风等,每一种类型都有不同的算子。进入训练阶段,就要开始跟云平台关联了。云平台是一种能力平台,上面有各种各样的OBS桶,有大的,有小的,有适合装文件数据的,有适合装图片数据的......台风记录通常是文件文档,因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据,以及训练后模型输出的结果数据。台风模型后,就是具备一定分析推理能力的智能体,但上面说过,还要配置一定的业务流程才能让智能体更适合业务使用。业务流程在Model Art的studio中调试,这个平台可以进行流程改造,让台风模型输出相似路径后可以直接嵌入各种场景中使用,Model Art studio就像一个工作间,可以在这里创造和定制模型。
-
在这次技术咨询项目中,AI架构的设计,让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型,可不是简单的上层模型添加进来,而是一项系统工程。台风模型是小模型,在需求分析阶段,就要先搜集台风模型采用的算法和了解模型预训练的数据集,这是模型的大脑和成长养分。台风模型的算法,主要是知识图谱的关联算法。在以往的台风路径中,把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中,有几张台风的轨迹坐标都非常相似,符合这些要素的台风就是相似台风,把共性路径坐标抽取出来,形成一条路径。新的台风来临,如果要素跟这条路径相似,那预测这个台风下一步的轨迹也会大致沿着路径前进。为了让算法能顺利发挥作用,它需要训练,为此我们把院内以往积累的台风预警报告文件都发给了模型,但这是非结构化数据,模型还不能完全读懂,因此模型外还做了一个应用服务,跟院内每天台风预测信息系统对接,获取当天的人工数据。此系统是院内早些年搭建的应用系统,国内所有省份每天都会进行气象会商,通过原始却有效的方法,人们进行着年复一年,日复一日的协同交流工作。这就像没有发明对讲机以前,村里通讯基本靠大喇叭;没有大喇叭以前,基本靠跑动交流......然而,人会疲惫,机器不会。这些结构化数据读取后,模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身,下层依赖的Model Art平台,下回我们接着聊它是如何支撑台风模型实战。
-
上回我们谈到AI模型的两大基石之一,云能力,而云能力分为边缘计算能力和PAAS层中心能力。在咨询项目中,如何构建PAAS层中心能力。从当时地质业务需求来看,中心层能力是大模型计算的核心能力,依赖机房的计算存储平台,大模型可以按需运算并预测结果。由于部署了台风预测模型,业务侧需要分钟级输出未来30天的预测结果,每分钟计算资源要非常充足。因此,给每个因子每个场景配置了4VPU,128flop/VCPU;由于地质勘查图片量非常大,要一分钟内分析上千份图片,因此计算速度用最快的NPU,9XX型号的算力卡,20张/秒的分析速度,1200张/分钟。有了超级快的计算能力外,还要有海量的存储单元,分为块存储、文件存储和缓存三种类型。其中块存储的空间需求最多,因为它非常灵活,可以存放多种格式的数据;按10M/图片来计算,块存储空间预留500T空间,存储15年的图片数据。硬件平台讲了这么多,其实都是为PAAS层能力服务。为了让业务侧具备自主编程和调试台风预测模型的能力,PAAS层配备了微服务流水线的能力,codearts, 微服务架构。这也是因为地质行业数据是保密数据,不允许外发到专有云外,因此必须在本地训练。同时业务场景层出不穷,目前只是梳理了5种场景:全球场景、局部场景、自然灾害场景、山体滑坡场景和泥石流场景。未来模型应用的场景会逐步增多,新场景除了模型泛化能力支持外,还要进行算法调优或RAG等技术辅助。
-
上回谈到引入数字孪生技术可以增强AI模型设计的用户推演效果,为了配合这个模块设计,需要进行开发一体化开发流水线的配置,完成模型的基础配置。一体化开发流水线主要是为了向上兼容各种模型,向下兼容各种框架而产生的配备的平台能力。这个平台能力,可以支持科学计算模型、CV模型和大语言模型的基础参数配置。在开发大模型的流程中,首先开发流程要明确,其次是把流程落入支持的IT工具。开发流程是需求导入,数据集制作及导入,算法选择,计算平台选择,数据训练及微调,数据推理,数据导出数字孪生平台。开发IT工具,主要采用集成开发平台。台风模型是科学计算模型,模拟一次台风在未来7小时变化轨迹,导入开发平台后,平台自动匹配相关的L0基础模型,分别是原科学计算模型和初步训练的科学计算模型。众所周知,大模型需要数据集进行训练,数据集由各种输入数据汇合而成,经过数据清洗,变成大模型可以识别的数据。台风模型的数据集主要是历年来的台风轨迹图、台风预报的结构化参数表和其他非结构化文档。算法选择也分为很多种,例如图形识别算法、实物批量标记算法、图形分割算法......对于台风模型,选择了实物批量标记算法和图形分割算法。由于不涉及具体物品识别,没有选择图形识别算法,但台风图上会有很多相似的图案,需要在台风图上把相似图案和台风图案区分出来。人工智能的妙处,在于它确实有技能做事,也能学习自己不懂的知识。
-
华为云有没有提供针对个人的,免费的大模型Key(每日有限次数的也行啊)
-
在预算一体化平台的业务架构和功能架构搭建之后,随着AI架构逐步运行起来,慢漫开始出现了幻觉,这是模型泛化能力不强导致的。 这需要开始优化AI架构,增强模型泛化能力,减少模型幻觉。这需要聊到AI架构依赖的平台和工作间环境。AI架构模型如何逐步从一个一个的模型算子,组合起来变成一套整体功能的模型,实现独立的预测功能。算子有五个,通过流水线部署的方式,部署到工程平台上,MA平台部署的算子都是独立,之间没有关联起来。 之前谈过chatflow,这是一个MA平台的流程工作间,有了它,我们就可以把算子关联起来。我们先把算子跟训练数据集关联起来,训练数据库是存储在数仓里,上一回谈到数仓都是存储格式内容相对统一的数据,这里都是存放预算管理的训练数据。 模型输入了训练数据集后进行计算,模型采用了稀疏数据间插的算法,计算出每天的预测结果,通过曲线把未来30天的预测结果显示在图表上。 这些解析出来的结果要存储在数仓里,这也是依赖上回谈到数据架构。到这里你就会明白平台数据架构为什么要这样设计了。 在云平台上,数据架构存储空间会换成OBS,也就是桶,五个算子的结果会存放在同一个桶中,这个桶命名为预算管理模型训练桶。 这个OBS容量设计,我们预留了10T的空间,由于模型训练数据量比较大,通常要1000份数据作为训练数据集,根据2/8原则,还要预留250份数据作为测试数据集,共1250份数据集。 经过了平台和工作间的再训练,模型的幻觉减少了,原来识别精度只有1/6,训练后加强到1/12.5,这样的精度基本满足的预算的工作要求。
-
咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。调研之后就是着手开始写架构规划了,下回咱继续聊。
-
咨询项目调研完,客户提出一个问题:为什么不开发一个台风预测模型? 它既用于地质领域。既可以保护人身安全,也可以避免台风带来的山体滑坡自然灾害发生,减少经济损失。 在地质一体化平台上要开发这个台风预测模型,有一些共同的特点:首先要有一个厚重的云底座,底座上有强大的平台能力和数据存储能力,云数据库;除此之外,计算能力都非常强大,依赖于强大的计算硬件平台提供的算力,台风模型才可以迅速计算出台风相似路径的预测结果。 经过前期业界的了解,我们在项目中初步画出了云平台和台风模型二者之间的架构轮廓:上层应用是应用平台,调用中台的台风模型,模型层之下是坚实的平台能力,包括云平台和数据平台,AI工程平台;平台依托在下层的硬件平台之上,包括强大的计算平台、海量存储能力、高速网络和牢靠的安全能力。 依据这个轮廓,我们通过调研获悉,院内有地质云平台,但版本比较旧,3.0版本,很多高阶服务还不支持;还有院内各业务部门和上下级机关单位多年存储的业务数据,我们惊奇的发现这些数据非常宝贵,直接可以用来训练模型,存储量达15T之多。众所周知,大模型训练至少需要10000份数据,地质数据分为两类:调查文献资料和勘探地形地貌的GIS数据或向量数据。 调研之后就是着手开始写架构规划了,下回咱继续聊。 欢迎点赞原文和关注公众号“科技江河”,如果喜欢,欢迎打赏,感谢。
-
它山之石可以攻玉!模型需要训练和调试,众所周知。 在不同平台上,开发部署训练调试模型,所经历的过程是不一样的。这里我们介绍一下在国内五彩斑斓的云环境下如何“借鸡下蛋”。在2017年,国内云市场不如现在百花齐放,云的概念还没有普及。在Z市台风模型一体化平台上曾经借助OWS云开发环境,开发业务模型,这是当时为数不多在国内企业B端市场上活跃的一朵云。有公有云和私有云两种场景,这里介绍这个平台的开发模式,供读者参照对比。当时私有云部署不多,硬件平台也不具备条件,大多数企业采用公有云开发,在公有云上训练模型算法。项目平台基本的业务架构和AI架构都已设计好后,接下来就是逐步搭建云平台能力,让AI模型运行起来。首先配置平台,这是AI模型配置部署运行流水线。 配置有两种形式,一种是在华为云私有云部署配置,适用本地数据不允许外发到互联网的场景;一种是数据外发到华为内部,在内部云上进行模型部署配置。这是集众多AI模型功能于一体的平台,本咨询项目涉及到AI Galley和流水线。流水线要配置数据处理全周期,数据选型、数据清洗和数据存储三部分。数据选型是对AI模型的训练数据和测试数据进行选型,这个功能提供了用户选用地质数据的范围,并且按照理论化的配置,80%用于训练,20%用于测试。这个基础上,再设计模型数据的分类,数据选型前就已经搭好数据湖设计,则按地质业务,训练数据分为图表和文字这两类结构化数据,这是由于当时云环境还不支持非结构化数据。
-
上回我们谈到AI模型的两大基石之一,云能力,而云能力分为边缘计算能力和PAAS层中心能力。在咨询项目中,如何构建PAAS层中心能力。从当时地质业务需求来看,中心层能力是大模型计算的核心能力,依赖机房的计算存储平台,大模型可以按需运算并预测结果。 由于部署了台风预测模型,业务侧需要分钟级输出未来30天的预测结果,每分钟计算资源要非常充足。因此,给每个因子每个场景配置了4VPU,128flop/VCPU;由于地质勘查图片量非常大,要一分钟内分析上千份图片,因此计算速度用最快的NPU,9XX型号的算力卡,20张/秒的分析速度,1200张/分钟。有了超级快的计算能力外,还要有海量的存储单元,分为块存储、文件存储和缓存三种类型。其中块存储的空间需求最多,因为它非常灵活,可以存放多种格式的数据;按10M/图片来计算,块存储空间预留500T空间,存储15年的图片数据。 硬件平台讲了这么多,其实都是为PAAS层能力服务。为了让业务侧具备自主编程和调试台风预测模型的能力,PAAS层配备了微服务流水线的能力,codearts, 微服务架构。这也是因为地质行业数据是保密数据,不允许外发到专有云外,因此必须在本地训练。同时业务场景层出不穷,目前只是梳理了5种场景:全球场景、局部场景、自然灾害场景、山体滑坡场景和泥石流场景。未来模型应用的场景会逐步增多,新场景除了模型泛化能力支持外,还要进行算法调优或RAG等技术辅助。欢迎点赞和关注公众号“科技江河”,如果喜欢,在公众号打赏下呗,感谢华为云App
-
在这次技术咨询项目中,AI架构的设计,让台风预测模型这项人工智能技术首次在地质领域应用。引入大模型,可不是简单的上层模型添加进来,而是一项系统工程。 台风模型是小模型,在需求分析阶段,就要先搜集台风模型采用的算法和了解模型预训练的数据集,这是模型的大脑和成长养分。台风模型的算法,主要是知识图谱的关联算法。在以往的台风路径中,把一张张图片打上标识并分析两张图之间的相似量。比如在浪高10米的台风图片中,有几张台风的轨迹坐标都非常相似,符合这些要素的台风就是相似台风,把共性路径坐标抽取出来,形成一条路径。新的台风来临,如果要素跟这条路径相似,那预测这个台风下一步的轨迹也会大致沿着路径前进。 为了让算法能顺利发挥作用,它需要训练,为此我们把院内以往积累的台风预警报告文件都发给了模型,但这是非结构化数据,模型还不能完全读懂,因此模型外还做了一个应用服务,跟院内每天台风预测信息系统对接,获取当天的人工数据。 此系统是院内早些年搭建的应用系统,国内所有省份每天都会进行气象会商,通过原始却有效的方法,人们进行着年复一年,日复一日的协同交流工作。这就像没有发明对讲机以前,村里通讯基本靠大喇叭;没有大喇叭以前,基本靠跑动交流...... 然而,人会疲惫,机器不会。这些结构化数据读取后,模型就会慢慢累积历史上本地经过的台风活动的轨迹、风力、浪高、风向.......这是自我学习的过程。除了这模型本身,下层依赖的Model Art平台,下回我们接着聊它是如何支撑台风模型实战。欢迎点赞原文和关注公众号“科技江河”,如果喜欢,欢迎打赏呗,感谢。
-
上次跟客户单位讨论台风模型的工作流程,客户是地质专家,对业务非常熟悉,可是一直认为我们的台风模型不符合业务流,对模型在训练阶段前稍微做了些定制,发现对模型应用非常有帮助。 模型在投入新应用前,有三个阶段:微调、预训练和训练。 客户对模型微调有一些改动,提出用全参调试。他指定了要用的关键参数,风力、浪高、有效波高、路径......在地质院每天会商会议上,各省市主要核对的也是这些参数。客户对参数做了一些阈值预设。 指定了参数后,还有预训练,这里涉及训练数据集和算子。 台风的训练数据是以往历史台风记录,而验证数据集则选定最近会商发布的台风记录。算子是一种逻辑算法,也就是教会计算机认识这些数据集,训练数据集之间有什么关联。算子也分为几种台风,例如海上产生的台风、大陆产生的台风等,每一种类型都有不同的算子。 进入训练阶段,就要开始跟云平台关联了。云平台是一种能力平台,上面有各种各样的OBS桶,有大的,有小的,有适合装文件数据的,有适合装图片数据的......台风记录通常是文件文档,因此选择大的适合装文件数据的OBS桶。这个桶就是在存储台风模型训练过程中产生的数据,以及训练后模型输出的结果数据。 台风模型后,就是具备一定分析推理能力的智能体,但上面说过,还要配置一定的业务流程才能让智能体更适合业务使用。业务流程在Model Art的studio中调试,这个平台可以进行流程改造,让台风模型输出相似路径后可以直接嵌入各种场景中使用,Model Art studio就像一个工作间,可以在这里创造和定制模型。
-
大模型及生成式AI对应用和软件产业带来了哪些影响?从企业场景及应用开发视角,面向AI原生应用需要什么样的工具及平台能力?企业要如何选好、用好、管好大模型,使能AI原生应用快速创新?本期直播,华为云aPaaS DTSE技术布道师苏秦将基于华为云自身实践出发,深入浅出地介绍华为云AI原生应用引擎,通过分钟级智能生成Agent应用的方式帮助企业完成从传统应用到智能应用的竞争力转型,使能千行万业智能应用创新。直播链接:cid:link_0Q:面对行业竞争加剧,华为云AI原生应用引擎如何不断优化算法以提升智能应用的精准度和效率,从而为企业在市场中赢得更大优势?A:持续发展繁荣生态,接入业界主流大模型;通过项目经验和伙伴协同,沉淀行业资产;聚焦业界主流趋势和技术发展,落地多种编排方式和编排能力;通过模型能力+RAG工程能力+编排能力+知识循环机制+资产沉淀形成合力,共同助力AI应用效果最佳。Q:对于那些对0代码构建AIAgent感兴趣的开发者,您有什么建议或资源推荐?A:基于大模型的0代码开发更适用于业务人员或者初级开发者,理解工具、技能、插件、知识库、RAG能力、工作流、记忆等概念,关键是懂得业务流程和Know-How,通过技术与业务的组合,就可以实现最佳匹配业务场景的各类AI应用。Q:华为云AI原生应用平台如何降低开发难度?A:AI原生应用引擎平台提供开箱即用的工具、可自由灵活编排的工作流、知识库及其开放的、可编排的RAG工程能力、知识检索流、记忆能力等众多可视化,可编排的能力 ,让AI业务人员也可以通过这些可视化的工具能力,快速完成场景应用的编排开发。Q:在设计AI原生应用引擎时,您是如何考虑系统的可扩展性和灵活性的?A:整个系统是基于模块化构建的,每个模块功能相对解耦及可扩展,可独立进行技术演进和生态发展,各个模块通过业务流串联在一起,客户可方便快速地完成业务场景应用的构建。如果业务流上某一个节点要更新,也可以单独更新。Q:随着企业数字化转型的深入,对于那些拥有众多历史悠久且复杂的遗留业务系统的大型企业,华为云AI原生应用引擎在整合和优化这些系统,实现与新的智能应用的无缝对接和协同工作方面,具备哪些独特的技术能力和解决方案?A:AI原生应用引擎提供了API-Hub,不仅托管了数万+行业API,也支持企业托管私有场景API,这些API可以无缝集成到AI Agent应用中,实现存量应用于新智能应用的协同;API-Hub作为一站式API生命周期管理平台工具,提供了丰富的能力和可靠性。Q:从实践角度看,0代码智能构建AIAgent的可扩展性如何?是否可以方便地根据业务的发展进行扩展和升级?A:0代码构建AI Agent,仍然支持进行更复杂的功能业务的可视化编排,以集成更多的周边工具以及匹配复杂的业务场景。Q:0代码构建AIAgent的技术原理是什么?A:通过平台预置的大模型,根据用户的一句话输入进行Agent定义扩写,并自动为agent选择平台中合适的工具、知识库等,自动生成可用的Agent应用。当然,也支持通过LUI界面实现复杂的业务定义,而无需任何编码。Q:在当前复杂多变的国际商业环境中,华为云AI原生应用引擎如何协助跨国企业应对不同国家和地区在数据主权、隐私法规、行业标准等方面的巨大差异,以确保其在全球范围内的应用开发和部署能够顺利进行并且完全合规?A:可以参考华为云官网相关说明: https://www.huaweicloud.com/about/global-infrastructure.html AI原生应用引擎遵照华为云的全球布局及相关合规性遵从规定。Q:华为云AI原生应用引擎如何处理大规模数据和复杂计算任务?A:简单来说,AI原生应用引擎默认集成了华为云PaaS层的大数据服务以及函数计算等服务,可以处理非常大规模的数据及计算任务;这些底层组件对开发者是透明的、免维护的。Q:华为云AI原生应用引擎支持哪些类型的AI应用开发?A:政务、办公、金融、交通、煤矿、电商、医疗、教育等众多行业的复杂场景AI应用皆可支持。Q:华为云AI原生应用引擎如何帮助企业在数字化转型过程中实现业务流程的优化和再造?A:所有数据数字化,所有业务AI化,根据企业业务的具体场景,提供合理的解决方案,通过AI赋能人,AI赋能事,可以做到企业资产沉淀规划范化,业务效率提升,达到降本增效。Q:华为云AI原生应用引擎在安全性和隐私保护方面有哪些措施?A:针对数据安全、模型安全、内容风控、应用安全,建立四道防线,通过数据合规治理、模型安全对齐、安全评测、大模型安全护栏等AI安全可信治理策略,保障客户隐私数据安全。Q:平台是否支持与现有的企业系统或第三方服务集成?A:支持。资产中心可以上架所有三方的服务和资产,包含但不限于AI应用、数据集、工具、大模型、提示词模版等。Q:华为云AI原生应用引擎在实际业务场景中的应用案例有哪些?A:知识问答、电话咨询、病情筛查、数据查询、售后咨询、技术支持等。Q:在保障应用的高可用性和容错性方面,华为云AI原生应用引擎采用了哪些创新的技术手段?A:简单说分两层,一,AI原生应用引擎所依赖的华为云服务,都采用了多AZ、或者多Region的高可靠、高可用部署架构;二,AI原生应用引擎自身的微服务采用了双AZ的高可用架构;因此,无论是平台自身,还是托管的AI Agent应用,都可以获得高可用及高可靠的能力。Q:华为云AI原生应用引擎如何促进企业内部不同团队(如开发、运维、业务)之间的高效协作?A:通过不同团队、不同项目之间的架构设计和权限管理,可实现关键资产隔离,公共资产共享,所有业务流程数字化和智能化,高效协同。Q:华为云AI原生应用引擎在哪些具体的行业和业务场景中得到了实践应用?A:政务、办公、金融、交通、煤矿、电商、医疗、教育等众多行业中落地了知识问答、电话咨询、病情筛查、数据查询、售后咨询、技术支持等场景。Q:对于没有编程背景的用户,如何快速上手使用这个平台?A:不需要具备传统编程技能,但需要了解和掌握面向AI开发的工具、技能、插件、知识库、RAG能力、工作流、记忆等编排能力的使用,关键是了解业务场景的业务流程,就可以编排出契合实际业务场景的复杂AI应用。Q:华为云AI原生应用引擎的技术架构是怎样的?它如何支持0代码开发?A:通过平台预置的大模型,根据用户的一句话输入进行Agent定义扩写,并自动为agent选择平台中合适的工具、知识库等,自动生成可用的Agent应用。当然,也支持通过LUI界面实现复杂的业务定义,而无需任何编码。Q:平台计划引入哪些新的功能或技术来进一步提升用户体验?A:优化界面的使用体验,提升RAG工程能力,增加模型评测能力,增加Agent编排的技能。Q:对于具有高度定制化需求的企业,华为云AI原生应用引擎如何实现个性化配置与规模化推广的平衡?A:针对不同类型的客户,制定几套合理平衡的解决方案,满足客户需求,达成项目交付。Q:在数据隐私法规日益严格的背景下,华为云AI原生应用引擎如何协助企业进行合规性审计和风险评估?A:AI原生应用引擎目前集成了华为云终端安全风控能力,能够对Agent输出内容进行安全过滤。后续规划“3+1”AI应用安全体系,确保合规准入、安全生产Q:在AIAgent的开发过程中,有哪些常见的性能瓶颈和解决方案?A:AI Agent性能瓶颈分为两层,其中大模型侧的回答是关键因素,也是各大模型厂商的重要命题。作为AI Agent平台,AI原生应用引擎提供SLA级保障,通过Agent的独占资源部署,保证在大模型响应外能够做到随时扩缩容以保证性能。Q:现在AI大多数文字方面的,有没有图片识别方面的AI。比如做智能货柜。能否通过华为的Aiagent通过摄像头来判断用户的价格A:AI原生应用引擎目前已经接入了少量的多模态大模型,后续会接入更多主流多模态大模型,应用形态上也会考虑图片理解等多模态场景Q:现在AIagent,除了问答,生成图片和声音。还有没有什么能完全代替人工完成某一项工作的具体应用,而不是单纯的辅助人工的工具。A:目前和慧通差旅有做订酒店的Agent,能够自动根据差旅单帮助预定酒店,但过程中还是需要人的参与,譬如最终的确认阶段。Q:开发者如何扩展或定制AIAgent的功能以满足特定需求?A:开发者可以基于AI原生应用引擎提供的API和SDK,灵活定制。Q:在模型训练过程中,如何利用华为云AI原生应用引擎的分布式架构提高效率?A:AI原生应用引擎不涉及模型训练,而是提供模型之上的AI Agent应用的开发。Q:华为云AI原生应用引擎如何确保用户数据的安全性和隐私保护?A:AI原生应用引擎目前集成了华为云终端安全风控能力,能够对Agent输出内容进行安全过滤。后续规划“3+1”AI应用安全体系,确保合规准入、安全生产。Q:对于行业新进入者,华为云AI原生应用引擎能提供怎样独特的支持来帮助他们快速适应市场?A:首先提供极低门槛的Agent构建能力,其次提供开箱即用的问答问数服务,配合专业服务直接帮客户搞定场景。Q:如何与合作伙伴共同推动AI原生应用的创新和发展,实现互利共赢?A:不断扩展模型伙伴、Agent伙伴、数据伙伴及ISV伙伴,丰富生态的同时,制定完善的商业机制,保证伙伴能够获利。Q:华为云AI原生应用引擎如何帮助企业提升用户体验和客户满意度?A:通过赋能企业创建不同业务场景的助手,提升企业客户的体验和满意度Q:华为在AI领域的未来发展规划都有什么,特别是在0代码智能构建方面?对于想要进入AI的企业和个人,华为能提供哪些服务帮助我们更好的使用AI,有哪些建议和指导?A:AI原生应用引擎最主要的目标就是帮助企业和个人实现0代码智能构建Agent。对于想要进入AI的企业和个人,AI原生应用引擎同样提供多样的专业服务,手把手教学。Q:对于数据量巨大且实时性要求高的应用,华为云AI原生应用引擎的优势在哪里?A:AI原生应用引擎底层使用华为云数据库,天然具备巨大数据量的处理能力。同时AI原生应用引擎提供Agent的独享资源部署,提升Agent性能。Q:华为云AI原生应用引擎如何确保在不同网络环境下的稳定运行和高效性能?A:AI原生应用引擎当前支持华为公有云、华为云Stack等运行环境,未来也将支持云、边、端的协同分布式部署架构。Q:华为AI原生应用引擎有哪些开放平台?如何选择合适的大模型?A:支持API、SDK开放。AI原生应用引擎支持大模型调测,可以直观体验大模型的不同效果。目前正在集成华为内部使用的模型评测系统,帮助客户选好大模型。Q:华为云AI原生应用引擎在未来发展中面临的挑战和机遇都有哪些?如何利用挑战和机遇更好的发挥华为云的优势?A:任何产品在发展的过程中都会面临各种的挑战,且不同阶段对应的关键挑战也不一样,产品的迭代也是不断面临挑战和应对挑战的过程,当然面临挑战同时也伴随着机遇,当前AI原生应用引擎主要挑战是协同伙伴或客户找到AI价值场景并通过产品实现行业的ChatGPT时刻。华为云经过多年的行业耕耘,积累了大量的行业伙伴和客户,有丰富的行业Know-how,在当前AI这个浪潮之下,企业都将面临的一次重大的转型与升级的机遇,我们将持续协同伙伴和客户,通过AI重塑行业应用。Q:华为云AI原生应用引擎如何支持企业进行敏捷开发和快速迭代?A:AI原生引用引擎在产品设计上一直秉持做产品把困难留个自己,把方便留给客户的理念;产品定位就是AI应用的一站式开发平台,比如:模型的选择切换无感,开放的工具集成,便捷的工作流编排等等特性,未来还将持续构建Agent for Agents能力,更敏捷,更快速支持业务的应用创新与迭代。Q:华为云AI原生应用引擎如何与其他云服务提供商的产品进行互操作和集成?A:华为云AI原生应用引擎引擎产品架构就设计是开放的,如模型的统一汇聚与开放,工具接入与开放等,我们与其他云服务厂商的集成合作也是开放的态度,只要有利于业务,有利于客户都可以集成与开放。Q:华为AI原生应用引擎中Loss曲线有什么作用?A:loss曲线是评估模型训练效果Q:华为AI原生应用引擎中ClickHouse有什么功能?A:主要是大宽表多维聚合分析功能,实现亚秒级响应。Q:企业应用大模型及生成式AI时,需要注意哪些安全问题?A:安全是一个基础的必备能力,当前主要会面临内容安全(含提示词攻击),数据安全,模型安全,应用安全等问题。Q:推理和训练的话,数据量过大,有什么好的解决办法?比如speech这样的,多卡910b有环境吗?A:业界根据业务的实际情况有不同的解决办法,有的大力出奇迹,算力换时间,有的数据先转化为有效知识等,910b环境,可以与华为的昇腾云团队接洽。Q:华为云AI原生应用引擎在促进企业间合作与生态建设方面发挥了怎样的作用?A:华为云AI原生应用引擎一个关键使命就是生态建设,从应用视角出发,使能企业客户选好,用好和管好大模型,聚合生态,赋能企业,可以说起到了一个关键的桥梁作用。Q:华为云AI原生应用引擎在处理大规模数据时的性能如何,如何保证高可靠性?A:华为云AI原生应用引擎采用华为云大数据底座,具备多个行业海量数据的处理实践,在金融,政府等多个行业都有成功应用。Q:在架构上是如何设计来确保不同模型之间的兼容性、高效调用以及资源分配的合理性?A:基于微服务、Serverless等框架实现业务隔离,资源按需弹性伸缩等能力Q:华为AI原生应用引擎能提供哪些模型管理服务?A:AI原生应用引擎会汇聚业界主流的模型,年底会实现100+模型的汇聚,同时会提供部分模型的托管。Q:大模型如何解决数据量有限带来的局限性呢A:不可否认,数据是大模型应用的最关键的输入,所谓NO DATA,NO AI。如果有局限性需要考虑如何小步试跑,把知识飞轮构建起来。Q:在使能千行万业智能应用创新方面,华为云AI原生应用引擎如何解决不同行业之间的差异和特殊需求?A:我们一般把需求区分为产品需求和解决方案需求,产品需求一般是通用共性可复制的需求,解决方案需求一般跟贴近行业场景;不同的需求不同的处理策略,主要是做好开放性,产品客户适配各种特殊场景。Q:华为AppStage与AI原生应用引擎平台有什么关系?A:AppStage是云原生应用的开发平台,AI应用也是应用的一种形态,可以理解AI原生应用引擎是AppStage的一个产品模板。Q:华为云AI原生应用引擎由哪些主要的组件或模块构成?这些组件之间是如何相互协作以实现整个引擎的功能的?A:AI原生应用引擎主要包含5大功能模板,包括模型中心,知识中心,编排中心,资产中心和安全中心,五大模板基本涵盖了AI应用开发的全生命周期管理。Q:大模型相关的训练需要哪些步骤才可以完成?A:业界一般要区分基础模型,行业模型和领域模型三种场景的训练,对应的节奏和步骤都有不同。Q:华为云AI原生应用引擎在助力企业转型过程中,如何平衡创新速度与应用稳定性之间的关系?A:速度与稳定性一直是一个重要的权衡点,我们一般常用的处理方法是区分创新态与运行态,创新态速度优先,运行态稳定优先。Q:请问老师哪些类型的应用亟需AI重构?或者说我们的机会在哪类应用?A:未来所有的AI应用都值得用AI重构一遍,我们也总结归纳了选择价值应用的方法,从商业价值,场景成熟,可持续运营角度来分析,如果你有场景可以找我们的产品一起评估一下;当前普遍认为开发者在2B的场景应用机会很多。想要了解 0代码智能构建AI Agent 更多相关知识,欢迎观看DTSE Tech Talk 系列技术直播
-
中奖结果公示感谢各位小伙伴参与本次活动,欢迎关注华为云开发者社区技术直播更多活动~本次活动获奖名单如下(部分抽奖未填问卷用户无账号名):账号名 奖项名称 奖品名称 备注持久观看有奖华为云云宝手办-盲盒款持久观看有奖华为云云宝手办-盲盒款
上滑加载中