-
当采集到数据时,数据集并不一定符合实际开发需要,往往还需要一系列的数据处理工作(如校验、转换、清洗、选择、增强等)。数据处理主要是为了让开发者在模型训练之前得到质量更高、更符合开发需要的数据集,从而提高模型的精度或降低训练的成本。数据校验。数据校验指的是对数据的可用性进行判断和验证的过程。在数据采集过程中,有部分数据存在格式等问题无法被进一步处理。以图像识别为例,用户经常会从互联网中搜索一些图像用于训练,但是其质量难以保证,有可能图像的名称、后缀名都不满足训练算法的要求。也可能图像有部分损坏,导致无法解码、无法被算法处理,另外,人工采集的图像可能有重复,需要被去除。因此,数据校验非常重要,可以帮助人工智能应用开发者提前发现数据问题,有效防止由于数据的基本问题造成的算法精度下降或训练失败的现象发生。另外,对于需要标注的数据,标注的格式可能有多种多样,即便是同样的标注格式,也难免有些字段出现错误。训练算法所支持的标注格式通常是有限的,而且容错性较差。因此,标注数据也需要被校验,从而提前发现标注问题。ModelArts数据处理模块提供数据校验功能。例如,对于图像数据,判断图像标注格式是否符合要求、图像分辨率大小是否满足算法设定的阈值、图像通道数是否满足算法要求、图像解码是否正常、图像后缀名是否满足规范等。建议人工智能应用开发者将数据及其标注进行充分校验后,将问题提前暴露,解决好基本的数据问题之后,再进入后续步骤。
-
对于己经采集好的数据,如果要进行大规模分析和建模,则需要将数据接入应用开发平台上。数据的接入又分为批量接入和实时流接入。在批量接入方面,华为CDM(Cloud Data Migration,云数据迁移)服务可以一键式将数据在不同的存储之间做平滑迁移。CDM支持的存储形式有数据仓库、Hadoop集群、对象存储、文件系统、关系型数据库、非关系型数据库、搜索服务、消息系统等。对于数据库中己有数据,CDM支持批量迁移表、文件,还支持同构数据库和异构数据库之间的整库迁移。在迁移能力方面,CDM支持增量数据迁移、事务模式迁移、字段迁移。在实时接入方面,华为云提供了DIS(Data Ingestion Service,数据接入服务)可以一键式将数据流式迁移到云上。另外,华为云DLI(Data Lake Insight,数据湖探索)服务可以对接不同的数据源,如RDS(关系型数据库服务)、DWS(数据仓库服务)、DDS(文档数据库服务)等,仅需安装一个DLIAgent插件并进行相关配置,即可将数据自动接入云上。数据采集和接入后需要统一存储,并通过版本管理工具进行管理。根据存储的物理位置不同,数据存储可分为.本地存储和云存储。OBS(对象存储服务),具备标准RESTful API,可存储任意数量和形式的非结构化数据。OBS通过可信云认证,支持服务端加密、VPC(虚拟私有云)网络隔离、日志审计、细粒度权限控制,保障数据安全可信。
-
数据采集的内容涉及图像、视频、音频、结构化表格数据及环境信息等。数据采集是数据管理的起始环节,一般而言,数据越丰富,算法所达到的效果就越好。尤其对于深度学习而言,数据量越大,模型表现一般越好。数据采集方法多种多样,通常需要根据实际场景来选择不同的采集方式。数据采集常见的几种方式有:终端设备采集,如摄像头等,设备可以很方便地采集日常生活中的真实图像和视频;网络数据采集,在合法合规的情况下,按照一定的规则,自动地抓取允许范围内的数据,基于搜索的数据采集,如基于图像搜索方法,从已有的图像数据仓库中搜索出类似的图像,作为当前项目的数据来源当面向企业级业务时,数据采集就更加复杂,主要体现在以下几个方面。数据来源具有分散性。对于企业级生产系统,通常有多方面的数据会对最终的人工智能决策产生影响。如对于销量预测而言,有多种类型的数据源,包括生产系统的数据、销售部门的数据、物流方面的数据、外部环境的数据、财务部门的数据等,我们需要对这些数据综合起来分析,才能对后续销量做出更准确的预测。此外,每一种类型的数据,也有多种来源。如对于某制造工厂,不同生产线上的多种传感器都会不停地采集数据,需要专用的软硬件系统进行数据采集。数据存储具有多样性。数据可来自数据库、本地磁盘、存储服务器等,甚至可来自第三方存储系统或云存储服务。数据天然具有多模态属性。在实际问题中,图像、语音、文本、表格等多种模态的数据源会同时存在。因此,在成本允许且项目需要的前提下,有必要对这些模态的数据进行采集和接入,以便于给数据分析和模型训练提供更丰富的“原材料”。数据采集具有较强的业务相关性。在实际业务场景中,经常会有很多矛盾出现。例如,有些数据是应用开发者最想采集的,但是出于安全、成本等因素的考虑,业务方未必可以提供这些数据;而有些数据对模型没有太大作用,却比较容易采集。有些时候,甚至有必要额外定制一套数据采集方案和设备。因此,数据采集很大程度上会受到业务的影响。由于数据的分散性、存储多样性、多模态属性、业务相关性,数据采集工作并不容易。很重要的一点是,应用开发者需要理解业务和具体场景,结合实际情况,才能够对采集哪些数据、怎么采集数据等问题做出更好的判断。面向企业系统,通常可以使用的数据采集方式也非常多,包括企业提供的采集工具、企业级消息系统等。当然,对于复杂行业,也可以将数据采集工作委托给第三方公司。最后说一句,数据相关的事情,都是比较苦、和枯燥的,有钱完全可以委托给第三方。
-
对于开发者而言,数据采集是开发人工智能应用时面临的首要问题。数据准备阶段包含从原始数据采集到形成最终数据集的所有操作,在大多数人工智能应用开发的过程中,数据准备不仅重要,而且工作量巨大。据调查,在很多机器学习项目的开发中,数据相关的工作量占据了80%。因此,完备的数据采集、数据处理、数据标注、数据分析和优化对系统尤为重要。ModelArts在这方面提供了十分完备的数据管理功能。
-
1. AI开发平台ModelArts新功能2月份过春节,没有发布新功能。2. 人工智能相关直播合集昇思MindSpore技术公开课·大模型专题(第二期) 第九讲 RWKV1-4cid:link_0直播老师感冒了,坚持讲了一个多小时,不容易。课程带来国人原创的RWKV1-4的解析,一同见证RNN的兴衰发展与Transformers的迅猛崛起,畅聊Transformers的哪些优劣势有待我们发掘,看新RNN——RWKV能否“击败”Transformer再续往日“辉煌”。游历大模型发展历程,开阔大模型技术视野。技术流值得一看,听直播老师娓娓道来,RNN的兴衰发展历史。 一键部署,5秒开服,时延更低,网络更稳!玩帕鲁,就用华为云!cid:link_1可能有人会问,这个直播和人工智能有关吗?其实是有关的,因为Modelarts也是使用了华为云自己的容器服务来对外的。而这个直播里,也是提供了容器服务来快速部署。 《幻兽帕鲁》是近期爆火的一款开放世界生存建造游戏,在游戏中,玩家可以在广阔的世界中收集神奇的生物“帕鲁”,派他们进行战斗、建造、做农活,工业生产等。与其他开放世界游戏不同,要想实现多人联机需要自己搭建服务器,对于刚刚入坑的小伙伴可能是摸不着头脑,本次直播为大家详细介绍服务器的搭建过程,学会一键就能部署的方法,快速畅玩。驯兽师看过来,很不错。后面直播老师还讨论了PC玩这个游戏的配置,游戏爱好者们不要错过。昇思MindSpore技术公开课·大模型专题(第二期) 第十讲——MoEcid:link_2Mixtral模型把MoE(mixture of experts) 结构的稀疏大模型再次带到主流大模型的视野当中,那么MoE结构是什么样的?相较于传统Transformer稠密结构有哪些优势?本节公开课带领大家全面学习MoE的相关内容,并使用MindSpore进行演示。大模型技术爱好者看过来。下一代积木式智能组装编排,集成开发效率10倍提升cid:link_3想了解最新的低代码集成开发趋势和新一代技术吗?本期直播解读iPaaS领域最新技术动向,介绍华为云应用与数据集成平台ROMA Connect,理论+实战揭秘新一代组装式融合集成平台架构和核心技术。ROMA Connect融入低代码开发和组装式交付理念和最新的AI技术,预置丰富的连接器和模板,低门槛起步托拉拽编排,基于自然语言生成集成流,集成开发效率10倍提升,加速企业流程数字化和应用创新。ROMA平台与人工智能的关系,就是它融入了最新的AI技术。并且这个平台对于制造业的数字化、数智化发展,是有很好的助推作业。感兴趣的看过来。以下多图:
-
对这个挑战的应对是:新协同模式。新协同模式这一设计理念是针对部署态的挑战提出的。对于部署态的挑战有以下几点。(1)端、边、云等不同的应用场景有不同的需求、目标与约束。例如,手机端可能更希望模型轻量化,而云端可能更要求较高的精度。(2)不同的硬件的精度和速度也不相同,如图所示。(3)硬件架构多样性导致全场景下部署差异性和性能不确定性,训练推理分离导致模型孤立。新协同模式下,可以全场景按需协同,得到更好的资源效率和隐私保护,安全可信,实现一次开发,多次部署。模型可大可小、可以灵活部署,带来一致的开发休验。MindSpore关于新协同模式有以下3项关键技术。(1)统一模型的IR应对不同语言场景上的差异,自定义的数据结构可以全部兼容,带来一致性的部署休验。(2)框架底层的硬件同样是华为所研发的,软硬协同的图优化技术可以屏蔽场景差异。(3)端云协同联邦元学习策略打破了端云界限,可以实现多设备协同模型的实时更新。这3项关键技术最终的效果是:在统一架构下,全场景模型部署性能一致,个性化模型精度显著提升,如图所示。
-
对这个挑战的应对就是:新执行模式。新执行模式这一设计理念是针对运行态的挑战提出的。对于运行态的挑战有以下几点。(1)AI计算的复杂性和算力的多样性:CPU核、矩阵计算单元(Cube Unit)、向量计算单元(vector Unit);标量、向量、张量的运算,混合精度计算,稠密矩阵、稀疏矩阵计算,这些不同类型的算力。(2)多卡运行的情况下,随着节点增加,性能难以线性增加,并行控制开销大。新执行模式采用Ascend Native的执行引擎:提出On-Device执行,如图采用整图卸载执行,深度图优化,充分发挥异腾AI处理器的大算力。On-Device执行的技术核心有如下两个。(1)整图下沉执行,充分发挥昇腾AI处理器的大算力。该技术针对超强芯片算力下模型执行面对的挑战:内存墙问题、交互开销大、数据供给难。部分在主机上执行,部分在终端设备上执行,交互开销甚至远大于执行开销,导致加速器占用率低。MindSpore通过面向芯片的深度图优化技术,同步等待少,最大化“数据-计算-通信"的并行度,将数据+计算整图下沉到昇腾AI处理器,提供一个最好的、最优的效果。最终效果相比主机侧的图调度方式,训练性能提升10倍。(2)基于数据驱动的大规模分布式梯度聚合。该技术针对超强芯片算力下分布式梯度聚合的挑战:ResNet50单迭代20ms时间下中心控制的同步开销和频繁同步的通信开销。传统方法需要3次同步完成,数据驱动方法自主AllReduce,无控制开销。MindSpore通过梯度数据驱动的自适应图切分优化,实现去中心化的自主算法,梯度聚合步调一致,计算与通信充分流水,如图。图上也有计算机视觉中的一个例子:采用神经网络ResNet50 v1.5,在ImageNet 2012数据集上训练,按各自最佳的批大小(Batch Size)进行训练,可以看到采用MindSpore框架在Ascend 910上的速度远高于其他框架+其他主流的训练卡。
-
如今的深度学习模型往往因为体量巨大而必须做并行化,当前采用手动模型并行,需要设计模型切分,感知集群拓扑,开发难度高;手动并行难以保证高性能,难以调优。MindSpore能自动并行按照串行写的代码,自动实现分布式并行训练,并且保持高性能。一般而言,并行训练可以分为模型并行与数据并行。数据并行比较好理解,每个样本可以独立地完成前向传播,最后汇总传播结果。相比之下,模型并行就比较复杂了,需要我们以“并行思维“这样的逻辑手动编写所有需要并行的部分。MindSpore提供了一项关键创新技术:自动整图切分,如图按算子输入/输出数据维度切分整图,即把图中每个算子都切分到集群而完成并行运算。该技术融合了数据并行与模型并行。通过集群拓扑感知调度感知集群拓扑,自动调度子图执行,实现通信开销最小。MindSpore自动并行的目标是构建一种融合了数据并行、模型并行和混合并行的训练方式。它会自动选择一种代价最小的模型切分方式,实现自动分布式并行训练。MindSpore切分算子细粒度方式非常复杂,但作为开发者,并不需要关心底层实现,只要顶层API计算高效就行了。总体来说,新编程范式不但实现了AI算法即代码,降低了AI开发门槛,而且可以实现高效的开发与调试,例如,可以高效地完成自动微分,实现一行代码自动并行、一行代码完成调试与运行切换等。举个例子。一个开发者实现自然语言处理领域的经典算法Transformer,采用MindSpore框架实现,在开发调试的过程中,可以做到动静结合,调试过程透明简易,从最终的结构上来看,MindSpore框架上代码量有2000行,比TensorFlow的2500行要少20%左右,但是在效率上有50%以上的提升。
-
自动微分是深度学习框架的灵魂。一般而言,自动微分是指一种自动求某个函数的导数的方法。在机器学习中,这些导数可以更新权重。在更广泛的自然科学中,这些导数也能用于各种后续计算。自动微分的发展历程如图在自动微分的发展历程中,有以下3种自动微分技术。基于静态计算图的转换:将网络在编译时转换为静态计算图,然后将链式求导规则应用于计算图,并实现自动微分,如TensorFlow,能利用静态编译技术对网络性能进行优化,然而搭建网络或调试非常复杂。基于动态计算图的转换:以运算符重载的方式记录网络在前向执行时的操作轨迹,然后将链式求导规则应用于动态生成的计算图,并实现自动微分,如PyTorch。该技术使用非常便捷,但性能上难以做到极致的优化。基于源码的转换:该技术以函数式编程框架为基础,以即时(Just In Time,JIT)编译的方式在中间表达(编译过程中程序的表达形式)上做自动微分变换,支持复杂控制流场景、高阶函数和闭包。MindSpore的自动微分技术即基于源码的转换。它又支持对自动控制流的自动微分,所以它与PyTorch一样,构建模型非常方便。同时MindSpore能对神经网络做静态编译优化,因此其性能也非常优秀。自动微分技术的比较如表所示,性能及可编程性比较如图所示。简单来说,MindSpore的自动微分技术有以下优点。可编程性方面:采用Python通用语言,基于IR原语可微分(MindSpore IR中每个原语操作可以对应为基础代数中的基础函数)。性能方面:编泽优化,反向算子自动调优。调试方面:有丰富的可视化接口,支持动态执行。
-
先说对AI开发态的挑战的回应:新编程范式。新编程范式这一设计理念是针对开发态的挑战提出的。对于开发态的挑战有以下几点。(1)技能要求高。要求开发人员具有AI、计算机系统、软件等相关理论知识和较强的数学功底,因此开发门槛很高。(2)黑盒调优难。AI算法的黑盒性、不可解释性导致调优调参难度比较大。(3)并行规划难。在技术趋势的影响下,数据量越来越大,模型也越来越大,并行计算不可避免,并行规划严重依赖技术人员的经验,要求技术人员既要懂数据、模型,也要懂分布式系统架构等。新编程范式的AI算法即代码,降低了AI的开发门槛,基于数学原生表达的AI编程新范式,让算法专家聚焦AI创新和探索,如图
-
基于企业内部独有的知识库,进行智能的客服问答,毫无疑问是ChatGPT出圈以后,所有公司想要融入ChatGPT技术时的第一反应。可惜ChatGPT实际上是一个基于大语模型实现的、包括很多其他功能的、完整的聊天产品,并没有直接的接口让用户导入完整的知识库。此外,OpenAI提供的GPT3接口服务,也必须一直联网才能使用。对部分传统的toB服务产品依然不太友好。有趣的是,业界似乎也都不推荐使用GPT3的fine-tuning方式,甚至据说fine-tuning方式加入新训练数据后反而会导致通用文本的生成能力下降。所以,针对这种情况,DocsGPT开源项目采用GPT3接口,配合faiss向量搜索引擎和langchain模型库,快速实现一个针对技术文档的智能客服,可以作为这类产品的基础原型,可供参照。
-
LangChain 的核心思想是,你可以把不同的组件"链接"起来,形成一个链。每个组件都有自己的功能,比如调用一个LLM、处理文本、存储数据等。通过链接不同的组件,可以实现更复杂和更灵活的功能。在目前的LLM社区,LangChain己经是流行的开发框架,多数应用都使用它作为开发基础。举个例子。利用LangCham实现一个简单的问答机器人,这个机器人可以根据我们准备的语料回答问题。在动手之前,我们要先了解一下语料训练用到的一个核心技术:Embeddings。这种技术可以将原始数据表示为向量空间中的点,这样相似的数据点就可以在向量空间中靠近,而不相似的点则远离,从而更容易地进行计算和比较,因此Embeddings向量通常具有许多有用的功能,如可以使用它们进行词汇语义相似性计算、词性分类、情感分析等。举例中的问答机器人,就会用到向量相关性计算,这是Embeddings技术的一种经典应用场景。除了LangChain,还需要中文分词工具、向量数据库。可以分别使用jieba, chromadb。进行分词之后,在对数据进行切块处理,将文本数据按照一定的大小进行切割,便于后续处理。向量化处理是问答机器人的核心,将切块处理后的数据用OpenAI的Embeddings方法进行向量化处理。有了向量数据,就可以创建问答Chain了。这个Chain是一个由多个模型和处理步骤组成的自然语言处理管道,它可以对用户输入的问题进行解析和分析,然后生成相应的答案。在创建问答Chain时,我们可以根据具体的需求选择合适的语言训练模型。如,OpenAI的gpt-3.5-turbo模型是一种基于Transformer结构的大型预训练语模型,具有非常强大的自然语生成和理解能力,可以用于各种自然语言处理任务,如文本生成、翻译、对话系统等。通过加载这个模型,我们可以使问答系统更加智能和灵活,为用户提供更加准确和全面的答案。接下来就可以向机器人提问了。需要注意的是,如果我们把每次聊天的答案记录下来,在提问的时候传回到Chain方法中,那机器人就会结合上下文进行推断;如果我们每次传空,则机器人只会根据当前问题进行回答。可以通过引入更加先进的自然语言处理技术,来进一步提高问答机器人的性能和效率,如使用预训练模型进行语义匹配、采用知识图谱进行答案生成等。
-
二月问题总结如下:【1】在ECS windows部署Llama2 尝试使用MLC运行,但出现以下报错,求助cid:link_0【2】atlas300P3 在容器中访问rtsp流地址报错No route to host cid:link_1【3】ECS上面,我看机器学习推荐的只有N卡,想问下华为自己的显卡在ModelArts那边不是能用,为啥还没上ECS cid:link_2【4】昇腾310(Ascend 310)能不能用来搭建stable diffusecid:link_3【5】 acl init failed, errorCode = 100039cid:link_4
-
你一定用过Transformers库,下面是它的一些介绍,相信可以让你对它有更多的了解。Hugging Face是一家在自然语言处理和人工智能领域的公司,以开发开源的软件库和工其为主,其中最受欢迎的是Transformers库,广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。在NLP领域,Hugging Face因其提供了基于Transformer的模型而闻名。为了方便用户使用,Hugging Face还提供了以下几个项目:Transformers Transformers库是Hugging Face的核心,我们学习Hugging Face其实就是为了学习怎么使用这个库。这个库提供了API和很多工具及方法,方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务,例如自然语言处理、计算机视觉、音频、多模态等。Datasets 使用该框架,只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法,可帮助我们快速地准备数据,以用于训练机器学习模型。Space 在线体验很多有趣的应用,比如根据文字生成图片,根据我们的照片制作合成音视频等。如何使用Transformers进行推理呢?首先我们先要安装Transformers:pip insta11 transformers如果任务比较简单,Transformers的pipline()函数本身就提供了很丰富的功能,比如下面的代码,就进行了一个简单的情感分析:from transformers import pipeline classifier = pipeline("text-classification") classifier("This book is awesome.")运行上面的代码,会先下载默认的模型,在加载模型的时候,可能会因为缺少库而报错,我们只需要安装对应的库即可,模型下载好以后就会对我们输入的句子进行情感分析,结果如下:[{'label':'POSITIVE','score':0.9998772144317627}]
-
GPT3.5系列:该系列的模型可以理解并生成自然语言或代码。这其中最强大且最具成本效益的GPT3.5模型是gpt-3.5-turbo,这个模型不但针对聊天进行了优化,也适用于传统的文本补全等任务。除此之外,Davinci系列模型擅长理解复杂的意图,总结、解决各种逻辑问题和动机问题。Curie系列模型擅长回答问题和理解情感总结摘要。Babbage系列可以执行简单的任务,进行语义搜索。而Ada系列通常是最快的模型,可以执行解析文本、地址更正和不需要太多细微差别的某些分类任务等。面对如此多的模型,我们该如何选择呢?我们可以使用GPT比较工具,同时运行不同的模型来比较输出、设置和响应时间等,从而找到最适合的模型。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签