对于开发者而言，数据采集是开发人工智能应用时面临的首要问题。数据准备阶段包含从原始数据采集到形成最终数据集的所有操作，在大多数人工智能应用开发的过程中，数据准备不仅重要，而且工作量巨大。据调查，在很多机器学习项目的开发中，数据相关的工作量占据了80％。因此，完备的数据采集、数据处理、数据标注、数据分析和优化对系统尤为重要。ModelArts在这方面提供了十分完备的数据管理功能。

1. AI开发平台ModelArts新功能2月份过春节，没有发布新功能。2. 人工智能相关直播合集昇思MindSpore技术公开课·大模型专题（第二期） 第九讲 RWKV1-4cid:link_0直播老师感冒了，坚持讲了一个多小时，不容易。课程带来国人原创的RWKV1-4的解析，一同见证RNN的兴衰发展与Transformers的迅猛崛起，畅聊Transformers的哪些优劣势有待我们发掘，看新RNN——RWKV能否“击败”Transformer再续往日“辉煌”。游历大模型发展历程，开阔大模型技术视野。技术流值得一看，听直播老师娓娓道来，RNN的兴衰发展历史。 一键部署，5秒开服，时延更低，网络更稳！玩帕鲁，就用华为云！cid:link_1可能有人会问，这个直播和人工智能有关吗？其实是有关的，因为Modelarts也是使用了华为云自己的容器服务来对外的。而这个直播里，也是提供了容器服务来快速部署。 《幻兽帕鲁》是近期爆火的一款开放世界生存建造游戏，在游戏中，玩家可以在广阔的世界中收集神奇的生物“帕鲁”，派他们进行战斗、建造、做农活，工业生产等。与其他开放世界游戏不同，要想实现多人联机需要自己搭建服务器，对于刚刚入坑的小伙伴可能是摸不着头脑，本次直播为大家详细介绍服务器的搭建过程，学会一键就能部署的方法，快速畅玩。驯兽师看过来，很不错。后面直播老师还讨论了PC玩这个游戏的配置，游戏爱好者们不要错过。昇思MindSpore技术公开课·大模型专题（第二期） 第十讲——MoEcid:link_2Mixtral模型把MoE(mixture of experts) 结构的稀疏大模型再次带到主流大模型的视野当中，那么MoE结构是什么样的？相较于传统Transformer稠密结构有哪些优势？本节公开课带领大家全面学习MoE的相关内容，并使用MindSpore进行演示。大模型技术爱好者看过来。下一代积木式智能组装编排，集成开发效率10倍提升cid:link_3想了解最新的低代码集成开发趋势和新一代技术吗？本期直播解读iPaaS领域最新技术动向，介绍华为云应用与数据集成平台ROMA Connect，理论+实战揭秘新一代组装式融合集成平台架构和核心技术。ROMA Connect融入低代码开发和组装式交付理念和最新的AI技术，预置丰富的连接器和模板，低门槛起步托拉拽编排，基于自然语言生成集成流，集成开发效率10倍提升，加速企业流程数字化和应用创新。ROMA平台与人工智能的关系，就是它融入了最新的AI技术。并且这个平台对于制造业的数字化、数智化发展，是有很好的助推作业。感兴趣的看过来。以下多图：

对这个挑战的应对是：新协同模式。新协同模式这一设计理念是针对部署态的挑战提出的。对于部署态的挑战有以下几点。（1）端、边、云等不同的应用场景有不同的需求、目标与约束。例如，手机端可能更希望模型轻量化，而云端可能更要求较高的精度。（2）不同的硬件的精度和速度也不相同，如图所示。（3）硬件架构多样性导致全场景下部署差异性和性能不确定性，训练推理分离导致模型孤立。新协同模式下，可以全场景按需协同，得到更好的资源效率和隐私保护，安全可信，实现一次开发，多次部署。模型可大可小、可以灵活部署，带来一致的开发休验。MindSpore关于新协同模式有以下3项关键技术。（1）统一模型的IR应对不同语言场景上的差异，自定义的数据结构可以全部兼容，带来一致性的部署休验。（2）框架底层的硬件同样是华为所研发的，软硬协同的图优化技术可以屏蔽场景差异。（3）端云协同联邦元学习策略打破了端云界限，可以实现多设备协同模型的实时更新。这3项关键技术最终的效果是：在统一架构下，全场景模型部署性能一致，个性化模型精度显著提升，如图所示。

对这个挑战的应对就是：新执行模式。新执行模式这一设计理念是针对运行态的挑战提出的。对于运行态的挑战有以下几点。（1）AI计算的复杂性和算力的多样性：CPU核、矩阵计算单元（Cube Unit）、向量计算单元（vector Unit）；标量、向量、张量的运算，混合精度计算，稠密矩阵、稀疏矩阵计算，这些不同类型的算力。（2）多卡运行的情况下，随着节点增加，性能难以线性增加，并行控制开销大。新执行模式采用Ascend Native的执行引擎：提出On-Device执行，如图采用整图卸载执行，深度图优化，充分发挥异腾AI处理器的大算力。On-Device执行的技术核心有如下两个。（1）整图下沉执行，充分发挥昇腾AI处理器的大算力。该技术针对超强芯片算力下模型执行面对的挑战：内存墙问题、交互开销大、数据供给难。部分在主机上执行，部分在终端设备上执行，交互开销甚至远大于执行开销，导致加速器占用率低。MindSpore通过面向芯片的深度图优化技术，同步等待少，最大化“数据-计算-通信"的并行度，将数据+计算整图下沉到昇腾AI处理器，提供一个最好的、最优的效果。最终效果相比主机侧的图调度方式，训练性能提升10倍。（2）基于数据驱动的大规模分布式梯度聚合。该技术针对超强芯片算力下分布式梯度聚合的挑战：ResNet50单迭代20ms时间下中心控制的同步开销和频繁同步的通信开销。传统方法需要3次同步完成，数据驱动方法自主AllReduce,无控制开销。MindSpore通过梯度数据驱动的自适应图切分优化，实现去中心化的自主算法，梯度聚合步调一致，计算与通信充分流水，如图。图上也有计算机视觉中的一个例子：采用神经网络ResNet50 v1.5，在ImageNet 2012数据集上训练，按各自最佳的批大小（Batch Size）进行训练，可以看到采用MindSpore框架在Ascend 910上的速度远高于其他框架+其他主流的训练卡。

如今的深度学习模型往往因为体量巨大而必须做并行化，当前采用手动模型并行，需要设计模型切分，感知集群拓扑，开发难度高；手动并行难以保证高性能，难以调优。MindSpore能自动并行按照串行写的代码，自动实现分布式并行训练，并且保持高性能。一般而言，并行训练可以分为模型并行与数据并行。数据并行比较好理解，每个样本可以独立地完成前向传播，最后汇总传播结果。相比之下，模型并行就比较复杂了，需要我们以“并行思维“这样的逻辑手动编写所有需要并行的部分。MindSpore提供了一项关键创新技术：自动整图切分，如图按算子输入／输出数据维度切分整图，即把图中每个算子都切分到集群而完成并行运算。该技术融合了数据并行与模型并行。通过集群拓扑感知调度感知集群拓扑，自动调度子图执行，实现通信开销最小。MindSpore自动并行的目标是构建一种融合了数据并行、模型并行和混合并行的训练方式。它会自动选择一种代价最小的模型切分方式，实现自动分布式并行训练。MindSpore切分算子细粒度方式非常复杂，但作为开发者，并不需要关心底层实现，只要顶层API计算高效就行了。总体来说，新编程范式不但实现了AI算法即代码，降低了AI开发门槛，而且可以实现高效的开发与调试，例如，可以高效地完成自动微分，实现一行代码自动并行、一行代码完成调试与运行切换等。举个例子。一个开发者实现自然语言处理领域的经典算法Transformer，采用MindSpore框架实现，在开发调试的过程中，可以做到动静结合，调试过程透明简易，从最终的结构上来看，MindSpore框架上代码量有2000行，比TensorFlow的2500行要少20％左右，但是在效率上有50％以上的提升。

自动微分是深度学习框架的灵魂。一般而言，自动微分是指一种自动求某个函数的导数的方法。在机器学习中，这些导数可以更新权重。在更广泛的自然科学中，这些导数也能用于各种后续计算。自动微分的发展历程如图在自动微分的发展历程中，有以下3种自动微分技术。基于静态计算图的转换：将网络在编译时转换为静态计算图，然后将链式求导规则应用于计算图，并实现自动微分，如TensorFlow，能利用静态编译技术对网络性能进行优化，然而搭建网络或调试非常复杂。基于动态计算图的转换：以运算符重载的方式记录网络在前向执行时的操作轨迹，然后将链式求导规则应用于动态生成的计算图，并实现自动微分，如PyTorch。该技术使用非常便捷，但性能上难以做到极致的优化。基于源码的转换：该技术以函数式编程框架为基础，以即时（Just In Time，JIT）编译的方式在中间表达（编译过程中程序的表达形式）上做自动微分变换，支持复杂控制流场景、高阶函数和闭包。MindSpore的自动微分技术即基于源码的转换。它又支持对自动控制流的自动微分，所以它与PyTorch一样，构建模型非常方便。同时MindSpore能对神经网络做静态编译优化，因此其性能也非常优秀。自动微分技术的比较如表所示，性能及可编程性比较如图所示。简单来说，MindSpore的自动微分技术有以下优点。可编程性方面：采用Python通用语言，基于IR原语可微分（MindSpore IR中每个原语操作可以对应为基础代数中的基础函数）。性能方面：编泽优化，反向算子自动调优。调试方面：有丰富的可视化接口，支持动态执行。

先说对AI开发态的挑战的回应：新编程范式。新编程范式这一设计理念是针对开发态的挑战提出的。对于开发态的挑战有以下几点。（1）技能要求高。要求开发人员具有AI、计算机系统、软件等相关理论知识和较强的数学功底，因此开发门槛很高。（2）黑盒调优难。AI算法的黑盒性、不可解释性导致调优调参难度比较大。（3）并行规划难。在技术趋势的影响下，数据量越来越大，模型也越来越大，并行计算不可避免，并行规划严重依赖技术人员的经验，要求技术人员既要懂数据、模型，也要懂分布式系统架构等。新编程范式的AI算法即代码，降低了AI的开发门槛，基于数学原生表达的AI编程新范式，让算法专家聚焦AI创新和探索，如图

基于企业内部独有的知识库，进行智能的客服问答，毫无疑问是ChatGPT出圈以后，所有公司想要融入ChatGPT技术时的第一反应。可惜ChatGPT实际上是一个基于大语模型实现的、包括很多其他功能的、完整的聊天产品，并没有直接的接口让用户导入完整的知识库。此外，OpenAI提供的GPT3接口服务，也必须一直联网才能使用。对部分传统的toB服务产品依然不太友好。有趣的是，业界似乎也都不推荐使用GPT3的fine-tuning方式，甚至据说fine-tuning方式加入新训练数据后反而会导致通用文本的生成能力下降。所以，针对这种情况，DocsGPT开源项目采用GPT3接口，配合faiss向量搜索引擎和langchain模型库，快速实现一个针对技术文档的智能客服，可以作为这类产品的基础原型，可供参照。

LangChain 的核心思想是，你可以把不同的组件"链接"起来，形成一个链。每个组件都有自己的功能，比如调用一个LLM、处理文本、存储数据等。通过链接不同的组件，可以实现更复杂和更灵活的功能。在目前的LLM社区，LangChain己经是流行的开发框架，多数应用都使用它作为开发基础。举个例子。利用LangCham实现一个简单的问答机器人，这个机器人可以根据我们准备的语料回答问题。在动手之前，我们要先了解一下语料训练用到的一个核心技术：Embeddings。这种技术可以将原始数据表示为向量空间中的点，这样相似的数据点就可以在向量空间中靠近，而不相似的点则远离，从而更容易地进行计算和比较，因此Embeddings向量通常具有许多有用的功能，如可以使用它们进行词汇语义相似性计算、词性分类、情感分析等。举例中的问答机器人，就会用到向量相关性计算，这是Embeddings技术的一种经典应用场景。除了LangChain，还需要中文分词工具、向量数据库。可以分别使用jieba, chromadb。进行分词之后，在对数据进行切块处理，将文本数据按照一定的大小进行切割，便于后续处理。向量化处理是问答机器人的核心，将切块处理后的数据用OpenAI的Embeddings方法进行向量化处理。有了向量数据，就可以创建问答Chain了。这个Chain是一个由多个模型和处理步骤组成的自然语言处理管道，它可以对用户输入的问题进行解析和分析，然后生成相应的答案。在创建问答Chain时，我们可以根据具体的需求选择合适的语言训练模型。如，OpenAI的gpt-3.5-turbo模型是一种基于Transformer结构的大型预训练语模型，具有非常强大的自然语生成和理解能力，可以用于各种自然语言处理任务，如文本生成、翻译、对话系统等。通过加载这个模型，我们可以使问答系统更加智能和灵活，为用户提供更加准确和全面的答案。接下来就可以向机器人提问了。需要注意的是，如果我们把每次聊天的答案记录下来，在提问的时候传回到Chain方法中，那机器人就会结合上下文进行推断；如果我们每次传空，则机器人只会根据当前问题进行回答。可以通过引入更加先进的自然语言处理技术，来进一步提高问答机器人的性能和效率，如使用预训练模型进行语义匹配、采用知识图谱进行答案生成等。

二月问题总结如下：【1】在ECS windows部署Llama2 尝试使用MLC运行，但出现以下报错，求助cid:link_0【2】atlas300P3 在容器中访问rtsp流地址报错No route to host cid:link_1【3】ECS上面，我看机器学习推荐的只有N卡，想问下华为自己的显卡在ModelArts那边不是能用，为啥还没上ECS cid:link_2【4】昇腾310（Ascend 310）能不能用来搭建stable diffusecid:link_3【5】 acl init failed, errorCode = 100039cid:link_4

你一定用过Transformers库，下面是它的一些介绍，相信可以让你对它有更多的了解。Hugging Face是一家在自然语言处理和人工智能领域的公司，以开发开源的软件库和工其为主，其中最受欢迎的是Transformers库，广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。在NLP领域，Hugging Face因其提供了基于Transformer的模型而闻名。为了方便用户使用，Hugging Face还提供了以下几个项目：Transformers Transformers库是Hugging Face的核心，我们学习Hugging Face其实就是为了学习怎么使用这个库。这个库提供了API和很多工具及方法，方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务，例如自然语言处理、计算机视觉、音频、多模态等。Datasets 使用该框架，只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法，可帮助我们快速地准备数据，以用于训练机器学习模型。Space 在线体验很多有趣的应用，比如根据文字生成图片，根据我们的照片制作合成音视频等。如何使用Transformers进行推理呢？首先我们先要安装Transformers：pip insta11 transformers如果任务比较简单，Transformers的pipline（）函数本身就提供了很丰富的功能，比如下面的代码，就进行了一个简单的情感分析：from transformers import pipeline classifier = pipeline("text-classification") classifier("This book is awesome.")运行上面的代码，会先下载默认的模型，在加载模型的时候，可能会因为缺少库而报错，我们只需要安装对应的库即可，模型下载好以后就会对我们输入的句子进行情感分析，结果如下：[{'label':'POSITIVE'，'score':0.9998772144317627}]

GPT3.5系列：该系列的模型可以理解并生成自然语言或代码。这其中最强大且最具成本效益的GPT3.5模型是gpt-3.5-turbo,这个模型不但针对聊天进行了优化，也适用于传统的文本补全等任务。除此之外，Davinci系列模型擅长理解复杂的意图，总结、解决各种逻辑问题和动机问题。Curie系列模型擅长回答问题和理解情感总结摘要。Babbage系列可以执行简单的任务，进行语义搜索。而Ada系列通常是最快的模型，可以执行解析文本、地址更正和不需要太多细微差别的某些分类任务等。面对如此多的模型，我们该如何选择呢？我们可以使用GPT比较工具，同时运行不同的模型来比较输出、设置和响应时间等，从而找到最适合的模型。

有时候觉得人工智能很厉害，比如华为的自动驾驶，确认让人眼前一亮。并且随着智驾 的推广，越来越多的人可以享受到AI在生活中给自己带来的方便。但是有时候觉得AI又很弱，弱的比几岁的小孩还弱。虽然说智驾AI的能力可能都超越了百万公里的老司机。举个例子。小明很苦恼，在制作PPT时觉得大模型只能提供内容建议，不能帮助格式优化。而他又很难把格式优化的需求通过纯文本的方式描述清楚。小明更想直接手指着屏幕说：“这个地方和这个地方怎么对不齐啊？”这其实就是一个多模态的内容理解和生成。我们把过程拆解一下：要从截图中识别出来这是一个PPT,并且其中有若干个挂件。要从问题文本中理解出来问的是两个挂件和对齐。要把两个模态的信息关联起来：问的是截图里PPT的哪两个挂件的对齐。从PPT知识中推理出最终回答。这里的第一步是CV的图像识别能力，第二步是NLP的语义分析能力，第四步是LLM的对话能力，只要第三步能合理地生成LLM的prompt，就可以构建出完整的多模态能力。理论上是这样。但是实际中呢？没看见AI能干这活。还是得靠自己，自己动动手就把这2个表单对齐了。

AI必然是趋势，那么作为IT从业者，应该是近水楼台先得月，先把AI用起来帮助自己改善工作生活和学习，只有在平时用起来，有帮助，才会觉得它有用，它也才能在使用中发展起来。下面就介绍使用华为云的AI编程助手CodeArts Snap，来辅助我们的代码编写。首先，IDE是用的VSCODE，因为它很轻量，当然同时它又可以通过上插件赋能。CodeArts Snap在这里，就是作为一个插件出现。在Vs Code的extension里搜索huawei，找到CodeArts Snap可以看到它是2023年的1月份首次发布了，这1年多来也一直在迭代，目前的版本是v3.0.0，也祝它在龙年里更加的发展。找到后，安装。安装好后，在左边的侧边栏出现了它的图标。现在我们可以先不直接点击它使用。而是先建一个java源码文件，在编码的过程中来触发并使用它。在第一次触发和使用时，会提示签署一个协议，会说这个是测试阶段，不保证服务质量等等，同意就可以了。

1. AI开发平台ModelArts新功能1月份新增一个新功能：Notebook的OBS，PFS，SFS增加扩展存储在创建Notebook实例页面，如果有多个数据存储路径，可以单击“增加扩展存储配置”，增加用户指定的存储挂载目录。2. 人工智能相关直播合集超融合数据中心生态方案分享--基于网络数字地图&Runbook+AOCcid:link_2iMaster NCE-Fabric网络数字地图&Runbook+AOC生态方案宣讲。值得一看，从PPT里看，是能够解决数据中心网络地图掌控和运维的一些难点。2023上海国际计算生物学创新大赛线上训练营cid:link_1药物筛选AI算法“凌越”挑战赛，等你来战！非常有潜在的实用价值和市场价值的比赛。感兴趣的朋友可以来看。DTSE Tech Talk 技术直播 NO.51 华为云DTT年度收官盛典：AI创造无限可能cid:link_6AI的发展为我们带来了前所未有的可能性，它正在改变我们的工作方式、生活方式，甚至是我们对世界的理解。DTT年度收官盛典将与大家一起探讨AI的应用领域与技术发展，企业及个人如何在智能化时代下完成技术飞跃。一共有5位嘉宾，就不多截图了。不是对着PPT讲，而是脱稿进行圆桌讨论，所以比较通俗易懂，形式比较活泼。关于应用场景、数字人等等。建议观看，可能会让你改进自己的工作方式。 昇思MindSpore技术公开课·大模型专题（第二期）cid:link_3介绍鹏城·脑海模型的训练过程。鹏城·脑海200B模型是具有2千亿参数的自回归式语言模型，在中国算力网枢纽节点‘鹏城云脑Ⅱ’3456卡上基于昇思MindSpore的多维分布式并行技术进行长期大规模训练，目前完成了1.8T token量的训练。AI算力建设。关于算力底座、配置、使用的详细介绍。看了这个，我很放心。美国对我国AI算力的封锁是不会得逞的。昇思MindSpore技术公开课·大模型专题（第二期）cid:link_4OpenBMB开源社区负责人、CPM-Bee开源大模型项目主要维护者龚柏涛老师主讲，分别从模型结构、数据格式、微调及推理演示三个方面带你全方位了解CPM-Bee大模型。欢迎大家来体验这个大模型。基于LangChain＋ChatGLM3的本地知识库问答 玩转华为云ModelArts，实现大模型AI应用开发cid:link_5这个直播是延续之前的大模型体验官活动的直播。有版主对直播内容进行了总结，可以查看。 基于LangChain+ChatGLM3的 本地知识库问答（一） cid:link_0 作者：福州司马懿