本文详细介绍了在华为云ModelArts平台上使用自定义算法进行训练、模型导入和部署服务的完整流程。如果你对自动学习感到限制太多，或者想要超越使用市场订阅算法的范畴，探索更多自定义的可能性，本文将为你提供有价值的指导。首先，自定义算法允许开发者拥有更大的灵活性和控制权。本文以一个简单的一元一次方程线性回归算法为例，展示了如何从头开始构建算法。算法的核心在于通过生成数据、定义损失函数和优化器来寻找变量之间的关系。这个过程不仅包括了数据的生成和模型的训练，还涉及到了模型参数的保存。在ModelArts平台上，算法的实现通过一个Python脚本tf_modelart.py完成，该脚本包含了数据生成、模型构建、训练过程以及最终的模型保存。特别地，使用了TensorFlow的SavedModelBuilder来保存模型，这使得模型可以方便地被导入和部署。接下来，文章介绍了如何在ModelArts上创建训练作业，包括设置启动文件、数据存储位置和运行参数。完成训练后，模型会被保存在对象存储服务（OBS）中，为后续的模型导入和部署做准备。模型导入阶段，需要确定模型服务的输入输出接口和推理代码，这些信息将被用于生成config.json配置文件和推理代码customize_service.py。config.json定义了服务的HTTP接口规范，而推理代码则实现了模型的加载、预测和结果返回。最后，文章讨论了服务的部署过程，包括准备环境、拉取镜像、启动服务等步骤。一旦服务启动成功，就可以通过RESTful风格的HTTP服务对外提供调用。文章还提供了服务测试的示例，展示了如何验证服务返回的正确性，并在出现问题时通过日志进行排查。整体而言，本文为读者提供了一个清晰的框架，指导如何在ModelArts上实现从算法开发到模型部署的全流程。通过这个过程，开发者不仅能够获得宝贵的实践经验，还能够理解如何在云平台上有效地管理和部署机器学习模型。感兴趣可以查看 cid:link_0

在华为云ModelArts平台上，TensorFlow框架被广泛应用于开发和训练深度学习模型。本文将探讨如何高效地保存、部署以及加载这些模型，特别是通过TensorFlow Serving（TF Serving）实现模型的无缝部署和更新。TF Serving是一个强大的系统，它允许开发者在不更改服务器端和API的情况下，部署新的算法或进行实验。这种能力极大地简化了模型部署流程，尤其是在需要频繁更换或测试不同模型时。传统的TensorFlow模型保存方法存在局限性，例如仅保存变量时需要重新定义模型的计算图，或者需要维护额外的配置文件来同步模型参数。为了克服这些限制，tf.saved_model模块提供了一种更优的解决方案。tf.saved_model模块的核心是SavedModelBuilder类，它允许开发者通过简单的API调用来保存模型。首先，通过初始化SavedModelBuilder对象并指定保存模型的目录，然后使用add_meta_graph_and_variables方法导入模型的计算图和变量信息。最后，调用save方法将模型序列化到指定目录。在载入模型时，可以使用tf.saved_model.loader.load方法，通过指定模型保存时的标签和目录，快速恢复模型状态。这种方法的优势在于，它允许开发者在不关心具体张量名称的情况下，通过SignatureDef协议来封装模型的输入输出信息。SignatureDef是一种定义模型输入输出别名的机制，它允许开发者在模型保存和使用时，不必关心张量的具体名称。这样，即使模型的内部结构发生变化，只要输入输出的别名保持一致，就无需修改使用模型的代码。使用SignatureDef来创建模型的输入输出协议，并在保存和载入模型时应用这些协议。这种方法不仅提高了模型部署的灵活性，也简化了模型的维护和更新过程。

6月15日， HCDG城市行·北京站——“AI原生应用的探索与创新”技术研讨沙龙圆满举办。活动特邀来自华为云和华为云HCDE圈层的专家们为与会开发者带来一场别开生面的技术交流活动。为正在探索AI创新之路的企业与开发者们赋能助力，与开发者共同探索AI技术的无限可能。句子互动联合创始人& CTO、华为云HCDE  高原活动伊始，句子互动联合创始人& CTO、华为云HCDE高原进行《AI Workflow 的敏捷开发》的主题演讲，他表示敏捷开发的核心在于快速迭代和持续交付，它要求我们在开发过程中不断收集反馈，快速调整策略，以适应不断变化的需求和技术环境。面对功能挑战，如精确控制的记忆、主动被动结合的沟通场景、自有系统逻辑的融合介入；以及迭代挑战，包括分析不符合预期的回答和保证新变动不影响旧逻辑。敏捷开发策略可总结为如下3点：一是快速迭代需要快速反馈，通过调优中心和一键导入测试中心实现；二是流程中节点验证和流程运行完动作校验，确保执行结果清晰可见。三是版本控制保证测试和生产环境的互不干扰，并通过不同版本的用例测试进行效果比对。通过他现场的操作演示，开发者们对这一理解更加深刻。华为云EI解决方案专家  张瑞锋随后，华为云EI解决方案专家张瑞锋为到场的开发者们介绍了华为云昇腾算力和盘古大模型，他表示在大模型产业的潜在空间极大，其本质是对人类知识的数字化，未来基础大模型的构建还需要企业与人才的持续投入。基于华为打造全栈的AI解决方案，充分释放AI算力潜能，通过ModelArts一站式开发平台为开发者提供全套工具，实现快速训推与部署。开发者们还可以在AI Gallery部署开源模型，支持百模千态一键部署。他指出大模型的开发与应用是一个复杂的系统工程，其训练需要在大规模数据处理和分布式并行训练方面具备广泛实践经验，例如在集群建设、数据准备、模型训练、推理压缩、应用开发等方面会遇到许多问题和挑战，这些都可以靠华为解决。华为云通过提供全套的开发套件使能开发者，提升行业大模型开发效率的同时也为用户和伙伴创造价值。此外他还介绍了盘古大模型在政务、互联网、影视、游戏等多个行业应用实践案例，进一步阐释了人工智能发展从局部探索正在走向千行百业。聆心智能CEO、华为云HCDE  郑叔亮最后，聆心智能CEO、华为云HCDE郑叔亮发表了《超拟人大模型和心理支持与陪伴》的主题演讲，介绍了超拟人大模型的概念、进展以及心里健康解决方案。他提到超拟人大模型是在效率价值及创意价值的基础上为用户进一步提供情绪价值，主要应用在情感陪伴、心理健康、教研教学等有个性化需求的领域。同时他还从高安全、强可控、拟人化多个角度对Emohaa、CharacterGLM、OPD-2拟人化LLM进行分析，以及应用于教育、文娱、营销等落地场景，提供AI Native社交/陪伴体验，展现沉浸式多模态交互。同时现场还邀请到了华为云DTSE专家（开发者技术支持工程师）与开发者们深入交流技术难题，解答开发困惑并提供对应的解决方案，为开发者用云开发保驾护航。未来华为云将继续携手广大开发者共同推进AI大模型创新技术应用的落地，共建繁荣的AI生态！

Open-SORA模型训练是一个结合了视频生成和文本到图像生成技术的先进过程。该模型深受Stable Video Diffusion工作的启发，同时借助了成熟的文生图（text-to-image）模型，为用户提供了从文本描述直接生成高质量视频的能力。在Open-SORA模型训练过程中，首先，模型会接受大量的文本-视频对作为训练数据。这些数据中包含了各种场景的文本描述以及对应的视频片段。通过这些数据，模型能够学习到如何将文本中的语义信息映射到视频帧的视觉特征上。接着，模型会利用Stable Video Diffusion的思想，通过逐步添加噪声和去噪的过程，来模拟视频帧的生成过程。在这个过程中，模型会不断地尝试预测缺失或模糊的帧内容，从而逐渐生成出完整的视频序列。同时，Open-SORA模型还借鉴了成熟的文生图模型。这些模型已经具备了从文本描述中提取关键语义信息，并将其转换为高质量图像的能力。在Open-SORA中，这些技术被进一步扩展到了视频领域。模型能够利用文本描述中的信息，生成出与文本内容高度一致的视频帧。最后，通过大量的迭代和优化，Open-SORA模型能够逐渐提升其生成视频的质量和多样性。训练完成后，用户只需提供一段文本描述，模型就能够快速地生成出与文本内容相匹配的高质量视频片段。总之，Open-SORA模型训练是一个结合了多种先进技术的复杂过程，它为用户提供了从文本描述生成高质量视频的强大能力。

华为云-昇腾适配-调研模板

挑战杯是由共青团中央、中国科协、中国社会科学院、教育部和全国学联共同主办的全国性的大学生课外学术实践竞赛。第十九届“挑战杯”揭榜挂帅专项赛·华为命题正在火热招募ing，本次华为命题设立了高校和青年科技人才两大赛道，不仅挑战性强，而且设置了高达390,000+元的奖金。那么在本次大赛中开放的技术成果有哪些亮点？开发者如何借助这些技术能力创造出神奇作品呢？快收下这份超全的赛题解读攻略！一、赛题介绍（具体的指导文档可扫描下方二维码的赛题详情获取哦！）二、技术能力华为昇腾AI云服务技术能力解读：自主可控，构建AI云底座：昇腾AI云服务通过优化架构，重构了云基础设施，利用多样化算力池、高性能缓存池和分级存储池等多层池化技术，减少由上到下的计算代价，大大提升了资源利用率，充分释放了昇腾规模云算力。简化开发，让AI落地更简单：AI开发生产线ModelArts，提供了包括昇腾工具链、SDK、CLI、IDE插件等端到端生产工具链，支持数据管理、模型开发、训练、推理等全流程MLOps开发，提供了统一资源调度能力，提升AI开发效率，降低AI开发门槛和成本。开放兼容，支持百模千态：AI Gallery纳管业界主流开源大模型，持续改造和适配，在昇腾算力上保障性能和精度，开箱即用；并且提供了大模型微调、Prompt和测评等开放工具链，开发者可以构建即开即用的大模型服务。鸿蒙智能终端及APP开发技术解读：鸿蒙操作系统是一款支持多设备、采用分布式架构的高性能操作系统。它能够无缝运行在智能手机、平板电脑、智能手表及智能家居等终端设备上，实现跨设备协同，优化用户体验。同时，鸿蒙系统还具备强大的性能适配能力，满足不同设备的运行需求。更重要的是，它提供了多层次的安全机制，确保用户数据和隐私得到严密保护。这些特点使鸿蒙操作系统成为智能设备领域的杰出代表。鸿蒙智能终端开发涉及硬件适配、驱动开发以及系统定制。开发者需基于鸿蒙操作系统的硬件抽象层（HAL）适配设备，确保系统稳定运行。同时，需编写驱动程序以实现设备与系统的通信。此外，开发者还能根据设备特性和用户需求，对鸿蒙操作系统进行个性化定制，提供独特的功能和界面，以满足不同用户的需求。这些工作共同确保了鸿蒙智能终端的高效开发和卓越性能。鸿蒙APP开发环境由华为提供的DevEco Studio支持，集成了全流程开发工具。开发者主要采用ArkTS编程语言，并利用鸿蒙丰富的组件库进行组件化开发，轻松实现APP功能和界面。鸿蒙APP支持跨平台运行，开发者可以针对不同设备进行优化，确保最佳用户体验。这一完整的开发流程和工具链，极大地提升了鸿蒙APP的开发效率和质量。三、基于上述能力，参赛开发者可以提升开发效率：使用昇腾AI云服务，开发者可以在完善的工具链基础上，实现从数据处理、算法训练到模型部署的全流程开发，更快地进行模型迭代。提升应用效果：借助优质稳定的基础大模型，使用便捷的微调和测评工具，开发者可以快速构建自己的大模型应用，提高任务精度。四、技术应用案例美图：基于昇腾AI云服务，华为云与美图围绕影像产品及解决方案设计、AIGC创新应用等领域深度推进合作，打造互联网行业多模态场景服务，提供便捷、高效、高质的影像创作解决方案。服装图片的制作时间由“天”级降至“秒”级，缩短新品上架周期，帮助服装行业降本提效。双鹿：依托ModelArts开发平台，华为云与双鹿电池联合打造了一套柔性检测系统，实现全自动在线检测，自主工作，可以做到24小时无人值守，减少人工劳动力，机器自动通过人工智能学习方法，把缺陷识别出来，并通过自动化设备在缺陷处标记，以方便供人工复检。综合人员效益和退还成本，这套系统成功帮双鹿电池每年创造了百万以上的收益。山能：借助昇腾云、ModelArts、盘古大模型等华为云全栈AI能力，山能集团建设了集团人工智能训练中心，具备视觉大模型、图网络大模型、多模态大模型、自然语言大模型等四大能力，探索和发掘煤矿生产领域全场景的人工智能应用，通过技术创新实现“人工智能大规模下矿”，让员工远离井下作业环境，实现“高效、安全、可持续性”的生产运营管理。在这里，欢迎各路大神集结，一起竞技打擂，开发创新应用，共创AI质检新篇章！

第七期算子开发题目，对于手册中的ops_demo，可以给一个交叉编译的CMakeLists吗？想在x86上写代码和编译，arm上推理，节省云算力，谢谢

挑战杯是“挑战杯”全国大学生系列科技学术竞赛的简称，是由共青团中央、中国科协、教育部和全国学联共同主办的全国性的大学生课外学术实践竞赛。“揭榜挂帅”专项赛旨在促进产教融合，打造校、企、研成果转化为“桥头堡”。秉承“以国家重大需求为导向、以竞争协同机制为手段、以解决实际问题为目标”的思路，聚焦解决关键技术问题，广发“英雄帖”，学生团队和青年科技人才竞争揭榜。“揭榜挂帅”专项赛·华为赛道自2024年4月20日起正式启动，本届赛题名称为：面向新质生产力的AI质检助力制造业数智化创新。征集作品将围绕实际生产场景，以产业需求为导向，加快培育数据、算力、算法等新质生产力要素，进一步推动数据价值产品化、服务化。从源头和底层解决关键技术问题。参赛选手要挑战的核心难题是如何让工业产品质量检测更迅速、准确，提高现代化工业生产的效率。需要识别出检测行为过程中出现的工业残次品，并对残次种类进行标注和统计，兼顾算法的精度和速度。为帮助参赛团队更好地参与比赛、理解赛题，5月27日（周一）19:00，第十九届“挑战杯”揭榜挂帅·华为赛道直播宣讲会为你而来！本场直播将邀请：华为云AI算法工程师刘宇，做客直播间！为开发者们答疑解惑、参赛征途上助大家一臂之力！直播主题大赛大咖说系列直播第十九届“挑战杯”揭榜挂帅·华为赛道直播宣讲会直播时间2024年5月27日19:00-20:30直播内容要点● 第十九届“挑战杯”揭榜挂帅·华为赛道赛制讲解● 华为赛道数据集使用及作品提交在线演示● 赛题专家在线 Q&A答疑扫描二维码 立即预约报名▼▼▼

深度卷积神经网络在发明之初就是用来解决图像分类问题的，现阶段深度学习与图像分类的结合愈加紧密，并且出现了很多经典的算法模型。ResNet基本上成了很多业务场景下开发者快速尝试的标杆算法。后期出现的DenseNet、Xception、ResNext等算法都以ResNet为对比对象。另外，典型的面向移动端的小型网络有MobileNet、ShumeNet、GhostNet等，当开发者对于模型的推理时延要求较高时，需要直接采用小型神经网络进行训练；或者先训练一个大网络，再利用大网络产生的标签对小网络进行训练。随着神经网络结构搜索技术的不断演进，机器搜索出的网络结构NASNet、AmoebaNet、EfficientNet比人工设计的网络结构更好（要么精度更高，要么推理时延更低），其中EfficientNet是目前较为流行的一种卷积神经网络结构。当数据集中含有大量无标签数据时，开发者可以选择基于对比学习或AET等无监督学习方法得到一个预训练模型。最近一两年视觉无监督学习的发展非常迅速，已经非常接近全监督学习水平。当得到预训练模型后，就可以用少量有标签的数据在预训练模型上进行微调，这会大大减少算法对标注数据量的需求。另外，还可以选择相对成熟一些的半监督算法，如Mixmatch、Remixmatch及LabelPropagation等，这些算法在标注量较少时可以获得不错的精度。

华为云开发者日·广州站来啦！参加“AIGC音乐创新之旅——MusicGen文本生成音乐”项目，提出你的建议有机会获得开发者盲盒礼包惊喜不容错过，快叫上小伙伴一起来吧【体验项目】AIGC音乐创新之旅——MusicGen文本生成音乐【活动时间】2024年5月23日-5月31日【参与方式】直接在此活动帖下方回帖提建议即可比如对产品功能的改进建议、对活动流程的感想、对现场活动的感悟等等PS：不要少于30字哦~【获奖规则】奖项设置有效回复楼层评选条件获奖名额激励礼品优质建议奖20对产品功能有改进价值的建议1名开发者盲盒礼品价值50-100元积极反馈奖20优质建议奖轮空的情况下进行抽取抽取1名开发者盲盒礼品价值50元【活动规则】1、本帖的回帖建议不少于30字，仅限于对“AIGC音乐创新之旅——MusicGen文本生成音乐”体验项目，其他项目建议不参与此次活动，否则将视为无效内容。2、本次活动将根据实际参与情况发放奖励，包括但不限于用户百分之百中奖或奖项轮空的情况；以上奖品均为实物奖品，具体发放视出库情况而定；3、活动预计于结束后七天内完成奖项公示，并于结束后15个工作日内完成邮寄。【温馨提示】1、请务必使用个人实名账号参与活动（IAM、企业账号等账号参与无效）。如一个实名认证对应多个账号，只有一个账号可领取奖励，若同一账号填写多个不同收件人或不同账号填写同一收件人，均不予发放奖励。2、所有获得奖品的获奖用户，请于获奖后3日内完成实名认证，否则视为放弃奖励。

第十九届挑战杯“揭榜挂帅”专项赛华为赛道火热来袭！围绕工业制造、计算机视觉、AI质检等相关技术领域发布赛题，诚邀各大高校精英云端竞技，打擂揭榜。一、赛事详情关于本次大赛，我们已为你整理总结了赛程安排、详细的参赛指导等选手关注的信息，点击下方海报查看。二、号外！速速加入交流群📣想要了解更多赛事详情？想要与志同道合的伙伴们一起探讨创新方案？快来扫码加入我们的交流群吧！                                （学生赛道）                                  （青年科技人才赛道）在这里，各路大神集结，一起竞技打擂，开发创新应用，共创AI质检新篇章！

只使用了 7.0.0.alpha001 的lib库，昇腾的驱动都能兼容吗？

1. AI开发平台ModelArts新功能4月份ModelArts没有发布新功能。2. 人工智能相关直播合集揭秘高可靠高性能的亿级物联网平台发展历程cid:link_1DTSE Tech Talk 技术直播 NO.54对话华为20年资深测试老兵，从手工测试到自动化测试，到实现测试服务化的成长过程，揭秘亿级物联网平台高可靠性、高性能的发展历程。主要是从测试保障质量的角度来介绍IoTDA产品，很新颖的角度，很值得一看。里面有华为20年资深测试老兵的真实工作发展历程，同时也伴随着华为业务发展和拓展的历程，所以还是干货满满的。以下多图：昇思MindSpore技术公开课 大模型专题（第二期）第十二讲：Prompt Engineeringcid:link_0昇思MindSpore布道师、昇思十大优秀开发者周汝霖作客直播间，为大家讲解Prompt以及示例演示。Prompt Engineering（提示工程）可帮助用户将LLM（大语言模型）用于各研究领域和特定场景，从而更有助于我们了解和运用大模型。GaussDB(DWS)基于Flink的实时数仓构建cid:link_2DTSE Tech Talk 技术直播 NO.55华为云数仓GaussDB(DWS)基于流处理框架Flink实现了高效实时数仓构建，数据分析时效从T+1时效趋向于T+0时效。GaussDB(DWS)+Flink如何增强湖仓增量数据在不同数据模型层之间的实时流动能力？如何为消息数据流提供高性能通用入库能力？本期直播将为您带来DWS-Flink的全新探索实践分享。《高校人才培养创新模式经验分享》cid:link_3全国鸿蒙端云智能行业产教融合共同体 产教融合专家大讲堂·第①期 看一下鸿蒙在教育行业的推广

对于应用开发者而言，计算机视觉和自然语言处理是最常见的2个应用层算法领域。计算机视觉算法选择目前常用的几种计算机视觉任务（图像分类、目标检测、图像分割等）大多以深度学习为基础。当开发者需要在时延和精度要求方面做出权衡时，可以考虑不同的深度神经网络架构设计；当开发者需要在数据量和学习效果方面做出权衡时，则可以考虑不同的学习方式，如半监督学习、弱监督学习等。

基于策略梯度的算法包括REINFORCE、PG（Policy Gradient)，基于值函数拟合的算法主要包括DQN及其一系列衍生算法，如QR-DQN、HER、Raninbow等。A3C、SAC、DDPG、TD3、TRPO、PPO这些最近几年出现的算法都结合了策略梯度和价值函数拟合两类算法的优点，同时学习价值函数和策略梯度函数。DQN等基于价值函数拟合的算法大多采用离轨策略，即采用单独的策略来更新价值函数，通常可以从历史积攒下来的样本经过采样后进行价值函数的更新。其优点是可以从人类示教样本中学习、可以重用旧策略生成的经验、可以同时使用多个策略进行采样、可以使用随机策略采样来优化确定性策略。然而，DQN存在价值高估的固有缺陷。DQN有一系列优化后的版本，其中Rainbow算法是DQN系列算法的集大成者，使用了各种DQN变体中的改进方法。Rainbow算法相较于其他DQN系列算法，性能有显著提升，但正是由于使用了过多技巧，其单步训练时间较长。由于历史原因，DQN系列多用于Atari等以图像作为状态输入的环境。需要注意的是，由于DQN系列算法属于基于价值函数拟合的方法，所以仅适用于动作空间离散的场景，即当动作空间维度很高或是连续时无法求解。另外，DQN系列算法都是确定性策略方法，无法学习随机策略。基于策略梯度的强化学习算法能够很好地解决连续动作空间问题。此外，这些算法大多采用在轨策略，且学习的策略都是随机策略，所以学习效率较低。正因如此，目前主流的策略梯度算法都会与值函数拟合算法相结合。当对算法的迭代步长非常敏感时，建议采用TRPO和PPO。这两种算法都采用在轨策略，并且都同时适用于连续动作空间和离散动作空间的决策问题，输出随机策略。TRPO需要求解约束优化问题，计算复杂。为解决这一问题，PPO对TRPO进行一阶近似，使用裁剪或惩罚的方式限制了新旧策略间的分布差距。一般情况下，建议直接使用PPO即可。上述策略梯度算法虽然能够解决高维动作空间问题，但它们产生的都是随机策略，即输入同一状态，输出的动作可能会不一样。在某些场景下，如果期望得到的是确定性动作，则建议使用DDPG算法，其最大特点是策略函数是一个确定性映射函数。由于确定性策略不再需要对动作空间进行积分，因此采样效率相较于其他方法都有提高，非常适合动作空间很大的情况。此外，当强化学习中环境的奖励函数很难设计，或需要利用专家数据给一个较好的起点时，可以使用模仿学习、逆强化学习等方法；当环境奖励稀疏时，需要提升强化学习算法的探索能力，可以使用分布式架构、RewardShaping等方法以鼓励智能体去探索未知状态，也可以使用分层强化学习方法对任务进行分解。