• [案例分享] 华为云-昇腾适配-调研模板
    华为云-昇腾适配-调研模板
  • [技术干货] 赛题解读|第十九届“挑战杯”揭榜挂帅专项赛·华为命题
    挑战杯是由共青团中央、中国科协、中国社会科学院、教育部和全国学联共同主办的全国性的大学生课外学术实践竞赛。第十九届“挑战杯”揭榜挂帅专项赛·华为命题正在火热招募ing,本次华为命题设立了高校和青年科技人才两大赛道,不仅挑战性强,而且设置了高达390,000+元的奖金。那么在本次大赛中开放的技术成果有哪些亮点?开发者如何借助这些技术能力创造出神奇作品呢?快收下这份超全的赛题解读攻略!一、赛题介绍(具体的指导文档可扫描下方二维码的赛题详情获取哦!)二、技术能力华为昇腾AI云服务技术能力解读:自主可控,构建AI云底座:昇腾AI云服务通过优化架构,重构了云基础设施,利用多样化算力池、高性能缓存池和分级存储池等多层池化技术,减少由上到下的计算代价,大大提升了资源利用率,充分释放了昇腾规模云算力。简化开发,让AI落地更简单:AI开发生产线ModelArts,提供了包括昇腾工具链、SDK、CLI、IDE插件等端到端生产工具链,支持数据管理、模型开发、训练、推理等全流程MLOps开发,提供了统一资源调度能力,提升AI开发效率,降低AI开发门槛和成本。开放兼容,支持百模千态:AI Gallery纳管业界主流开源大模型,持续改造和适配,在昇腾算力上保障性能和精度,开箱即用;并且提供了大模型微调、Prompt和测评等开放工具链,开发者可以构建即开即用的大模型服务。鸿蒙智能终端及APP开发技术解读:鸿蒙操作系统是一款支持多设备、采用分布式架构的高性能操作系统。它能够无缝运行在智能手机、平板电脑、智能手表及智能家居等终端设备上,实现跨设备协同,优化用户体验。同时,鸿蒙系统还具备强大的性能适配能力,满足不同设备的运行需求。更重要的是,它提供了多层次的安全机制,确保用户数据和隐私得到严密保护。这些特点使鸿蒙操作系统成为智能设备领域的杰出代表。鸿蒙智能终端开发涉及硬件适配、驱动开发以及系统定制。开发者需基于鸿蒙操作系统的硬件抽象层(HAL)适配设备,确保系统稳定运行。同时,需编写驱动程序以实现设备与系统的通信。此外,开发者还能根据设备特性和用户需求,对鸿蒙操作系统进行个性化定制,提供独特的功能和界面,以满足不同用户的需求。这些工作共同确保了鸿蒙智能终端的高效开发和卓越性能。鸿蒙APP开发环境由华为提供的DevEco Studio支持,集成了全流程开发工具。开发者主要采用ArkTS编程语言,并利用鸿蒙丰富的组件库进行组件化开发,轻松实现APP功能和界面。鸿蒙APP支持跨平台运行,开发者可以针对不同设备进行优化,确保最佳用户体验。这一完整的开发流程和工具链,极大地提升了鸿蒙APP的开发效率和质量。三、基于上述能力,参赛开发者可以提升开发效率:使用昇腾AI云服务,开发者可以在完善的工具链基础上,实现从数据处理、算法训练到模型部署的全流程开发,更快地进行模型迭代。提升应用效果:借助优质稳定的基础大模型,使用便捷的微调和测评工具,开发者可以快速构建自己的大模型应用,提高任务精度。四、技术应用案例美图:基于昇腾AI云服务,华为云与美图围绕影像产品及解决方案设计、AIGC创新应用等领域深度推进合作,打造互联网行业多模态场景服务,提供便捷、高效、高质的影像创作解决方案。服装图片的制作时间由“天”级降至“秒”级,缩短新品上架周期,帮助服装行业降本提效。双鹿:依托ModelArts开发平台,华为云与双鹿电池联合打造了一套柔性检测系统,实现全自动在线检测,自主工作,可以做到24小时无人值守,减少人工劳动力,机器自动通过人工智能学习方法,把缺陷识别出来,并通过自动化设备在缺陷处标记,以方便供人工复检。综合人员效益和退还成本,这套系统成功帮双鹿电池每年创造了百万以上的收益。山能:借助昇腾云、ModelArts、盘古大模型等华为云全栈AI能力,山能集团建设了集团人工智能训练中心,具备视觉大模型、图网络大模型、多模态大模型、自然语言大模型等四大能力,探索和发掘煤矿生产领域全场景的人工智能应用,通过技术创新实现“人工智能大规模下矿”,让员工远离井下作业环境,实现“高效、安全、可持续性”的生产运营管理。在这里,欢迎各路大神集结,一起竞技打擂,开发创新应用,共创AI质检新篇章!
  • [问题求助] 第七期算子开发题目,对于手册中的ops_demo,可以给一个交叉编译的CMakeLists吗?想在x86上写代码和编译,arm上推理,节省云算力
    第七期算子开发题目,对于手册中的ops_demo,可以给一个交叉编译的CMakeLists吗?想在x86上写代码和编译,arm上推理,节省云算力,谢谢
  • [大赛资讯] 第十九届“挑战杯”揭榜挂帅·华为赛道直播宣讲会来了!
    挑战杯是“挑战杯”全国大学生系列科技学术竞赛的简称,是由共青团中央、中国科协、教育部和全国学联共同主办的全国性的大学生课外学术实践竞赛。“揭榜挂帅”专项赛旨在促进产教融合,打造校、企、研成果转化为“桥头堡”。秉承“以国家重大需求为导向、以竞争协同机制为手段、以解决实际问题为目标”的思路,聚焦解决关键技术问题,广发“英雄帖”,学生团队和青年科技人才竞争揭榜。“揭榜挂帅”专项赛·华为赛道自2024年4月20日起正式启动,本届赛题名称为:面向新质生产力的AI质检助力制造业数智化创新。征集作品将围绕实际生产场景,以产业需求为导向,加快培育数据、算力、算法等新质生产力要素,进一步推动数据价值产品化、服务化。从源头和底层解决关键技术问题。参赛选手要挑战的核心难题是如何让工业产品质量检测更迅速、准确,提高现代化工业生产的效率。需要识别出检测行为过程中出现的工业残次品,并对残次种类进行标注和统计,兼顾算法的精度和速度。为帮助参赛团队更好地参与比赛、理解赛题,5月27日(周一)19:00,第十九届“挑战杯”揭榜挂帅·华为赛道直播宣讲会为你而来!本场直播将邀请:华为云AI算法工程师刘宇,做客直播间!为开发者们答疑解惑、参赛征途上助大家一臂之力!直播主题大赛大咖说系列直播第十九届“挑战杯”揭榜挂帅·华为赛道直播宣讲会直播时间2024年5月27日19:00-20:30直播内容要点● 第十九届“挑战杯”揭榜挂帅·华为赛道赛制讲解● 华为赛道数据集使用及作品提交在线演示● 赛题专家在线 Q&A答疑扫描二维码 立即预约报名▼▼▼
  • [其他] 深度卷积神经网络和图像分类
    深度卷积神经网络在发明之初就是用来解决图像分类问题的,现阶段深度学习与图像分类的结合愈加紧密,并且出现了很多经典的算法模型。ResNet基本上成了很多业务场景下开发者快速尝试的标杆算法。后期出现的DenseNet、Xception、ResNext等算法都以ResNet为对比对象。另外,典型的面向移动端的小型网络有MobileNet、ShumeNet、GhostNet等,当开发者对于模型的推理时延要求较高时,需要直接采用小型神经网络进行训练;或者先训练一个大网络,再利用大网络产生的标签对小网络进行训练。随着神经网络结构搜索技术的不断演进,机器搜索出的网络结构NASNet、AmoebaNet、EfficientNet比人工设计的网络结构更好(要么精度更高,要么推理时延更低),其中EfficientNet是目前较为流行的一种卷积神经网络结构。当数据集中含有大量无标签数据时,开发者可以选择基于对比学习或AET等无监督学习方法得到一个预训练模型。最近一两年视觉无监督学习的发展非常迅速,已经非常接近全监督学习水平。当得到预训练模型后,就可以用少量有标签的数据在预训练模型上进行微调,这会大大减少算法对标注数据量的需求。另外,还可以选择相对成熟一些的半监督算法,如Mixmatch、Remixmatch及LabelPropagation等,这些算法在标注量较少时可以获得不错的精度。
  • [获奖公告] 【云声专场】开发者体验官:AIGC音乐创新之旅——MusicGen文本生成音乐
    华为云开发者日·广州站来啦!参加“AIGC音乐创新之旅——MusicGen文本生成音乐”项目,提出你的建议有机会获得开发者盲盒礼包惊喜不容错过,快叫上小伙伴一起来吧【体验项目】AIGC音乐创新之旅——MusicGen文本生成音乐【活动时间】2024年5月23日-5月31日【参与方式】直接在此活动帖下方回帖提建议即可比如对产品功能的改进建议、对活动流程的感想、对现场活动的感悟等等PS:不要少于30字哦~【获奖规则】奖项设置有效回复楼层评选条件获奖名额激励礼品优质建议奖20对产品功能有改进价值的建议1名开发者盲盒礼品价值50-100元积极反馈奖20优质建议奖轮空的情况下进行抽取抽取1名开发者盲盒礼品价值50元【活动规则】1、本帖的回帖建议不少于30字,仅限于对“AIGC音乐创新之旅——MusicGen文本生成音乐”体验项目,其他项目建议不参与此次活动,否则将视为无效内容。2、本次活动将根据实际参与情况发放奖励,包括但不限于用户百分之百中奖或奖项轮空的情况;以上奖品均为实物奖品,具体发放视出库情况而定;3、活动预计于结束后七天内完成奖项公示,并于结束后15个工作日内完成邮寄。【温馨提示】1、请务必使用个人实名账号参与活动(IAM、企业账号等账号参与无效)。如一个实名认证对应多个账号,只有一个账号可领取奖励,若同一账号填写多个不同收件人或不同账号填写同一收件人,均不予发放奖励。2、所有获得奖品的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。
  • [大赛资讯] 第十九届“挑战杯”华为赛道等你来揭榜挂帅!
    第十九届挑战杯“揭榜挂帅”专项赛华为赛道火热来袭!围绕工业制造、计算机视觉、AI质检等相关技术领域发布赛题,诚邀各大高校精英云端竞技,打擂揭榜。一、赛事详情关于本次大赛,我们已为你整理总结了赛程安排、详细的参赛指导等选手关注的信息,点击下方海报查看。二、号外!速速加入交流群📣想要了解更多赛事详情?想要与志同道合的伙伴们一起探讨创新方案?快来扫码加入我们的交流群吧!                                (学生赛道)                                  (青年科技人才赛道)在这里,各路大神集结,一起竞技打擂,开发创新应用,共创AI质检新篇章!
  • [互动交流] cann包社区版7.0.0.alpha001兼容哪些昇腾驱动
    只使用了 7.0.0.alpha001 的lib库,昇腾的驱动都能兼容吗?
  • [其他] 人工智能干货合集(2024年4月)
    1. AI开发平台ModelArts新功能4月份ModelArts没有发布新功能。2. 人工智能相关直播合集揭秘高可靠高性能的亿级物联网平台发展历程cid:link_1DTSE Tech Talk 技术直播 NO.54对话华为20年资深测试老兵,从手工测试到自动化测试,到实现测试服务化的成长过程,揭秘亿级物联网平台高可靠性、高性能的发展历程。主要是从测试保障质量的角度来介绍IoTDA产品,很新颖的角度,很值得一看。里面有华为20年资深测试老兵的真实工作发展历程,同时也伴随着华为业务发展和拓展的历程,所以还是干货满满的。以下多图:昇思MindSpore技术公开课 大模型专题(第二期)第十二讲:Prompt Engineeringcid:link_0昇思MindSpore布道师、昇思十大优秀开发者周汝霖作客直播间,为大家讲解Prompt以及示例演示。Prompt Engineering(提示工程)可帮助用户将LLM(大语言模型)用于各研究领域和特定场景,从而更有助于我们了解和运用大模型。GaussDB(DWS)基于Flink的实时数仓构建cid:link_2DTSE Tech Talk 技术直播 NO.55华为云数仓GaussDB(DWS)基于流处理框架Flink实现了高效实时数仓构建,数据分析时效从T+1时效趋向于T+0时效。GaussDB(DWS)+Flink如何增强湖仓增量数据在不同数据模型层之间的实时流动能力?如何为消息数据流提供高性能通用入库能力?本期直播将为您带来DWS-Flink的全新探索实践分享。《高校人才培养创新模式经验分享》cid:link_3全国鸿蒙端云智能行业产教融合共同体 产教融合专家大讲堂·第①期 看一下鸿蒙在教育行业的推广
  • [其他] 应用层算法选择(计算机视觉)
    对于应用开发者而言,计算机视觉和自然语言处理是最常见的2个应用层算法领域。计算机视觉算法选择目前常用的几种计算机视觉任务(图像分类、目标检测、图像分割等)大多以深度学习为基础。当开发者需要在时延和精度要求方面做出权衡时,可以考虑不同的深度神经网络架构设计;当开发者需要在数据量和学习效果方面做出权衡时,则可以考虑不同的学习方式,如半监督学习、弱监督学习等。
  • [其他] 基于策略梯度的算法介绍
    基于策略梯度的算法包括REINFORCE、PG(Policy Gradient),基于值函数拟合的算法主要包括DQN及其一系列衍生算法,如QR-DQN、HER、Raninbow等。A3C、SAC、DDPG、TD3、TRPO、PPO这些最近几年出现的算法都结合了策略梯度和价值函数拟合两类算法的优点,同时学习价值函数和策略梯度函数。DQN等基于价值函数拟合的算法大多采用离轨策略,即采用单独的策略来更新价值函数,通常可以从历史积攒下来的样本经过采样后进行价值函数的更新。其优点是可以从人类示教样本中学习、可以重用旧策略生成的经验、可以同时使用多个策略进行采样、可以使用随机策略采样来优化确定性策略。然而,DQN存在价值高估的固有缺陷。DQN有一系列优化后的版本,其中Rainbow算法是DQN系列算法的集大成者,使用了各种DQN变体中的改进方法。Rainbow算法相较于其他DQN系列算法,性能有显著提升,但正是由于使用了过多技巧,其单步训练时间较长。由于历史原因,DQN系列多用于Atari等以图像作为状态输入的环境。需要注意的是,由于DQN系列算法属于基于价值函数拟合的方法,所以仅适用于动作空间离散的场景,即当动作空间维度很高或是连续时无法求解。另外,DQN系列算法都是确定性策略方法,无法学习随机策略。基于策略梯度的强化学习算法能够很好地解决连续动作空间问题。此外,这些算法大多采用在轨策略,且学习的策略都是随机策略,所以学习效率较低。正因如此,目前主流的策略梯度算法都会与值函数拟合算法相结合。当对算法的迭代步长非常敏感时,建议采用TRPO和PPO。这两种算法都采用在轨策略,并且都同时适用于连续动作空间和离散动作空间的决策问题,输出随机策略。TRPO需要求解约束优化问题,计算复杂。为解决这一问题,PPO对TRPO进行一阶近似,使用裁剪或惩罚的方式限制了新旧策略间的分布差距。一般情况下,建议直接使用PPO即可。上述策略梯度算法虽然能够解决高维动作空间问题,但它们产生的都是随机策略,即输入同一状态,输出的动作可能会不一样。在某些场景下,如果期望得到的是确定性动作,则建议使用DDPG算法,其最大特点是策略函数是一个确定性映射函数。由于确定性策略不再需要对动作空间进行积分,因此采样效率相较于其他方法都有提高,非常适合动作空间很大的情况。此外,当强化学习中环境的奖励函数很难设计,或需要利用专家数据给一个较好的起点时,可以使用模仿学习、逆强化学习等方法;当环境奖励稀疏时,需要提升强化学习算法的探索能力,可以使用分布式架构、RewardShaping等方法以鼓励智能体去探索未知状态,也可以使用分层强化学习方法对任务进行分解。
  • [其他] Model-Based和Model-free算法的适用场景
    Model-Based算法适合对象环境相对简单明确、能够进行机理建模的系统,如机器人、工业制造系统,这类算法在采样效率、收敛速度等关键性能上体现出了优势。而Model-Free算法则表现出更广泛的适应性,绝大部分环境不需要对算法进行适配,基本上只要满足接口,就可以做到即插即用。因此,对于大多数环境,特别是复杂性较高、难以建模的环境,如游戏等,可以直接用Model-Free算法尝试。在Model-Free算法中,根据动作取决于策略函数的输出,还是值函数输出的最大值,可以分出策略梯度和价值函数拟合两大类算法。
  • [其他] 强化学习算法选择
    强化学习算法选择在机器学习中,数据不同会导致算法表现不同。同样地,在强化学习中,由于目标环境的多样性,算法在不同环境中表现截然不同。另外,结合业务场景,开发者在其他维度(如算法输出动作的连续性或离散性、算法的学习效率等)上可能还有不同的要求。因此,选择合适的强化学习算法是一个很重要的工作。根据环境是否由模型直接描述,强化学习算法可以分为Model-Free算法和Model-Based算法。Model-Based算法包括Dagger、PILCO、I2A、MBMF、STEVE、MB-MPO、AlphaZero、ExpertIteration等。当智能体所处环境是确定的,且开发者对环境建模感到并不困难时,建议开发者选择Model-Based算法。Model-Based算法先从强化学习主体与环境交互得到的数据中通过监督学习的方式学习环境模型,然后基于学习到的环境模型进行策略优化。在环境简单、观测状态维度较低时,PILCO可以显著提升采样效率,但由于其使用高斯过程回归模型对环境进行建模,模型复杂度随着状态维度指数增长,因此PILCO难以应用于复杂环境。STEVE和MBMPO使用模型集成的方式来表征模型的不确定性,能够有效地将模型推广到高维状态空间。STEVE使用值展开的方式将环境模型与Model-Free算法相结合,当环境无法学习时能够退化为Model-Free算法。MB-MPO利用元学习的方法在环境模型的集成中学习到足够鲁棒的自适应策略,该方法的策略优化过程完全基于环境模型生成想象样本,因此MB-MPO采样效率很高,但当环境难以建模时策略将无法学习。
  • [其他] 其他机器学习任务算法选择
    其他机器学习任务还包括关联规则分析、异常检测和个性化推荐等。关联规则分析常用的经典算法有Apriori算法和FP-Growth(频繁项增长)算法,后者在计算速度上更快。异常检测、新样本检测算法用于发现异常数据点的新的数据点,常用算法有OneClassSVM、LocalOutTierFactor等。OneClassSVM适用于数据量少的情况,对于高维度特征和非线性问题可以体现其优势。LocalOutTierFactor对数据分布的假设较弱,对于数据分布不满足假设的情况,建议使用这种算法。推荐场景下,一般都是高维稀疏数据,可以采用特征学习与逻辑回归相结合的方法,也可以尝试FM(因式分解机)及其深度学习版本DeepFM。此外,还需要从数据标注量的角度来考虑采用哪些算法。有些场景下,标签数据是自动获取的。如销售量预估场景下,随着时间的推移,真实的销量结果会不断产生,可以用于时序模型的持续迭代。很多场景下,标注未必是准确的,如对于某网站的评论区文本分类问题,用户的反馈可能是带有不准确性的。还有很多时候,标注量严重不足,尤其在医疗等行业。针对这些问题,就需要采用半监督、弱监督学习方法。但是,半监督、弱监督也都代表的是学习策略,本质上还是要与每类算法(机器学习、计算机视觉、自然语言处理等)相结合才可以发挥作用。
  • [其他] 时序预测任务中的算法选择
    时序预测任务中的传统算法有ARMA和NARMA等,随着机器学习和深度学习的发展,基于SVM、神经网络等的方法也开始流行起来。近年基于深度学习的时间序列预测主要以循环神经网络为主(如DeepAR等),其提高了多变量时间序列的精度,但是在大规模分布式并行方面时间序列预测有不少的挑战。基于CNN架构的时间卷积网络TCN的计算复杂度更低,性能更好。另外,如果要解决长时间的序列预测问题,建议采用基于注意力机制的Transformer模型。概率图模型通过在模型中引入隐变量,增强了模型的建模能力。混合高斯模型、隐马尔可夫模型、条件随机场都属于概率图模型。概率图模型可以用于分类、聚类、时序预测任务,如相关向量机和朴素贝叶斯可以用于分类任务;隐马尔可夫模型和线性动力系统可以对序列化数据进行建模;混合高斯模型常用于聚类任务。概率图模型可以为模型和预测结果提供概率解释。由于经典机器学习在实际应用过程中需要结合业务领域知识构建特征工程,这个过程中有很多手工工作,因此深度学习方法在不同任务的算法中使用深度多层神经网络从原始数据中学习更好的特征表示,取得了比原始算法更好的效果。传统决策树也可以与深度学习思想(不是深度神经网络)相结合,如DeepForesto机器学习领域目前正在朝着AutoML(自动机器学习)的方向发展,很多著名的机器学习算法库(如sciklt-learn)都演进出了自动版(如Auto-sklearn)
总条数:3416 到第 页
上滑加载中