• [技术干货] 华为云人工智能大赛金奖得主--全面剖析获奖项目《基于ModelArts与HiLens的智能塔台监...
    【DevRun开发者沙龙直播】11月17日晚20:00-21:00,来自华为云人工智能大赛金奖得主“上海麦图科技有限公司”的多位专家——CTO王宏锋、华为云MVP、智能塔台技术总监徐擎阳、首席AI架构师李鑫和AI算法专家孔维国一同进行华为云DevRun官方直播,全面剖析获奖项目《基于ModelArts与HiLens的智能塔台监控防护系统解决方案》直播回看:https://vhall.huawei.com/fe/watch/6671
  • [赛事资讯] 代码也能“杀”虫?--第六届中国国际“互联网+”大学生创新创业大赛的决赛-银奖作品
    国以民为本,民以食为天,对有着14亿人口的中国来说,粮食安全,一直都是关系国计民生的头等大事。2010年以来,我国人均粮食占有量持续高于世界平均水平,然而,中国也是世界粮食进口第一大国。新冠疫情全球蔓延,纷纷将粮食紧握手中,粮食危机被认为是“危机中的危机”。同时,粮食受气候、温度、湿度等自然环境影响,粮食安全问题越发引起人们的注意。#听他们自己说在粮食储存过程中,虫害、霉变和管理漏洞问题让我国粮食安全面临着严峻的挑战。每年粮食产后损失的数量在3500万吨,相当于吉林省一年的粮食产量。这份“餐桌外的浪费”,能不能借助信息化、智能化手段来改善?北京邮电大学的科研团队决定从最根源上减少虫害和霉变的发生。他们是控制科学与工程专业、物流工程专业的博士生和研究生,历经整整六年,研发了我国首套粮堆害虫自动检测设备及智能管理系统,建立了国内首个储粮害虫图像、红外光电序列数据集及粮温粮湿CT图库。这个肩负着“储粮安全智能监控引领者”使命的模型,有个硬核的名字叫“粮盾”,该项目进入了第六届中国国际“互联网+”大学生创新创业大赛的决赛,并取得全国总决赛银奖的成绩,他们正用尖端的科技,为减少粮食浪费筑起最为坚实的后盾。#用尖端科技守护粮食安全让害虫、霉变无处遁形据联合国粮农组织和国家粮食局数据显示,中国每年生产的粮食中有35%被浪费,其中,在粮食生产、流通、加工、消费等环节造成的浪费高达700亿斤,接近我国粮食总产量的6%。在储粮虫害和霉变的检测上,大多粮库都使用测温电缆,根据温度变化进行人工采样检查,然而这种传统检测方式并不精准,往往人们发现问题时,虫害已大量爆发,粮食也随之被吃空。为了减少虫害,粮仓的保管人员只能借助长时间通风降温或大量使用有毒化学熏蒸药剂的方式,不但造成环境污染,对工作人员的人身安全,也存在着种种风险。“粮盾”项目负责人李江涛博士,从本科的毕业设计开始,就接触储粮的相关科研项目。广泛阅读文献、论文,参与课题调研,对粮食行业接触得越深,团队越发感受到点滴粮食的珍贵。能否从储粮的虫害和霉变问题着手,尝试通过智能化手段减少粮食损失?从想法的萌芽到拓宽研究思路、不断迭代直至研发出完备的产品,“粮盾”团队花了将近6、7年时间。在“粮盾”团队的成员眼里,这是一种实验室研究方向的传承,学弟学妹们在学长、学姐的研究基础上接棒,不断完善优化。除了博士生、硕士生,项目还带动了60多位本科生参与项目子课题或子模块的研发。项目核心技术“粮盾云”结合软件和硬件开发,软件算法研发阶段依靠华为云ModelArts等深度学习工具,完成算法框架的搭建,借助华为云ModelArts平台算力算法数字模型导出,结合端侧设备华为云HiLens开发板,形成目前覆盖云边端协同数据采集和处理能力的系统。在感知端,收集粮库安装配备的测温电缆粮堆温度数据,以及团队国内首创的四款虫情采集设备,通过数传终端、边缘计算,汇聚到云端,完成数据汇总和智能分析,实现虫害霉变的早期预测、预警。最后,将信号发送到执行端,也就是粮库配备的机械通风降温系统,以及环流熏蒸杀虫系统,形成闭环,实现储粮安全监控的目的。对储粮安全进行智能监控,感知粮食储存状态,这是传统的监测方式所做不到的。粮堆中最大的储粮害虫,也只有约3毫米长,哪怕高清摄像头,也难以识别图像。一个粮仓有三个篮球场那么大,而粮堆又深达6、7米,在当中找虫子检查霉变情况,无异于大海捞针,加上南北方储粮粮仓仓型不同,比如东莞的粮库用的就是筒仓,粮堆高20多米,要检测到粮仓底部的虫子,单纯依靠人工,无疑难上加难。而通过“粮盾”设备,就能直观地观察到害虫滋生的状况,“粮盾云”数据集囊括了我国16种主要储粮害虫,识别出粮堆内部的每种害虫的种类和数量,算法准确率超过95%。“粮盾”系统结合害虫监测设备获得的数据、粮堆的温度、湿度,以及粮食的品质参数,构建出虫情评估模型和预警数学模型,可自动判断虫害危险等级,并提前一周预警虫害风险。要建立储粮害虫数据库,与害虫接触无可避免。然而,对昆虫,团队里有些成员有着莫名的恐惧。为了完成项目,他们必须克服这道心理障碍。在取害虫样本时,同学们要把害虫从培养罐里拿出来,再放入“粮盾”设备,以此采集图像数据和完成相应标注。回想起第一次拍害虫图像,李江涛后怕到:“我晚上做噩梦,梦见身上带着虫子回来。后来慢慢习惯了这些小东西,就好了。”淡淡的一句“习惯了”背后,凝聚着他们一次次为克服恐惧而付出的勇气。“粮盾”项目将尖端AI技术与民生问题相结合,为传统行业未来发展指引了方向。手握前沿科学技术,却愿意沉下心来,不断接力,在传统而古老的行业里踏实耕耘,团队要面对的艰苦可想而知,但正因如此“粮盾”团队才散发着独特的魅力。研制出第一代测量粮堆内部害虫的探管后,“粮盾”团队便将其拿到粮库里试验,只有真正走进粮仓实践,他们才能发现在实验室中觉察不到的问题。探管插进粮堆一段时间后,很多杂质会通过侧壁掉进探管里,堆积时间长了,探管里的害虫、杂质就很难清理。针对这个问题,历经几个月的迭代,“粮盾”团队首创出第一款粮内害虫检测装置自动清理系统,不用取出探管,就能将其内部的杂质自动清理,不但省时省力,还大大节约了人力成本。#华为提供强有力支持每个粮库减损600吨华为一直致力于人才的培养,北邮作为通信领域“双一流”高校,与华为校企联合成立了华为学院,共同在科学研究上为社会提供更多的发展方向,同时华为也为师生提供更多的帮助与优惠政策。从粮温粮湿CT图到预警早期发热,再到虫情评估及预警数学模型,团队将华为技术应用在机器学习中。在信息井喷的时代,数据既是宝贵的财富同时也造成大量的存储压力,项目研究过程中产生的数据集花费整个实验室十几个人3年的时间整理,既耗时又耗人力,同时数据作为私有财产,需要严格控制其私密性和安全性。团队将百亿级、千亿级的数据托管到华为云的OBS系统里面,再基于ModelArts平台完成模拟训练及算法的更新迭代,使系统的运作效率得到显著提升。在项目研发过程中,华为派出技术人员和管理人员亲力亲为辅助项目落地,确保数据托管的私密性,让团队放心的进行技术研究。面对数据私密性的挑战,华为给了“粮盾”团队一颗定心丸。正如团队蔡阔学弟所说:“我们数据是百亿级、千亿级的,华为给了我们非常大的存储空间,让我们可以放心地将庞大的数据存储、托管到华为的AI平台。再者,华为的技术老师不但给我们发来详尽的技术文档,还非常耐心地讲解,让我们放心地把技术和服务托管到华为云AI平台,给我们的数据私密性带来重要保障。”“粮盾”团队成员在两三个月时间里,奔赴全国各地走访了安徽国储库、重庆铜梁库、河北清苑库、北京顺义库、东莞库等粮库,对行业内部进行商业调研,了解整个粮食行业的软硬件需求及整套系统的商业模式。在“粮盾”系统研发过程中,身处粮食行业多年的指导老师,在行业需求上更进一步地给团队指明了产品的痛点和技术迭代的方向。在市场规划上,更有顶级专家顾问从粮食行业的渠道、运作模式和市场资源渠道等方面给同学们提供新的思路和启发。北京邮电大学的特聘专家——曼尼托巴大学的副校长和国家粮食和物资储备局科学研究院的专家们,在粮食行业需求的认识上,给予“粮盾”项目深度指导。来自各方的力量帮助项目组成员对行业需求和痛点有了更为清晰的了解。目前,“粮盾”系统已在国内13个省市的示范粮库进行了示范应用,获得粮库主任的一致认可,并受到前任国家粮食和物资储备局副局长吴子丹教授的高度好评。示范库使用“粮盾”系统后,每年每个粮库粮食减损量可达600吨,减少有毒化学药剂使用15%以上,节省人力成本2250人时。如果全国1.3万个粮库都用上“粮盾”系统,与现在的人工筛虫方式相比,“粮盾”每年可减损780万吨粮食和50%的储粮损耗、人力成本,直接经济效益可达795亿元。“粮盾”团队还和国家粮食与物资储备局科学研究院开展紧密合作,将“粮盾”融入其建设的“粮情早知道”平台0的4个核心模块,为至少100个国储库进行储粮安全的一体化监控,并合作优化多项粮堆安全评判标准,制定新的测虫行业标准。通过应用推广,使粮盾成为我国粮库监管标配。#未来可期,少年强则国强“粮盾”团队的成员,性格迥异,有人比较急躁、有人爱钻牛角尖、有人在技术上不断追求完美的、有人做事非常冷静,在相互磨合中,他们一步步将项目带上更大的舞台,交出了一张张闪亮的成绩单。在学术领域,“粮盾”项目团队共申请和获得专利9篇,发表了高水平论文8篇。他们还带着“粮盾”项目多次参与各种学科竞赛,在第六届中国国际“互联网+”大学生创新创业大赛中,他们更是一路闯进总决赛,与全球顶尖名校学生同台竞技,夺得了创意组高教主赛道银奖。“粮盾”团队的脚步并未就此停下,未来计划借助华为云平台的AI市场,端云协同多模态AI开发应用平台Hilens等开展全方位的服务。大学生是推动社会飞速发展的主力,为培养更多数字时代的优秀人才,华为联手教育部,在有关高校建设“智能基座”产教融合协同育人基地,现已在北京大学、清华大学、上海复旦大学、上海交通大学、西安交通大学、哈尔滨工业大学等72所高校,把鲲鹏、昇腾系列课程融入计算机专业、软件工程专业、人工智能专业、电子信息专业进行首批试点。为此,华为还联合出版社、各高校学科带头人,面向高校师生及开发者陆续推出鲲鹏、昇腾系列学习教材和教辅资料。未来,“智能基座”项目将全面推广,覆盖更多高校,真正实现产、学、研的全面协同。相信在华为的加持下,优秀的尖端人才,在面对社会问题时,更能像“粮盾”一样,一如既往地坚守初心。“我们亲眼见到粮食从储备、运输到真正让大家吃上饭,这个过程是多么艰难,需要投入多少人力物力财力。袁隆平爷爷这么大年纪,仍为‘一粒粮食可以拯救一个国家’的使命而努力工作,未来,我们同样会继续在粮食行业深耕,从粮食储藏和运输的环节,帮助中国提升粮食安全的保障能力,为粮食行业的智能化转型贡献一份力量,为我国的节粮减损建设无形的良田!”本文转自:华为 公众号
  • [讲座&活动公告] 华为云“云上先锋”大赛—开发者青年班ModelArts 动手实践 AI 开发实践课
    【课程简介】华为云开发者青年班,是面向开发者的精品实战系列课程,目前已开展第八期,均由华为云高级技术专家亲自带队指导!本期活动以ModelArts 动手实践 AI 开发为主题。让大家在开发者青年班中体验 学、练、赛一站式课程内容,轻松掌握AI开发技能。最近几年深度学习算法在自然语言处理、语音识别、图像处理等领域的突破应用和广泛接受。这也标志着深度学习已经彻底迈出实验室大门,走向实践,推动着人工智能向更高阶段发展。本课程就是对深度学习感兴趣的学员准备的,将深度学习理论和实践结合,更注重于深度学习算法该如何应用到图像处理等相关领域,干货满满本次开发者青年班课程与华为云“云上先锋”2021年度学习赛—EI&DevCloud相结合,通过系统性的课程学习,让零基础的开发者也可以完成赛事,并以“技术赋能、创新引领”为理念,通过线上学习+实践操作+丰厚奖品为形式,开发者可以了解华为前沿研发理念和先进技术,体验用华为云EI&DevCloud产品进行场景应用的开发,加深对华为云技术的了解,并提升自身的技能与能力。【参与对象】对AI感兴趣的开发者及个人,均可报名学习并参赛。【课程报名方式】点击立即报名即可报名成功 “立即报名”    报名成功后可参与活动分享,获得丰厚的分享奖励。【课程安排】课程时间安排课程安排实践安排课程学习入口(开课当日发放)11月12日-11月16日python基础课程Python编程知识开始学习11月17日15:00-17:00专家直播课,在线学习指导直播互动直播回顾11月18日-11月22日图像分类课程图像分类(入门版、进阶版)开始学习11月23日-11月30日图像目标检测课程目标检测(入门版、进阶版)开始学习【课程打卡要求】在课程时间安排内,在课程学习入口处点击链接领取课程内容学习后按照指定要求在帖子下方回帖形式完成打卡即可,完成全部课程打卡的用户可直接获得普惠奖抽奖机会一次(中奖概率80%)、及开发者青年班结业证书【活动奖励】【课程交流及答疑】1、参加开发者青年班课程学习扫描下方二维码加入活动QQ群内,每日课程公告,获奖名单信息等重要内容会第一时间在群内通知。2、如有技术相关问题可在此贴下方评论区内进行提问,专家会在24小时内为大家统一进行答疑处理。注意事项:1、大赛邀请专属链接禁止在本期开发者青年班活动群内露出,如发现群内露出将取消活动邀请资格。2、统一宣传推广图文可在活动QQ群公告处或此贴附件中查看领取3、 活动邀请中需完成实名认证,非实名认证用户或发现机器账号(同一用户多次报名、虚拟手机号注册、同一时间段连续注册)等非有效账号将不计入有效邀请人数,并取消该用户活动邀请资格 >>实名认证操作指导
  • [技术干货] 深圳开放数据应用创新大赛 - ModelArts平台使用指导
    为了帮助各位选手更快得掌握、更好地使用华为云ModelArts开发平台,我们为大家准备了《深圳开放数据应用创新大赛—ModelArts平台使用指导》手册,以供大家查阅、学习。指导手册主要内容如下;大家可在下方下载按钮点击下载附件《使用指导》手册,以及手册内baseline files压缩包文件。
  • [前沿快讯] 拿下机器学习公有云服务中国市场份额第一的AI开发平台,到底做对了什么?
    作者 张倩近日,国际权威研究机构 IDC(国际数据公司)最新发布的《中国 AI 云服务市场(2020 上半年)跟踪》报告显示,华为云一站式 AI 开发平台 ModelArts 位居机器学习公有云服务中国市场份额第一位,高达 29%。报告指出:华为在国内市场具有先天的认知优势,开发者对于华为的技术、产品、品牌有着天然的认知和信赖。其中,华为云一站式 AI 开发平台 ModelArts 在行业用户中的主动提及率非常高。可以见得,在 ModelArts 平台学习 AI 技术已经成为越来越多开发者的偏爱,ModelArts 也正逐渐成为行业 AI 落地的首选。数据来源:IDC《中国 AI 云服务市场半年度研究报告,2020H1》众所周知,市场份额是产品是否好用的一个忠实反应。对于用户来说,「好用」的标准非常简单,即你的产品到底有没有解决我的问题?比如能否实现降本增效,产品是否安全可控等等。 作为一站式 AI 开发平台,华为云 ModelArts 的用户所关注的问题也在这一范畴之内。具体来说,他们会关心:这个平台上手门槛高不高?成本、效率高不高?我的数据隐私能得到保护吗?我的模型我自己能把关吗? 接下来,我们就从这些问题入手,看看市场份额第一的华为云 ModelArts 有没有解决这些问题。 开发者和企业所看中的,华为云 ModelArts 都满足了吗? 1. 门槛、成本和效率 一位从传统 IT 转向 AI 软件研发的技术总监曾表示,在早期的研发阶段,他们遇到了不少棘手的问题,比如从数据收集、处理,模型训练、管理到发布,AI 开发基本都处于一种「乡间作坊」的工作模式。这种工作方式不仅效率低下,而且不利于新人的培养,让人才培训成本居高不下。同时,模型上线后的工作性能受物理硬件的限制,横向扩展耗时耗力,资源利用率也无法有效保障。 这位技术总监提到的问题主要体现在门槛、成本和效率几个方面。在门槛方面,推动 AI 发展的核心四要素——算法、算力、数据和知识,每一个都存在门槛。在成本方面,传统的「乡间作坊」工作模式开发流程冗长,涉及的人员较多,人力、物力成本居高不下;在效率方面,这种工作模式容易重复造轮子,资源复用率低。 在种种困境下,华为云 ModelArts 走进了这些开发团队的视野。 为什么是 ModelArts? 在自然语言处理领域,BERT 的问世是一个里程碑事件。它让整个社区尝到了「预训练」的甜头:只需要简单的迁移策略,就能让模型在下游任务中获得良好的性能,使该领域由原来的手工调参、依靠机器学习专家的阶段,进入到大规模、可复制的大工业生产的阶段。这一经验同样可以复制到其他领域,华为云 ModelArts 的通用预训练模型架构——EI-Backbone 就是这一路径的开拓者之一。 EI-Backbone 通过整合算法模型、算力、数据和知识,可以进行模型选择自动设计、参数配置自动调优,在分钟级内完成模型训练,无需依仗专家经验就能大幅提升模型精度,显著降低 AI 使用门槛,缩短开发流程,提升开发性能。该架构提供了一种「预训练模型 + 小样本微调」的高效训练模式,能够让开发者基于行业小样本数据训练高精度模型。这在医疗等优质数据稀缺的场景中尤其有用。以医疗影像分割为例,过去需要成百上千例标注数据才能进行的训练,在 EI-Backbone 的加持下,只需要几十例甚至十几例标注数据即可完成,节省标注成本高达 90% 以上。 效率的提升和成本的节约还体现在算力方面。华为全联接大会 2020 发布的最新版华为云 ModelArts 3.0 在集群规模、任务数量以及分布式训练各个环节做了针对性优化,并支持弹性训练。弹性训练指的是华为云 ModelArts 提供的两种模式:一是 Turbo 模式,可以充分利用空闲资源加速已有训练作业,训练速度可提升 10 倍以上,并且不影响模型的收敛精度;二是经济模式,可以通过最大化资源利用率给开发者提供极致的性价比,在大多数典型场景下可以提升性价比 30% 以上。这种降本增效的成果在实际的业务场景中是非常可观的,无论是对 AI 开发者的低成本快速上手的需求,还是对行业 AI 智能转型升级来说,无疑都是最合适的选择。 2. 对数据的掌控 AI 模型性能的提升离不开大量的多源数据。如果企业只用自己有限、单一来源的数据进行训练,得到的模型可能不够准确,或泛化性较差。在此背景下,各个数据拥有方不可避免地要进行合作。 但与之矛盾的是,很多行业的数据涉及用户隐私、行业机密等问题,数据拥有者不愿或不能将数据上传至一个数据中心进行模型训练,从而形成了一个个的「烟囱」或「孤岛」。 华为云 ModelArts 的用户大多是这种类型,他们身处医疗、政务、金融等安全、隐私性要求极高的领域,因此必须对自己数据的流向进行严格把控,做到数据不出库。 数据不能出库,但模型的参数可以,这就是华为云 ModelArts 提供的联邦学习解决思路。在华为云 ModelArts 3.0 下,用户可以各自利用本地数据训练模型,不交换数据本身,只用加密方式交换更新的模型参数,实现云边协同训练。此外,华为云 ModelArts 3.0 不仅支持横向联邦学习,处理对齐的数据,还支持纵向联邦学习,可以轻松处理训练样本 ID 重叠多的数据。 对于使用华为云 ModelArts 实现行业 AI 落地的用户来说,引入联邦学习不仅解决了数据隐私问题,还节约了数据方面的成本。众所周知,医疗、制药等领域的数据标注难度非常大,需要领域专家的介入,因此成本非常高。通过联邦学习,各个数据拥有方都可以在这一技术的保护下实现数据价值的交换,显著降低成本。  3. 对模型的掌控 模型从实验室走向生产环境是一个令人揪心的过程。开发者和企业会担心这个模型精度不够高、性能不够好、可解释性差、可信度低等问题。在这些都没弄清楚之前,没有人敢大规模部署这款模型。 华为云 ModelArts 的成功之处在于,它在一定程度上缓解了这种「不透明」所带来的顾虑,将自动评估、诊断之后得到的模型精度、性能、可解释性、可信度等信息展示在一块「面板」上,让用户直观地看到自己模型的基本情况。 而且,这种评估是非常精细的,仅精度方面就有准确率、精确率、召回率、F1 值、混淆矩阵、ROC 曲线、数据敏感度分析等多项指标。这些指标可以帮助用户进行有针对性的调优,让用户做到「心中有数」,放心部署。 哪些行业已经用上了华为云 ModelArts? 当前,华为云 ModelArts 已经在金融、医疗、药物研发、自动驾驶等多个领域得到了广泛应用。 在金融领域,华为云 ModelArts 已经用于金融票据 OCR 识别。由于金融票据格式多样,差别细微,需要 AI 专家进行长时间的票据 AI 训练,因此业界识别准确率普遍不够精准。针对票据模型开发训练数据标注、模型训练、调优和部署上的诸多难点,华为云 ModelArts 通过数据集分类、自动学习、迁移学习等方法,让初级 AI 开发者无需调参等操作,轻松操作数据标注工具,完成部署。 在医疗领域,去年 11 月份,放射学领域国际顶级期刊《Radiology》发表了华为云 EI 创新孵化 lab、华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科联合团队的最新研究成果:运用华为云 ModelArts 开发的一套基于 CTA 影像的脑动脉瘤检测算法。该算法灵敏度高达 97.5%,帮助医生临床诊断灵敏度提升约 10 个百分点,漏诊率降低了 5 个百分点,同时有效缩短了医生的诊断时间。在药物研发领域,2020 年,华为云 EI 与中国科学院上海药物研究所签署联合创新合作协议,将华为自研的 FedAMP 算法和 AutoGenome 算法应用到药物研发的 AI 任务中,精准预测药物水溶解性、心脏毒性和激酶活性。中国科学院院士、中国科学院上海药物研究所研究员蒋华良联合华为云发布基于 ModelArts 平台的药物联邦学习服务,以解决研发数据高壁垒、高成本以及高机密的问题。实践证明,通过华为云 EI 联邦学习训练后的模型,准确度远超传统的联邦学习和深度学习算法。回顾过去的一年,华为云 ModelArts 在抗击疫情方面也发挥了重要作用,其参与的联合科研团队在 2020 年 2 月份就筛选出了五种可能有效的新冠抗病毒药物。此外,华为云还依托 AI 昇腾集群服务和 ModelArts 推出了 AI+CT 医学影像分析服务,运用计算机视觉与医学影像分析技术对患者肺部 CT 多发磨玻璃密度影(GGO)以及肺实变进行分割以及量化评价,并结合临床信息和实验室结果,辅助医生更高效、精准地区分早期、进展期与重症期,助力疫情防控工作。 技术赋能行业离不开一个低门槛、高效率同时又安全、可靠的工具。华为云 ModelArts 这类 AI 开发新工具的出现是实现技术普惠的重要条件,让「学 AI,用 ModelArts」成为开发者群体的新风尚,亦将让行业 AI 落地开拓者们亲手触碰到未来。 参考链接: https://www.zhihu.com/question/327642286/answer/1465037757 https://bbs.huaweicloud.com/blogs/203915 https://tech.ifeng.com/c/81fISXbX0Ay 本文转自:机器之心
  • [精彩回顾] ModelArts助力“东风出行杯开发者创意大赛”顺利收官
    3月9日,由东风汽车集团有限公司、东风畅行(武汉)科技股份有限公司联合主办、华为公司承办的“东风出行杯开发者创意大赛”顺利收官,来自武汉大学的“教学实验大楼6楼”团队成功问鼎夺冠。受新冠肺炎疫情影响,比赛采用线上方式进行。“东风出行杯开发者创意大赛”是大数据分析、创意交流赛事,赛题与东风畅行实际业务相结合,为开发者提供一个交流、学习,创新挑战的平台,以达到为业务赋能、培养汽车行业大数据人才的目的。大赛参赛者基于华为云一站式人工智能开发平台ModelArts,根据组委会提供的历史出行订单、出行原始**点数据,完成了订单需求预测、出行行为分析等模型的开发。大赛由东风出行平台提供2019年9~11月的部分订单数据,数据量大于50万行。赛题包括“订单需求预测”和“出行行为分析”两部分,参赛者通过分析历史订单数据,对给定的时间和给定的地点或区域,使用算法预测订单需求数量;同时通过分析用户使用东风出行app的历史数据,分析用户出行规律和人口流动特征,生成个性化运营方案。大赛期间,华为云面向参赛开发者提供了AI开发平台ModelArts,作为一站式人工智能开发平台,ModelArts为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流,成为本次大赛的重要技术支撑。大赛分为初赛、决赛两个阶段,吸引了东风集团内部单位、外部企业、高等院校的25支队伍参赛。在初赛截止前,各参赛队提交了代码、模型、开发过程及解题思路介绍材料、仿真环境演示结果等,经由专业评审评判,最终7支参赛队入围决赛。入围决赛的队伍,经过线上答辩,八位专家评委严格评估,评选出最终获奖者:来自武汉大学的“教学实验大楼6楼”团队荣获一等奖,上海交通大学“蒲公英”团队、东风汽车公司技术中心“珠山湖波特舰队”团队获得二等奖,东风汽车公司技术中心“哈哈的数据联盟”团队、武汉大学“WHURSGIS”团队、东风日产乘用车公司“大碗宽面”团队、武汉理工大学“Transformer”团队获得三等奖。武汉大学“教学实验大楼6楼”团队获大赛冠军自2019年5月正式上线网约车业务以来,东风畅行旗下的东风出行平台用户订单数据已经超过100万。大赛充分结合平台大数据和华为云ModelArts的AI开发能力,赋能各参赛开发者产出优秀创意,为东风出行的运营升级提供更多思路,让无形的数据资产发挥出了更大价值,赋能智慧出行,改善用户体验。东风汽车集团有限公司副总经理尤峥代表东风公司对全体参赛队伍表示感谢。他说,本次大赛历时近2个月,后期还遭遇了前所未有的疫情。各参赛队努力克服困难,全身心地投入赛事当中,展示了良好的比赛成果。此外,本次大赛也为东风汽车数字化业务的价值挖掘提供了新思路、新模式。尤峥还表示,当前我国已将智能网联汽车与新能源汽车并列作为汽车产业发展的重要战略方向,数字化转型已成为重中之重。未来,汽车产品的定义将会发生变化,新一代汽车融合云计算、大数据、物联网、移动通讯、AI、三电等创新技术,汽车产业的价值链会向“产品+数据+服务+生态”拓展,数字化与生态融合将成为价值增长带。面向未来,也期待参赛选手在内的广大青年才俊们能够携手东风、共创未来。智慧出行是东风公司战略发展方向之一,在东风公司与华为公司的深化战略合作基础上,这次赛事也为双方创造了出行业务智能化的新契机。除智慧出行外,华为云ModelArts还支持图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景,让AI的行业应用有了更多想象空间。目前,ModelArts已经拥有开发者超过4万;2019年5月,ModelArts在斯坦福大学DAWNBench榜单以2分43秒的成绩获得图像识别训练时间世界第一。
  • [讲座&活动公告] 【打卡贴】开发者青年班ModelArts 动手实践 AI 开发实践课(图像分类课程+实践)
    课程内容:python基础https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE075+Self-paced/courseware/9d693a77b3e44ed291219706b6c277c4/988f88df3c3a440794d1c0f380fe1bf5/实践内容:图像分类(入门版、进阶版)入门实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=4cd2f612-a3ce-4503-961f-48c61bcce016进阶实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=eccb48ab-6514-4658-bbda-08208abba471【打卡说明】完成任务后在此帖下方按要求回复打卡内容输入个人华为云账号课程学习进度截图实践完成截图以上三个内容缺一不可哦~【打卡示例】课程学习后,在评论区上传学习进度截图,截图内包含华为云账号示意图:实践完成后,在评论区上传实践截图,如下:注:图片需要截图全屏,包含华为云账号信息。实操示意图:如果点击之后,跳转的页面右上角出现连接或者登陆,请先连接或者登陆,之后需要稍等30s此案例需要GPU运行,切换规格为GPU,优先选择免费由于实操人数过多,免费规格可能会售罄,此时需要切换到付费规格(一定要确保自己领取了代金券,可以点击此处查看代金券) 切换规格完成之后,点击控制台左上角三角形符号开始运行实践代码,具体操作可以参考:JupyterLab的详细用法: 请参考《ModelAtrs JupyterLab使用指导》碰到问题的解决办法: 请参考《ModelAtrs JupyterLab常见问题解决办法》完成之后点击右上角的分享按钮点击此处,可以查看自己完成的实践,并截图提交注:在11月18日-11月22日期间完成打卡可算课程完成有效人数,全部完成后可获得青年班结业证书+获得普惠抽奖资格一次哦~
  • [讲座&活动公告] 【打卡贴】开发者青年班ModelArts 动手实践 AI 开发实践课(图像目标检测课程+实践)
    联盟全部联盟华为云大赛技术圈话题详情返回列表 上一篇 下一篇总条数:5  1 回复话题 发表话题删除主题| 升降| 置顶| 高亮| 精华| 图章| 图标| 分类| 修复| 警告| 屏蔽| 标签| 生成文章|大赛技术圈角色:成员话题:202发消息发表于2021年11月23日 08:03:24 阅读509回复4 楼主 倒序浏览只看该作者[讲座&活动公告]【打卡贴】开发者青年班ModelArts 动手实践 AI 开发实践课(图像目标检测课程+实践)课程内容:图像目标检测课实践内容:图像目标检测(入门版、进阶版)入门实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=5b1a8f83-9ca3-432a-80b9-0dc732ba1b53进阶实践:https://marketplace.huaweicloud.com/markets/aihub/notebook/detail/?id=95e3bd68-aa3e-4bfa-b6d2-c2ea8808b57b【打卡说明】完成任务后在此帖下方按要求回复打卡内容输入个人华为云账号课程学习进度截图两个实践完成截图以上三个内容缺一不可哦~【打卡示例】课程学习后,在评论区上传学习进度截图,截图内包含华为云账号示意图:实践完成后,在评论区上传实践截图,如下:注:图片需要截图全屏,包含华为云账号信息。实践示意图:如果点击之后,跳转的页面右上角出现连接或者登陆,请先连接或者登陆,之后需要稍等30s 此案例需要GPU运行,切换规格为GPU,优先选择免费由于实操人数过多,免费规格可能会售罄,此时需要切换到付费规格(一定要确保自己领取了代金券,可以点击此处查看代金券)切换规格完成之后,点击控制台左上角三角形符号开始运行实践代码,具体操作可以参考:JupyterLab的详细用法: 请参考《ModelAtrs JupyterLab使用指导》碰到问题的解决办法: 请参考《ModelAtrs JupyterLab常见问题解决办法》运行完成之后,点击右上角分享按钮:点击此处,可以查看自己完成的实践,并截图 进阶版实践也是一样操作,最终,将此截图提交即可注:在11月23日-11月30日期间完成打卡可算课程完成有效人数,全部完成后可获得青年班结业证书+获得普惠抽奖资格一次哦~
  • [其他] Atlas\CANN\MindSpore\MindX\Modelarts底座齐全呀
    作为先进的AI算力底座,昇腾AI基础软硬件平台包括Atlas系列硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindX以及一站式开发平台ModelArts等,助力企业和开发者高效使用AI能力。用通俗的话来讲,昇腾人工智能平台可以使能人工智能计算中心生产“模型”,企业和机构借助“模型”最终生产产品;“模型”应用到手机里,就拥有图像分类等能力;应用到自动驾驶领域,车辆就拥有自动驾驶能力。当前在AI领域,“大模型+大数据+大算力”已成为迈向通用人工智能的一条可能路径。随着全球对人工智能算力需求的持续攀升,为了促进整个产业健康发展,各地政府有必要保障大量中小企业、科研机构获取充足的人工智能公共算力。从具体作用来看,建设人工智能计算中心无疑是一个一举多得的举措。满足基本算力需求后,人工智能计算中心还可以带动人工智能基础研究和共性技术的突破。通过建设新平台,能够为前沿理论研究提供强大算法、数据与算力支撑,为自适应学习、类脑智能计算、量子智能计算等跨领域基础理论提供国际顶尖的研究平台,有效推动技术发展,抢占人工智能科技创新制高点。在帮助产业智能化转型方面,人工智能计算中心可以降低AI的研发、使用门槛,将人工智能企业和优势产业有机结合,使能人工智能技术与产业深度融合,落实国务院《新一代人工智能发展规划》中“推动人工智能规模化应用,全面提升产业发展智能化水平”的要求。
  • [其他] ModelArts将自动学习旧版项目升级到新版
    自动学习功能升级为新版,如果您的项目是在旧版中创建,需升级后再使用。未升级的自动学习项目,无法进行数据标注、训练以及部署等操作。说明:预测分析”类型的项目,可以不执行升级,直接使用新版自动学习。升级到新版登录ModelArts管理控制台,在左侧菜单栏中选择“自动学习”,进入“自动学习”项目列表页面。查找您的旧版项目。在“自动学习”列表中,如果项目是旧版的,在项目名称处带有标识,针对此类项目,单击操作列的“升级”。如果您的项目是新版的,则操作列中不存在“升级”按钮。图1 查找旧版项目在弹出的对话框中,设置需保存的“数据集名称”,以及数据集“存储路径”,然后单击“确定”启动升级。图2 升级项目等待项目升级,大概几分钟之后,项目将被升级为新版,项目名称处不再有旧版标识,且操作列不再存在“升级”按钮。
  • [行业动态] 华为云ModelArts蝉联中国机器学习公有云市场份额第一
    近日,国际数据公司IDC发布 《IDC中国2021H1人工智能公有云服务市场研究报告》 华为云一站式AI开发平台 ModelArts 位居中国机器学习公有云服务市场份额第一 连续三次登上该市场榜首位置 报告指出,在中国机器学习公有云服务市场中,华为云受到政企客户的青睐,在AI云服务市场的竞争优势逐渐凸显。华为云一站式AI开发平台ModelArts可以提供数据处理、算法开发、模型训练、模型管理、模型部署等AI模型开发全流程技术能力;率先支持MLOps;持续构建大模型训练优化能力。同时积极打造开放的AI生态,接入生态开发工具,通过华为云AI Gallery联接AI市场的供、需、学三方,助力解决AI落地时所面临的“AI算力稀缺、AI人才短缺、AI开发难、AI行业应用难”两难两缺难题,推动AI走进千行百业的核心生产系统。面向AI开发者,持续提供硬核黑科技服务 ModelArts人工智能集群服务支持大规模分布式训练。为帮助开发者及企业客户解决训练大模型时面临的技术、成本、资源等挑战,华为云一站式AI开发平台ModelArts提供人工智能集群服务,全场景深度优化,支持大规模分布式训练。从端到端全流程角度看,相比线下开发大模型,基于ModelArts的开发效率可提升4倍以上,并且可以解决超大模型训练的资源可获得性问题。云原生模型开发工具链,助力AI开发效率提升。华为云一站式AI开发平台ModelArts支持将云上资源与开发工具链相结合。面向AI初学者,线上CodeLab支持秒级接入资源,可按需切换;面向深度开发者,支持云上远程开发与自定义开发环境。借助云原生的资源调度,开发者可进一步构筑基于ModelArts云原生的算法开发范式和能力。面向AI生态,搭建“知识”+“实训”的AI开发社区 基于一站式AI开发平台ModelArts,华为云构建了开发者生态社区AI Gallery,这是一个AI资产共享的社交平台,也是“知识”+“实训”的AI开发社区。 AI Gallery汇聚了算法、模型、数据集、工作流等10余种、50000余个AI资产,保障AI开发、应用生态链上的各个参与方都能高效地实现各自的商业价值,降低各行各业开发者在人工智能领域的学习门槛,加速AI的应用实践。面向AI行业落地,全面支持全流程MLOps开发 华为云一站式AI开发平台ModelArts全面支持MLOps,改变了原有分段开发AI模型的流程, 实现全流程自动化的协同迭代开发模式。ModelArts也成为国内首个支持MLOps的AI开发平台。 基于MLOps的理念,华为云一站式AI开发平台ModelArts的Workflow工具提供运行记录、监控、持续运行等功能。通过Workflow工具,实现AI开发、运行及运行后监测的全生命周期管理,加快AI开发到落地的迭代速度,以及效果体验的持续优化。同时,开发者可通过AI Gallery实现Workflow快速构建与能力分享。华为云一站式AI开发平台ModelArts帮助企业实现了AI应用全生命周期管理,大幅提升AI开发效率,加速了AI在千行百业的落地。制造领域,华为云和博世华域基于ModelArts Workflow开发出了刀具状态智能识别Usecase。通过刀具声音识别算法,在保证良品率的情况下,刀具使用效率提升5%以上。基于MLOps理念打造的刀具声音识别Usecase,能够轻松地针对不同刀具甚至其他生产工具进行方案扩展,将声音检测算法应用在更广泛的制造行业状态维护场景;药物研发领域,依托华为云一站式AI开发平台ModelArts与华为云一站式医疗研发平台EIHealth,中国科学院上海药物研究所联合华为云训练了华为云盘古药物分子大模型,赋能全流程的AI药物设计,大幅提升新药研发效率;交通运输领域,深圳机场基于华为云机场智能体快速构建60+调度规则,实现机位分配自动化、智能化,让机场靠桥率提升5%,每年帮助260万旅客免乘摆渡车。转自华为云公众号
  • [其他] ModelArts人工智能快速应用开发,声音分类模板开发与文本分类模板开发,自动学习三步骤
    基于ModelArts人工智能快速应用开发,声音分类模板开发与文本分类模板开发,自动学习三步骤1,数据准备与图像分类,目标检测相似,在ModelArts自动学习上基于,声音分类,文本分类,创建一个项目,然后将声音分类,和文本分类的数据进行标准2,自动模型分类训练ModelArts利用声音分类与文本分类算法,并根据输入的数据自动训练声音分类模型,文本分类模型,类似于图像分类,训练之前可以配置更多自己需要的参数,增加训练次数等3,应用部署和测试同样的将训练好的模型部署为一个推理服务,类似于图像分类,目标检测,对模型精准度满意后,可进行部署,和在线测试
  • [其他] IDE_ModelArts集成式开发环境IDE
    集成式开发环境IDEhttps://www.huaweicloud.com/product/modelarts/ide.html云原生Notebook服务,快速接入分享案例内容,让AI探索&教学更简单。在ModelArts Studio中统一管理AI开发全流程,提升开发效率,并记录模型构建实验全流程。本地IDE+ModelArts插件远程开发能力,运行环境自定义,云上云下,无缝协同。关键特性ModelArts CodeLab云原生Notebook服务,案例内容秒级接入与分享Serverless化实例管理,资源自动回收免费算力 + 规格按需切换ModelArts StudioAI开发全流程统一管理提升开发效率构建AI应用工作流加速模型迭代记录模型构建实验全流程,提高模型可靠性支持机器学习,深度学习,强化学习,决策优化ModelArts Studio extension for PyCharm and VScode本地IDE+ModelArts插件远程开发能力。贴近开发人员使用习惯云上开发环境,包含AI计算资源,云上存储,预制AI引擎运行环境自定义将开发环境直接保存成为镜像,供训练、推理使用
  • [知识分享] 手把手教你用ModelArts模型部署上线&在线推理(Python版)
    >【摘要】 本文的主要目的是带想用ModelArts的同学过遍ModelArts的基础功能并部署属于你自己的模型在云上,并且能够本地通过python代码调API的方式在线推理【本文以tensorflow 1.13为例】。本文分享自华为云社区《[手把手教你用ModelArts模型部署上线&在线推理](https://bbs.huaweicloud.com/blogs/313145)》, 作者:苏道。 ## 前言 ModelArts是面向开发者的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 **本文的主要目的是带想用ModelArts的同学过遍ModelArts的基础功能并部署属于你自己的模型在云上,并且能够本地通过python代码调API的方式在线推理【本文以tensorflow 1.13为例】。** ## 模型部署阶段 ### 1、模型格式要求 因为模型部署在云上需要在AI框架[tf/pytorch/mxnet]上再套一个serving框架,本文主要利用tensorflow框架,上层的serving框架会对tensorflow的saved model形式比较亲和[推理比较快],所以需要把模型先转成saved model格式的模型,可能的路线是**pb--->saved model / ckpt --->saved model /h5--->saved model**,具体转法同学们可以参考网上的教程~ 最终生成的saved model文件树如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/1142504o6j2cjxmcamndrg.png) variables目录里如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/114319a3wxh7qzlht1kqt3.png) 值得注意的是,saved model.pb文件只包含了图,不包含权重,权重全部存在了variables目录下,如果同学们转换出来variables里面是空的,pb文件很大,是有问题的,应该是转换代码的问题。 ### 2、配置文件编写 **config.json:** 如下是一个简单的config.json文件的内容,runtime 参数定义运行的ai引擎、和推理的环境,reques参数定义当通过request调用这个api时的格式,需要是form-data还是其他,传的是图片file还是string,response定义了推理完模型后返回给请求的格式,dependency是额外需要的一些依赖环境的配置。 具体的其他场景怎么编写可以参考官网文档:[模型配置文件编写说明_AI开发平台ModelArts_推理部署_推理规范说明_模型包规范_华为云 (huaweicloud.com)](https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0056.html) ``` { "model_type": "TensorFlow", "model_algorithm": "test-resnet", "runtime":"tf1.13-python3.6-cpu", "apis": [{ "protocol": "http", "url": "/", "method": "post", "request": { "Content-type": "multipart/form-data", "data": { "type": "object", "properties": { "sentence": { "type": "string" } } } }, "response": { "Content-type": "applicaton/json", "data": { "type": "object", "properties": { } } } }] "dependencies": [{ "installer": "pip", "packages": [{ "restraint": "EXACT", "package_version": "1.1.5", "package_name": "pandas" }, ``` ### 2、customize_service.py编写 这部分主要是定义模型的数据前处理、后处理和推理的接口,以及返回什么内容应该怎么写,下模板是一个无需前后处理,返回QPS和推理结果、时间的例子,更详细的说明可以参考官方文档:[模型推理代码编写说明_AI开发平台ModelArts_推理部署_推理规范说明_模型包规范_华为云 (huaweicloud.com)](https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0057.html) ```py import logging import threading import numpy as np import os import pandas as pd import tensorflow as tf # 导入tensorflow from PIL import Image from model_service.tfserving_model_service import TfServingBaseService from config import * import time logger = logging.getLogger() logger.setLevel(logging.INFO) class mnist_service(TfServingBaseService): def __init__(self, model_name, model_path): self.ctx = None self.use_time = 0 def _preprocess(self, data): return data def _inference(self, data): print('ready to infer') time_list = [] start_time = time.time() predict_result = self.sess.run(self.model_outputs, feed_dict=self.model_inputs) time_list.append(time.time() - start_time) use_time = np.mean(time_list) result = {} result['output'] = predict_result.tolist() result['aver_use_time'] = use_time result['QPS'] = 1 / use_time return result def _postprocess(self, data): return data ``` ### 3、打包上传OBS 将上述文件按如下图打包到一个文件夹里: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115202nf9jjuv1tft6yjfp.png) 上传OBS: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115213lpwlfbrpt0ehpjwn.png) ### 4、模型部署 选择ModelArts里的模型管理---模型 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/1152449d3oeluocvcvooo6.png) 然后在‘’我的模型‘’里选择‘’导入‘’,然后再模型创建界面中的‘**元模型来源**’选择从**OBS**导入,如下图,除了红框需要选择外,其他配置是读取config.json文件自动配置的,然后点击创建即可完成模型部署: ![选择模型.PNG](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115348kcqhbmm3h5ib3qyp.png) 然后等到模型创建成功: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115428drylxqkxh0xlfllw.png)## 模型上线阶段 选择部署上线---在线服务---部署 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115525o8gvc58prdizty3h.png) 选择把模型在什么样的资源下上线[gpu/cpu],选择刚才部署上去的模型,和版本号(如果多次部署的话),即可创建成功 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/1155454qx73trco1z5e8tj.png) 等待在线服务部署完成会出现,**‘运行中’,便是成功上线了**: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/115610bxbnefye8nwh5jwl.png)## 本地调用在线服务 这一节来演示如何用本地调用在线服务。 ### 1、获取token 想要在本地远程推理,首先需要获取token,因为请求的时候会验证token,因为不能谁都乱用你的在线服务对吧。获取token的在线方法: https://apiexplorer.developer.huaweicloud.com/apiexplorer/debug?product=IAM&api=KeystoneCreateUserTokenByPassword 具体填写方法: 1、region 选择在线服务上线的区域 2、methods选择password 3、domain name、name、password从右上角个人信息那里的“我的凭证”里,domain name就是账户名, name就是IAM用户名,密码就是账号密码 4、scope 里只需要填写project name即可,如果是在北京4就填写"cn-north-4",其他就填写其他 具体的官网教程:https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/142619pugpbejtkotisgss.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/142638shmrkbur9wfrvhml.png) 获取的token结果是下图箭头的部分,很长,我们把这个token值存为本地txt文件里【token有效期只有24h】: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/142922z7vq3kve0sjo03gs.png)### 2、本地代码编写 先在下一个官网代码demo包:https://obs.cn-north-1.myhuaweicloud.com/apig-sdk/ApiGateway-python-sdk.zip 来源于官方:https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0024.html#inference-modelarts-0024__zh-cn_topic_0283244602_section8151659179 打开demo包,文件结构如下图,主要修改main.py文件: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/143017kx992e2on2phnu72.png) 将main.py修改成如下,其中,token.txt是刚才获取token后写在txt文件的那个文件,url地址从在线服务中的API接口地址来,一般是长这个样子:https://xxxxxxxxxxxxx.apig.cn-north-4.huaweicloudapis.com/v1/infers/aaaa-fccc7-dddd-eeee-xxxxx的形式,如下图,请求采用post方法: ```python # coding=utf-8 import requests from apig_sdk import signer if __name__ == '__main__': with open('token.txt', 'r') as token_file: token = token_file.readline() X_Auth_Token = token[:-1] headers = {"content-type": "application/json", 'X-Auth-Token': X_Auth_Token} url = "https://xxxxxxxxxxxxx.apig.cn-north-4.huaweicloudapis.com/v1/infers/aaaa-fccc7-dddd-eeee-xxxxx" r = requests.request("POST", url, data=json_data_dumps, headers=headers, verify=False) resp = requests.request(r.method, r.scheme + "://" + r.host + r.uri, headers=r.headers, data=r.body) print(resp.status_code, resp.reason) print(resp.content) ``` ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/143145sn296drfswjqfbg2.png) 接着运行代码即可~。如果打印的status code =200那么说明请求没问题,值得注意的是,请求的数据需要是json的格式。
  • [方案分享] ModelArts 在线服务API对接demo-java版本
    # 1. 服务说明 ModelArts在线服务:将训练好的模型通过modelarts在线服务平台部署为一个Web Service服务。对外提供一个标准的Restful API,可使用HTTPS协议访问。 # 2. Api对接前置说明 ## 2.1 确认服务正常 ### 2.1.1 确认服务运行状态 Ⅰ. 在华为云控制台查看已部署的在线服务,确认状态为运行中。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/185859gzar2aitfez2ommw.png) Ⅱ. 进入已运行的在线服务,进入预测功能,进行接口调用。 a.上传图片 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/185917bas9rulxltospkpk.png) b.图片预测 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/185926uhslqcnczf94hbmt.png) ### 2.1.2 获取token Ⅰ. 请求接口方式:https://support.huaweicloud.com/api-iam/iam_30_0001.html 集成华为SDK:https://sdkcenter.developer.huaweicloud.com/?product=%E7%BB%9F%E4%B8%80%E8%BA%AB%E4%BB%BD%E8%AE%A4%E8%AF%81%E6%9C%8D%E5%8A%A1&language=java Ⅱ 调试过程,可以使用API Explorer 调用统一身份认证服务 KeystoneCreateUserTokenByPassword接口获取IAM用户token: https://apiexplorer.developer.huaweicloud.com/apiexplorer/doc?product=IAM&api=KeystoneCreateUserTokenByPassword # 3. Demo适用服务说明 该服务调用demo适用于Java语言,调用华为云mdoelarts在线服务、APIG等涉及到图片上传的以及返接口返回信息为json串的接口。 # 4. Demo代码 import javax.net.ssl.HttpsURLConnection; import java.io.*; import java.net.URL; /** ** 向华为云上传图片的demo **/ public class UploadImageDemo { public static void main(String[] args) { // 服务器url String modelApi = "https://XXX"; // token String tokenStr = "XXXX"; // 图片的绝对路径 String imageUrl = "C:\\Users\\chuyunwei\\Desktop\\yully.jpg"; // 文件控件名称 String fileParamName = "images"; postData(modelApi, tokenStr, imageUrl, fileParamName); } // 发送post请求 public static void postData(String modelApi, String tokenStr, String imageUrl, String fileParamName) { String boundary = java.util.UUID.randomUUID().toString(); String prefix = "--", linend = "\r\n"; String charset = "UTF-8"; // 数据流 DataOutputStream outStream = null; // 连接 HttpsURLConnection connetion = null; // 读取图片的流 InputStream input = null; try { URL url = new URL(modelApi); connetion = (HttpsURLConnection) url.openConnection(); connetion.setReadTimeout(30 * 1000); // 缓存的最长时间 connetion.setDoInput(true);// 允许输入 connetion.setDoOutput(true);// 允许输出 connetion.setUseCaches(false); // 不允许使用缓存 connetion.setRequestMethod("POST"); connetion.setRequestProperty("connection", "keep-alive"); // 设置以二进制传输数据;multipart/form-data: 每个参数以 --boundary 开始 connetion.setRequestProperty("Content-Type", "multipart/form-data;Charsert=UTF-8;boundary=" + boundary); connetion.setRequestProperty("X-Auth-Token", tokenStr); File file = new File(imageUrl); // 设置内容参数 StringBuilder contentParam = new StringBuilder(prefix).append(boundary).append(linend) .append("Content-Disposition: form-data; name=" + fileParamName + "; filename=" + file.getName() + linend) .append("Content-Type: application/octet-stream; charset=" + charset).append(linend).append(linend); outStream = new DataOutputStream(connetion.getOutputStream()); outStream.write(contentParam.toString().getBytes()); input = new FileInputStream(file); byte[] buffer = new byte[1024]; int len = 0; while ((len = input.read(buffer)) != -1) { outStream.write(buffer, 0, len); } input.close(); outStream.write(linend.getBytes()); // 设置请求结束标志符: 以 --boundary-- 为结束符 byte[] endData = (prefix + boundary + prefix + linend).getBytes(); outStream.write(endData); outStream.flush(); // 获取响应结果流 InputStream connetionInput = connetion.getInputStream(); BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(connetionInput, charset)); // 按行读取响应结果 String line = ""; // 读取响应的结果值 StringBuffer resultBuffer = new StringBuffer(); while ((line = bufferedReader.readLine()) != null) { resultBuffer.append(line); } // 向控制台打印结果 System.out.println(resultBuffer.toString()); } catch (Exception e) { // 打印错误堆栈 e.printStackTrace(); } finally { // 关闭资源 closeResources(outStream, connetion, input); } } // 关闭资源 private static void closeResources(DataOutputStream outStream, HttpsURLConnection connetion, InputStream input) { if (input != null) { try { input.close(); } catch (IOException e) { e.printStackTrace(); } } if (outStream != null) { try { outStream.close(); } catch (IOException e) { e.printStackTrace(); } } if (connetion != null) { connetion.disconnect(); } } } # 5. Demo补充说明 ## 5.1 注释说明 // 服务器url String modelApi = "https://XXX"; // token String tokenStr = "XXXX"; // 图片的绝对路径 String imageUrl = "C:\\Users\\chuyunwei\\Desktop\\yully.jpg"; // 文件控件名称 String fileParamName = "images"; Ⅰ. rl获取,控制台在线服务器调用指南TOP 页获取: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191342hsdt0d3jgrqyxae1.png) Ⅱ. token,调试过程直接调用: KeystoneCreateUserTokenByPassword接口获取IAM用户token: https://apiexplorer.developer.huaweicloud.com/apiexplorer/doc?product=IAM&api=KeystoneCreateUserTokenByPassword Ⅲ. 图片的绝对路径: 图片存放本地,直接使用本机的绝对路径进行获取。 Ⅳ. 文件控件名称,即为在线服务API输入图片的参数名称: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191414bzrwlsrtppjrirzr.png) # 6. 实测结果 ## 6.1 修改配置 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191516au8a4eb8scpraqhs.png) ## 6.2 代码调试 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191525ppdaxxrhwx4lipvr.png) 调试成功,返回结果。 # 7. 问题记录及解决办法 ## 7.1 服务未启动,运行报错 Ⅰ. 在线服务未启动,调试报错如下,重新启动服务即可正常请求。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191653nmijbmix9linlbmo.png) ## 7.2 请求报401错误 Ⅰ. 查看错误码,判断401错误为鉴权问题导致,查看modelarts的认证鉴权方式帮助文档。可知请求token时,“auth.scope”的取值需要选择“project”。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/1917214vlvw9khc59ilept.png) Ⅱ. 我的token获取方式: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191729bgrihqsac0eoyrsl.png) Ⅲ. Modelart token获取方式:按照如下方式获取token后,请求正常。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191739o1haypjnskpt4toa.png) # 8. 问题解决渠道说明 ## 8.1 华为云开发者技术支持界面 访问链接:https://support.developer.huaweicloud.com/feedback/#/ ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/191814czd0vyl5ygo08t6c.png) ## 8.2 华为云开发者论坛界面 访问链接:https://bbs.huaweicloud.com/forum/forum-1175-1.html ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/23/1918211hmoslfxm9en5fib.png)
总条数:3409 到第 页
上滑加载中