• [技术干货] 主动学习解决数据标注难题
    作者:Frank转自:https://zhuanlan.zhihu.com/p/1724793061、动机如今,我们利用AI算法解决实际问题的时候,需要面临的第一个并且是最重要的一个问题就是进行大规模的数据采集和标注。众所周知,使用监督学习方法做分类任务时,往往训练样本规模越大,分类器的性能就越高。但是在面临实际问题时,我们接触到的大量的来自互联网或其他来源(如学术界或商业界)的都是未标注的数据。然而标记样本通常是代价比较大的,比如海量标注需要耗费大量时间和人力(海量的语料和图像标注);又比如一些数据需要领域内的专家来进行人工标注(一家数据驱动的医疗公司有很多MRI扫描,他们需要聘请一位专家来帮助他们解释这些扫描),这样数据标注便成了人工智能算法商用的一个难题。 业界也有一些专门进行数据标注的公司[1],比如Google可以提供不同任务的数据标注服务(其中视频类的标注费用最高,最高可到$686/500min),如Figure1示:根据上表,考虑到数据标注的代价以及有限的资源,人们无法解释或标记所有数据;这就是他们决定使用主动学习(Active Learning)的原因。主动学习的核心思想之一就是通过一定的查询策略,选取“最不确定”或者“携带最大信息”的样本进行标注供算法学习,然后通过模型迭代更新可以实现与使用完全受监督的数据集类似的或更高的[2]性能,而不需要对所有的数据进行标注。通过这种方式,决定使用多少数据或者期望模型达到某种性能就变成了一种资源管理决策;换言之,就变成了一种商业决策(Business Planning)。2、主动学习介绍主动学习(Active learning or query learning)作为机器学习的一个分支(Semi-supervised Learning)其主要是针对数据标签较少或打标签代价较高这一场景而设计的。主动学习背后的关键思想是,如果允许从学习的数据中选择数据,则机器学习算法可以通过较少的训练标签来实现期望的准确性。主动学习主要方式是模型(Learner)通过与用户或专家(Oracle)进行交互(如Figure 2所示),根据某种采样规则,抛出query让专家确定数据的标签,如此反复迭代,以期让模型利用较少的标记数据获得较好的性能。一般情况下,模型抛出的未标注数据为hard sample(可以是模型最难区分的样本;可以是对模型提升最大的样本,如梯度提升最大;可以是方差减小等等)。可以看出active learning与passive(supervised) learning最大的不同是其不需要大量的专家标注样本训练模型。 主动学习是利用少量标注样本,然后由模型(Learner)主动选择hard sample返回给用户或专家(Oracle)打标签,进而不断迭代以获得较好的模型(如Figure 3所示)[3],该过程必须要有Oracle的参与,这也是active learning区别于semi-supervised learning的不同之处。如上图所示,Figure3(a)是一个二分类数据集的GroundTruth。由于样本过多,Figure3(b)随机选择了其中20%的数据进行标注,通过训练得到如图所示的回归模型。可以看出,由于样本选择是随机的且标注的样本数量过少致使采样后的分布和GroudTruth真实分布相差较大,因此回归模型无法在真实数据集上得到较好的表现。图Figure3(c)采用了主动学习的方法,首先采用比如15%的数据训练出一个基学习器,然后基学习器基于某种查询策略主动在真实数据集中挑选基学习器难以区分的样本,交给Oracle进行标注,然后一步步迭代更新模型,最终采用较少的数据便可以训练出一个回归模型使得其在真实数据集上得到较好的表现。3、主动学习学术研究综述“Settles, B. 2009. Active Learning Literature Survey”[3]作为主动学习领域的经典论文,介绍了主动学习在2010年及以前的综述,Figure4的思维导图[4][5]结合该Survey以及近几年各大顶会中主动学习的研究展示了一些主动学习领域的一些Milestones。4、主动学习场景Membership Query SynthesisMembership Query Synthesis[5]可查询任意样本或随机生成(例如对图片样本进行旋转或添加“噪声”等,类似样本增强的策略),然后将其送给Oracle进行判断,其过程如图所示,由于在样本的随机生成过程中,其有较大的不确定性,因此在某些应用,专家也无法标记样本,故这种方法对于某些应用场景有一定的局限性。Stream-Based Selective SamplingStream-Based Selective Sampling或Sequential active learning,其核心假设为样本的获得是“免费的”或代价较小的,因此基学习器每次基于某种查询策略选择一个样本给专家进行标记,如图所示,模型通过某种“informative measure”确定是否由专家标注样本,或舍弃该样本。该方法支持在线学习(online learning)Pool-Based Sampling与Stream-Based Sampling最大的区别即为Pool-Based Sampling每次确定一批unlabeled data,由专家标记,如图4所示,Pool-Based Sampling是active learning中应用最为广泛的一种framework,同时支持在线学习。5、主动学习查询策略根据主动学习场景所述,Active learner在迭代中需要根据一定的策略选择most informative unlabeled sample去让Oracle进行标注,然后更新模型,在active learning中其主要包括以下几种Query Stategy:Uncertainty SamplingLeast confident sampling基学习器根据每一个样本所属类别输出概率最大值,选择一个最不确定的样本Margin sampling基学习器根据每一个样本所属第一个和第二个最可能类别概率差,选择一个最不确定的样本Entropy Sampling基学习器根据每一个样本所属类别概率的熵,选择一个最不确定的样本下面的热力图显示了通过三种查询策略后,在一个三分类任务中,不同的查询策略倾向于查询到的最不确定的样本。下面的例子展示如何具体运用三种查询策略:假设有一个三分类任务,训练好一个基学习器后,基学习器要在剩余样本的pool中选择一个最不确定的样本进行模型迭代更新,这个pool中有三个未标注的样本,输入基学习器后,基学习器输出了三个样本分别属于三个类别的概率:proba = np.array([[0.1 , 0.85, 0.05],[0.6 , 0.3 , 0.1 ],[0.39, 0.61, 0.0 ]])通过Least confident sampling:1 - proba.max(axis=1) = [0.15, 0.4 , 0.39]可以得到most uncertain样本为第二个样本通过Margin sampling:part = np.partition(-proba, 1, axis=1)margin = - part[:, 0] + part[:, 1]margin = [0.75, 0.3 , 0.22]可以得到most uncertain样本为第三个样本通过Entropy sampling:Entropy = entropy(proba.T)Entropy = [0.51818621, 0.89794572, 0.66874809]可以得到most uncertain样本为第二个样本Other Query Strategies除了Uncertainty Sampling之外,还有Query-by-Committee, Expected Model Change, Expected Error Reduction, Variance Reduction, Density-Weighted Methods等Query Method和相对应的变体,具体可阅读参考文献[3]的chapter 3以获取其余查询策略。6、主动学习算法流程最后,以一张流程图展示主动学习的算法流程,完成本次主动学习算法的介绍。其中红色部分的模块为算法流程的超参数,可以根据具体的场景进行调节。
  • [赛事资讯] AI在航天,鸿图华构-“华为云杯”2020人工智能创新应用大赛正式启动
    11月5日,由西安国家民用航天产业基地管理委员会主办,华为技术有限公司承办的“华为云杯”2020人工智能创新应用大赛开幕式在西安航天国际会议中心举办。西安航天基地管委会副主任李雷、西安市科技局副局长任晖、西安市科技局硬科技处处长李建勋与相关部门领导以及现场上百名开发者一起共同见证AI应用落地。  在国家大力支持下,在技术创新驱动下,华为凭借在云计算领域的长期积累与耕耘,已经获得坚实基础。华为陕西政企业务部总经理付岩指出,当前AI产业正如火如荼地发展,各行各业纷纷引入AI,期望引领行业智能化步伐。2018年7月,西安国家民用航天产业基地与华为公司签署战略合作协议,2019年5月,双方在原有基础上进一步深化合作,成立华为在西北第一个人工智能创新中心——华为云(西安)人工智能创新中心,围绕人工智能产业在创新孵化、人才培养、生态构建、样板点打造、产业园区建设等方面将进行全方位合作。    付岩表示,本次举办“华为云杯”2020人工智能创新应用大赛,通过以赛促学、赛教结合的形式开展,旨在吸引和挖掘优秀创新团队和人才,推动AI技术在遥感行业应用,实现人工智能技术的真正落地。  为了帮助和服务更多开发者成长,共建开发者生态,推动智能世界的加速到来,华为云携手MVP并进,共同探索技术、行业和生态的无限可能,让中国云技术站在世界的前沿。MVP是华为云最有价值专家的简称,是专注于帮助开发者了解和使用华为云的行业意见领袖和技术专家。由西安航天基地管委会副主任李雷与华为陕西云与计算业务部总经理杨欣为华为云MVP进行颁发奖牌。随后,在大赛启动仪式现场,西安航天基地管委会副主任李雷、自然资源部第一航测遥感院副院长杨晓峰、华为陕西政企业务部总经理付岩、华为陕西云与计算业务部总经理杨欣参与“华为云杯”2020人工智能创新应用大赛启动仪式,标志着人工智能落地迈出坚实的一步。  据悉,大赛以“AI在航天,鸿图华构”为主题,立足卫星遥感产业,结合华为在云计算、人工智能、物联网、5G移动通信等领域的技术优势和产业链整合能力,以赛促学、赛教结合的形式开展,帮助人工智能企业人员掌握AI应用开发技能,并且在开发过程中,进一步地体验航天卫星遥感的魅力。  大赛面向全社会开放,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛。  本届大赛分为初赛、决赛两个阶段,周期为两个月,大赛计划2020年12月上旬完成初赛, 2020年12月下旬进行决赛,最终评选出季冠军、亚军、季军和优胜奖。
  • [技术干货] 隐私保护下的迁移算法
    声明:本文首发于华为NAIE《网络人工智能园地》微信公众号,如有转载,请注明出处。微信公众号二维码为:http://weixin.qq.com/r/yx385OnEb7QQra2H90jZweixin.qq.com本文介绍一种特殊场景下的迁移算法:隐私保护下的迁移算法。首先,本文稍微回顾一下传统迁移算法的流程、特性和局限之处,然后文章介绍几种解决当源域数据有某些访问限制的场景下实现迁移的算法。具体包括:ADDA-CVPR2017,FADA-ICLR2020,SHOT-ICML2020。传统迁移算法UDDA首先说明这里说的传统迁移算法,主要指深度域适应(Deep Domain Adaptation),更具体的是无监督深度域适应(Unsupervised Deep Domain Adaptation, UDDA)。因为UDDA是最为常见,也是大家广泛关注的设定,因此这方面的工作远远多于其余迁移算法的设定。先介绍一下UDDA具体是做什么的:给定一个目标域(Target Domain),该域只有无标记数据,因此不能有监督地训练模型,目标域通常是一个新的局点、场景或者数据集;为了在目标域无标记数据的情况下建立模型,可以借助源域(Source Domain)的知识,源域通常是已有局点、场景或者数据集,知识可以是源域训练好的模型、源域的原始数据、源域的特征等。借助有标记信息的源域,目标域上即便没有标记数据,也可以建立一个模型。使得该模型对目标域数据有效的关键难点在于源域和目标域存在数据分布的差异,称之为域漂移(Domain Shift),如何去对齐源域和目标域的数据是UDDA解决的主要问题。UDDA通常包含下面的三种框架:首先,源域和目标域的数据(圆柱)会经过特征提取器(Encoder)提取特征(矩形),然后各种办法会对源域和目标域的特征进行操作,使得源域和目标域上数据的特征对齐。这里值得一提的是,UDDA通常假设源域和目标域的类别是一样的,比如源域和目标域都是去分类0-9十个手写数字,只不过源域和目标域的手写风格不一样。对源域和目标域特征进行操作的办法包括三种类别:基于统计对齐:使用各种统计量对齐源域和目标域特征的分布,比如对齐核空间均值(MMD Loss)、对齐协方差矩阵(CORAL Loss)等;基于对抗对齐:建立一个域分类器(Domain Classifier)作为判别器(Discriminator),目的要尽可能将源域和目标域的特征区分开来,使用梯度反转(Gradient Reversal Gradient,GRL)可以促使特征提取器提取和领域无关(Domain Invariant)的特征;基于重构对齐:将源域和目标域的特征通过同一个生成网络进行生成相应的数据,通过假设只有分布接近的样本才可以使用同一个网络生成数据对齐源域和目标域特征。关于以上几种UDDA的具体算法可以参加以前的文章:https://zhuanlan.zhihu.com/p/205433863zhuanlan.zhihu.com这里本文只给出UDDA的几个特性:源域数据可获得:UDDA假设源域数据存在并且可以获得;源域目标域数据可混合:UDDA通常假设源域和目标域数据可以在一起处理,即可以放在同一个设备上进行运算;训练预测过程是Transductive的:目标域数据必须和源域数据一同训练才可以使得特征提取器提取领域无关的特征,才可以将源域的模型迁移到目标域,因此当一批新的目标域的数据到来的话,并不能直接使用源域模型进行预测。总的来说,传统的UDDA方法假设源域数据可获得、源域目标域数据可混合、训练过程Transductive。然而,有一些场景下,源域数据不可获得,或者源域数据不可以外传,这种情况下如何进行迁移呢?首先,这里需要注意的是,源域数据不能外传和源域数据不可获得是两种情况,前者假设源域数据存在,但是不可以和目标域数据放在一起,后者是源域数据根本就不存在了。ADDAADDA是CVPR2017的一篇工作,来自论文《Adversarial Discriminative Domain Adaptation》,作者信息截图如下:一作Eric Tzeng来自于加利福尼亚大学伯克利分校,代表作有DDC和ADDA;二作Judy Hoffman来自斯坦福大学,代表作CyCADA,以及多篇在多领域迁移方面的理论文章,比如NeurIPS 2018的《Algorithms and Theory for Multiple-Source Adaptation》;三作Kate Saenko是波斯顿大学计算机科学计算机视觉组(Computer Vision and Learning Group,CVL)的Leader,是一名女性学者,Baochen Sun,Xingchao Peng,Kuniaki Saito等人都在该组深造或者深造过。CVL代表作有(个人评定,以下文章个人在学习DA的过程中或多或少阅读或者研究过):Xingchao Peng, Zijun Huang, Yizhe Zhu, Kate Saenko: Federated Adversarial Domain Adaptation. ICLR 2020Xingchao Peng, Yichen Li, Kate Saenko: Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation. ECCV (6) 2020: 756-774Shuhan Tan, Xingchao Peng, Kate Saenko: Generalized Domain Adaptation with Covariate and Label Shift CO-ALignment. CoRR abs/1910.10320 (2019)Xingchao Peng, Zijun Huang, Ximeng Sun, Kate Saenko: Domain Agnostic Learning with Disentangled Representations. ICML 2019: 5102-5112Xingchao Peng, Qinxun Bai, Xide Xia, Zijun Huang, Kate Saenko, Bo Wang: Moment Matching for Multi-Source Domain Adaptation. ICCV 2019: 1406-1415Kuniaki Saito, Donghyun Kim, Stan Sclaroff, Trevor Darrell, Kate Saenko: Semi-Supervised Domain Adaptation via Minimax Entropy. ICCV 2019: 8049-8057Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada, Kate Saenko: Adversarial Dropout Regularization. ICLR (Poster) 2018Xingchao Peng, Ben Usman, Neela Kaushik, Dequan Wang, Judy Hoffman, Kate Saenko: VisDA: A Synthetic-to-Real Benchmark for Visual Domain Adaptation. CVPR Workshops 2018: 2021-2026Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell: Adversarial Discriminative Domain Adaptation. CVPR 2017: 2962-2971Baochen Sun, Kate Saenko: Deep CORAL: Correlation Alignment for Deep Domain Adaptation. ECCV Workshops (3) 2016: 443-450Baochen Sun, Jiashi Feng, Kate Saenko: Return of Frustratingly Easy Domain Adaptation. AAAI 2016: 2058-2065Eric Tzeng, Judy Hoffman, Trevor Darrell, Kate Saenko: Simultaneous Deep Transfer Across Domains and Tasks. ICCV 2015: 4068-4076回归正题,ADDA的训练流程图如下:首先是预训练阶段(Pre-training Stage),源域上利用有标记数据训练,采用交叉熵损失:其中  为源域的特征提取器,  为源域的分类器。然后是对抗对齐阶段(Adversarial Adaptation Stage),将源域的特征提取器拷贝给目标域  ,并且将分类器  固定住迁移到目标域。然后就是对  根据目标域数据进行微调,当且仅当目标域特征提取器  在目标域提取的特征和源域特征提取器  在源域数据提取的特征相似时,源域的分类器才可以很好地适应目标域,即下面几个公式的目的主要是使得  。简单的方法仍然是使用对抗进行训练。第一步训练域判别器(Discriminator)将源域的特征和目标域的特征进行区分开,  代表域判别器:第二步,训练  ,使得  让判别器尽可能分不开:重复以上两步,直到收敛。可以看出以上过程中, 源域特征提取器 只在源域预训练阶段使用到,然后拷贝给目标域,目标域微调特征提取器。换句话说,源域训练好的模型,包括特征提取器和分类器,传输到目标域之后,目标域只微调特征提取器,使得特征提取器提取的特征单向向源域的特征对齐,分类时使用的仍然是源域的分类器。为什么说这个方法可以推广到隐私保护呢?因为可以看到,源域的数据只在预训练阶段利用到,且后面对齐的过程中只用到了源域的特征  ,而不是  ,后者需要访问到源域原始数据。总的来说,ADDA容许源域和目标域的特征提取器不一致,将  参数解耦开来,并且训练过程中其实只用到了源域的特征。如果,源域数据和目标域数据不在同一设备上,假设源域数据的特征可以发送出去的话,该方案可以做到隐私保护。FADA正如上述介绍的CVL组,Xingchao Peng将ADDA扩充到多域版本,并且提出了FADA。FADA来自ICLR2020的《Federated Adversarial Domain Adaptation》,论文首页截图如下:该文提出了一个新的场景FADA,即联邦学习下的多域迁移。假设有很多个源域,每个源域的数据分布在单独的设备上,原始数据不能外传,如何在这种情况下将其模型复用到目标域呢?简而言之,如何在数据不能被发送出去的约束下进行特征对齐呢?该文假设各个领域的特征可以被发送出去,和ADDA假设一致。假设有  个源域,每个源域上都训练了一个特征提取器  和分类器  ,首先对于目标域的特征提取器  和分类器  ,使用联邦学习(Federated Learning)里面的加权平均方法:其中  衡量了每个源域对目标域的贡献,一般需要满足  。FADA中提到了一种动态加权(Dynamic Attention)的方式,这里不过多介绍,主要是通过源域当前模型融合到目标域之后对目标域特征区分度的提升幅度作为衡量的标准。简单的情况下,可以取  。总之,目标域上由于没有标记,不可能训练出  ,需要通过源域的模型进行加权平均得到。接下来,FADA使用特征提取器在各个域上提取特征,即  ,然后假设这些特征可以传输到同一个设备上,就可以在该设备上训练一个域判别器(Domain Identifier, DI),注意这里的判别器和ADDA中不一样,因为涉及到多个域,此处的域判别器是多分类器,具体而言是  分类。训练域判别器的损失函数如下:其中  是向量的第  项,即上述目标会训练域判别器使得第  源域的数据会被预测为第  类别,且目标域样本被预测为第  类。训练好域判别器之后,将  发送到各个源域所在的设备,然后训练各自的特征提取器  去混淆  :FADA总的框架图如下,该框架融合了很多方法,还包括特征解耦(Feature Disentangle)等等,这里不过多介绍。总的来说,FADA将多个源域和目标域的特征发送到一个指定的设备,在该设备上训练一个域判别器,然后将域判别器下发到各个源域作为对抗项促使相应的特征提取器提取领域无关的特征。可以说,FADA是ADDA的多领域扩展版本。SHOTSHOT是比较有意思的一篇工作,名称是《Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation》,来自ICML2020,作者信息截图如下:如果说ADDA和FADA都是假设源域数据不可以被发送出设备的话,SHOT假设源域数据获取不到,即源域数据丢失或者不存在。那么在只有源域模型和目标域众多无标记数据的情况下,如何迁移呢?SHOT解决了这个问题。首先SHOT指的是Source Hypothesis Transfer,Source Hypothesis指的是源域模型的分类器。SHOT和ADDA有一个一致的地方就是,都固定住了源域模型的分类器,微调源域的特征提取器。ADDA通过对抗损失(假设可以访问到源域数据的特征)进行微调目标域特征提取器,而SHOT则是通过伪标签(Pseudo Label)自监督地训练。首先,SHOT对源域模型进行有监督地训练,源域模型可以记为  ,其中  分别是源域的特征提取器和分类器,训练时采用标记平滑(Label Smoothing),促使训练的模型具有更好的可迁移性、泛化性。然后,将源域模型拷贝到目标域,  ,固定住  ,微调  。SHOT首先采用一个常见的信息最大化(Information Maximization, IM)损失,促使目标域上每个样本的分类概率的熵尽可能小,所有样本预测的概率平均值尽可能均匀。假设目标域样本  预测的结果为  ,其中  是一个Softmax的函数。那么记  为目标域样本预测概率的平均值(可以计算一个Batch的样本预测概率的平均值)。那么IM损失为:这一项损失并不能完全让目标域的特征提取器完全训练得当,因此需要使用下面的伪标签技术进行训练。伪标签技术很直观,就是利用当下的模型对无标记样本打标签,然后取预测结果置信度最高的部分样本来打标签,然后用这些伪标签的数据来继续训练这个模型。比如,对于目标域样本  ,根据模型预测概率的最大值  进行排序,选择最大的一部分对其打标签为  。直接使用伪标签训练很容易带来误差累计问题,因此需要尽可能使得伪标签打得准确,可以使用一个标签精炼(Label Refinery)的过程。具体而言包括:其中 是第  类样本的类中心,  是距离函数。以上几个公式可以看作是几步K-Means操作,第一个公式根据模型输出的概率值和每个样本的特征向量进行Soft加权得到类别中心,第二个公式根据每个样本和各个类中心的距离打标签,第三个公式是Hard加权更新类中心,第四个公式是根据距离打标签。该迭代可以重复很多次,但是一般来说使用这两步迭代之后的伪标签就会比较准确了。以上就是标签精炼的过程,主要是指使用目标域样本的关系(聚簇结果)来对伪标签进行进一步调整,而不仅仅是利用模型的预测结果。打了伪标签之后,模型可以根据交叉熵损失进行训练,综合IM损失,可以将模型性能提升至很高。总结总结一下,传统UDDA以及本文主要介绍的ADDA、FADA和SHOT可以使用下图来区分:参考文献Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell: Adversarial Discriminative Domain Adaptation. CVPR 2017: 2962-2971Xingchao Peng, Zijun Huang, Yizhe Zhu, Kate Saenko: Federated Adversarial Domain Adaptation. ICLR 2020Jian Liang, Dapeng Hu, Jiashi Feng: Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation. CoRR abs/2002.08546 (2020)
  • [赛事资讯] 加速AI落地旅游业,“华为云杯”2019人工智能创新应用大赛圆满落幕
    2020年5月19日,“华为云杯”2019人工智能创新应用大赛闭幕式暨颁奖典礼在古城西安圆满落幕。大赛共吸引近2000开发者组成700多支队伍参赛,其中,高校开发者占80%。超两万人通过在线直播的方式观看了此次活动,并与来自政府、高校、企业及媒体的各界嘉宾,一同见证十强队伍的诞生,见证人工智能产业与西安旅游发展的深度碰撞。“华为云杯”2019人工智能创新应用大赛十强合影西安市人民政府副市长马鲜萍、西安国家民用航天产业基地管委会党工委委员、管委会副主任蒋阳、华为陕西政企业务部总经理付岩、西安国家民用航天产业基地管委会投资合作委员会主任田农、华为政企云西北区运营总监申舟、丫木资本合伙人何振兵及陕西先导基金管理有限公司总经理莫芃等出席了闭幕式暨颁奖典礼。“华为云杯”2019人工智能创新应用大赛闭幕式暨颁奖典礼现场“华为云杯”2019人工智能创新应用大赛由西安国家民用航天产业基地管理委员会主办、华为公司承办。大赛以“AI在航天,鸿图华构”为主题,旨在服务和培养AI人才,构建“用得起、用得好、用得放心”的普惠AI生态。参赛选手借助华为云一站式AI开发与管理平台ModelArts的强大支撑,综合西安旅游文化资源,为智能化旅游赋能。经历半年的层层选拔,最终有sinoreps、A.I.爱、西北望长安等10支优秀开发团队入围总决赛。通过最终精彩的决赛答辩,sinoreps队伍以其AI作品《旅行图章》荣获冠军。闭幕式现场,各位领导与来宾高度赞扬了决赛队伍的AI应用开发成果。华为方对此次“华为云杯”2019人工智能创新应用大赛进行了总结,并就华为在人工智能产业上的人才发展规划进行阐述。华为将依托当地科研、教育、产业方面的有力支撑,发挥技术、成本、政策方面的综合优势,在未来举办更多相关大赛、训练营、技术赋能沙龙等活动,发掘并培养更多可为西安人工智能产业发展作出贡献的有用之才。活动结束,马鲜萍副市长一行参观了华为云(西安)人工智能创新中心,深入了解了华为在人工智能产业领域的发展情况,并对华为贴合陕西企业具体情况做出的优秀解决方案表示高度的肯定。2018年7月,西安国家民用航天产业基地与华为公司成立了华为云(西北)联合创新中心。2019年5月,西安国家民用航天产业基地与华为公司成立了西北首个华为云(西安)人工智能创新中心。华为将积极响应“新基建”的号召,围绕人工智能产业在创新孵化、人才培养、生态构建、样板点打造、产业园区建设、品牌活动等方面将进行全方位合作,助力企业提升研发实力,加速产业升级,推动西安成为全国人工智能产业风向标城市。
  • [技术干货] 最新综述:多标签学习的新趋势
    作者 皓波本文来源:https://www.jiqizhixin.com/articles/2020-12-14-2这里给大家带来一篇武大刘威威老师、南理工沈肖波老师和 UTS Ivor W. Tsang 老师合作的 2020 年多标签最新的 Survey,我也有幸参与其中,负责了一部分工作。论文链接:https://arxiv.org/abs/2011.11197上半年在知乎上看到有朋友咨询多标签学习是否有新的 Survey,我搜索了一下,发现现有的多标签 Survey 基本在 2014 年之前,主要有以下几篇:1. Tsoumakas 的《Multi-label classification: An overview》(2007)2. 周志华老师的《A review on multi-label learning algorithms》(2013)3. 一篇比较小众的,Gibaja 《Multi‐label learning: a review of the state of the art and ongoing research》2014时过境迁,从 2012 年起,AI 领域已经发生了翻天覆地的变化,Deep Learning 已经占据绝对的主导地位,我们面对的问题越来越复杂,CV 和 NLP 朝着各自的方向前行。模型越来越强,我们面对的任务的也越来越复杂,其中,我们越来越多地需要考虑高度结构化的输出空间。多标签学习,作为一个传统的机器学习任务,近年来也拥抱变化,有了新的研究趋势。因此,我们整理了近年多标签学习在各大会议的工作,希望能够为研究者们提供更具前瞻性的思考。关于单标签学习和多标签学习的区别,这里简单给个例子:传统的图片单标签分类考虑识别一张图片里的一个物体,例如 ImageNet、CIFAR10 等都是如此,但其实图片里往往不会只有一个物体,大家随手往自己的桌面拍一张照片,就会有多个物体,比如手机、电脑、笔、书籍等等。在这样的情况下,单标签学习的方法并不适用,因为输出的标签可能是结构化的、具有相关性的(比如键盘和鼠标经常同时出现),所以我们需要探索更强的多标签学习算法来提升学习性能。本文的主要内容有六大部分:Extreme Multi-Label ClassificationMulti-Label with Limited SupervisionDeep Multi-Label ClassificationOnline Multi-Label ClassificationStatistical Multi-Label LearningNew Applications接下去我们对这些部分进行简单的介绍,更多细节大家也可以进一步阅读 Survey 原文。另外,由于现在的论文迭代很快,我们无法完全 Cover 到每篇工作。我们的主旨是尽量保证收集的工作来自近年已发表和录用的、高质量的期刊或会议,保证对当前工作的整体趋势进行把握。如果读者有任何想法和意见的话,也欢迎私信进行交流。1. Extreme Multi-Label Learning (XML)在文本分类,推荐系统,Wikipedia,Amazon 关键词匹配 [1] 等等应用中,我们通常需要从非常巨大的标签空间中召回标签。比如,很多人会 po 自己的自拍到 FB、Ins 上,我们可能希望由此训练一个分类器,自动识别谁出现在了某张图片中。对 XML 来说,首要的问题就是标签空间、特征空间都可能非常巨大,例如 Manik Varma 大佬的主页中给出的一些数据集 [2],标签空间的维度甚至远高于特征维度。其次,由于如此巨大的标签空间,可能存在较多的 Missing Label(下文会进一步阐述)。最后,标签存在长尾分布 [3],绝大部分标签仅仅有少量样本关联。现有的 XML 方法大致可以分为三类,分别为:Embedding Methods、Tree-Based Methods、One-vs-All Methods。近年来,也有很多文献使用了深度学习技术解决 XML 问题,不过我们将会在 Section 4 再进行阐述。XML 的研究热潮大概从 2014 年开始,Varma 大佬搭建了 XML 的 Repository 后,已经有越来越多的研究者开始关注,多年来 XML 相关的文章理论和实验结果并重,值得更多的关注。2. Multi-Label with Limited Supervision相比于传统学习问题,对多标签数据的标注十分困难,更大的标签空间带来的是更高的标注成本。随着我们面对的问题越来越复杂,样本维度、数据量、标签维度都会影响标注的成本。因此,近年多标签的另一个趋势是开始关注如何在有限的监督下构建更好的学习模型。本文将这些相关的领域主要分为三类:MLC with Missing Labels(MLML):多标签问题中,标签很可能是缺失的。例如,对 XML 问题来说,标注者根本不可能遍历所有的标签,因此标注者通常只会给出一个子集,而不是给出所有的监督信息。文献中解决该问题的技术主要有基于图的方法、基于标签空间(或 Latent 标签空间)Low-Rank 的方法、基于概率图模型的方法。Semi-Supervised MLC:MLML 考虑的是标签维度的难度,但是我们知道从深度学习需要更多的数据,在样本量上,多标签学习有着和传统 AI 相同的困难。半监督 MLC 的研究开展较早,主要技术和 MLML 也相对接近,在这一节,我们首先简要回顾了近年半监督 MLC 的一些最新工作。但是,近年来,半监督 MLC 开始有了新的挑战,不少文章开始结合半监督 MLC 和 MLML 问题。毕竟对于多标签数据量来说,即使标注少量的 Full Supervised 数据,也是不可接受的。因此,许多文章开始研究一类弱监督多标签问题 [4](Weakly-Supervised MLC,狭义),也就是数据集中可能混杂 Full labeled/missing labels/unlabeled data。我们也在文中重点介绍了现有的一些 WS-MLC 的工作。Partial Multi-Label Learning (PML):PML 是近年来多标签最新的方向,它考虑的是一类 “难以标注的问题”。比如,在我们标注下方的图片(Zhang et. al. 2020[5])的时候,诸如 Tree、Lavender 这些标签相对是比较简单的。但是有些标签到底有没有,是比较难以确定的,对于某些标注者,可能出现:“这张图片看起来是在法国拍的,好像也可能是意大利?”。这种情况称之为 Ambiguous。究其原因,一是有些物体确实难以辨识,第二可能是标注者不够专业(这种多标签的情况,标注者不太熟悉一些事物也很正常)。但是,很多情况下,标注者是大概能够猜到正确标签的范围,比如这张风景图所在国家,很可能就是 France 或者 Italy 中的一个。我们在不确定的情况下,可以选择不标注、或者随机标注。但是不标注意味着我们丢失了所有信息,随机标注意味着可能带来噪声,对学习的影响更大。所以 PML 选择的是让标注者提供所有可能的标签,当然加了一个较强的假设:所有的标签都应该被包含在候选标签集中。在 Survey 中,我们将现有的 PML 方法划分为 Two-Stage Disambiguation 和 End-to-End 方法(我们 IJCAI 2019 的论文 DRAMA[6] 中,就使用了前者)。关于 PML 的更多探讨,我在之前的知乎回答里面也已经叙述过,大家也可以在我们的 Survey 中了解更多。Other Settings:前文说过,多标签学习的标签空间纷繁复杂,因此很多研究者提出了各种各样不同的学习问题,我们也简单摘要了一些较为前沿的方向:MLC with Noisy Labels (Noisy-MLC).MLC with Unseen Labels. (Streaming Labels/Zero-Shot/Few-Shot Labels)Multi-Label Active Learning (MLAL).MLC with Multiple Instances (MIML).3. Deep Learning for MLC相信这一部分是大家比较关心的内容,随着深度学习在越来越多的任务上展现了自己的统治力,多标签学习当然也不能放过这块香饽饽。不过,总体来说,多标签深度学习的模型还没有十分统一的框架,当前对 Deep MLC 的探索主要分为以下一些类别:Deep Embedding Methods:早期的 Embedding 方法通常使用线性投影,将 PCA、Compressed Sensing 等方法引入多标签学习问题。一个很自然的问题是,线性投影真的能够很好地挖掘标签之间的相关关系吗?同时,在 SLEEC[3]的工作中也发现某些数据集并不符合 Low-Rank 假设。因此,在 2017 年的工作 C2AE [7] 中,Yeh 等将 Auto-Encoder 引入了多标签学习中。由于其简单易懂的架构,很快有许多工作 Follow 了该方法,如 DBPC [8] 等。Deep Learning for Challenging MLC:深度神经网络强大的拟合能力使我们能够有效地处理更多更困难的工作。因此我们发现近年的趋势是在 CV、NLP 和 ML 几大 Community,基本都会有不同的关注点,引入 DNN 解决 MLC 的问题,并根据各自的问题发展出自己的一条线。1. XML 的应用:对这个方面的关注主要来自与数据挖掘和 NLP 领域,其中比较值得一提的是 Attention(如 AttentionXML[9])机制、Transformer-Based Models(如 X-Transformer[10])成为了最前沿的工作。2. 弱监督 MLC 的应用:这一部分和我们弱监督学习的部分相对交叉,特别的,CVPR 2019 的工作 [11] 探索了多种策略,在 Missing Labels 下训练卷积神经网络。3. DL for MLC with unseen labels:这一领域的发展令人兴奋,今年 ICML 的工作 DSLL[12]探索了流标签学习,也有许多工作 [13] 将 Zero-Shot Learning 的架构引入 MLC。Advanced Deep Learning for MLC:有几个方向的工作同样值得一提。首先是 CNN-RNN[14]架构的工作,近年有一个趋势是探索 Orderfree 的解码器 [15]。除此之外,爆火的图神经网络 GNN 同样被引入 MLC,ML-GCN[16] 也是备受关注。特别的,SSGRL[17]是我比较喜欢的一篇工作,结合了 Attention 机制和 GNN,motivation 比较强,效果也很不错。总结一下,现在的 Deep MLC 呈现不同领域关注点和解决的问题不同的趋势:从架构上看,基于 Embedding、CNN-RNN、CNN-GNN 的三种架构受到较多的关注。从任务上,在 XML、弱监督、零样本的问题上,DNN 大展拳脚。从技术上,Attention、Transformer、GNN 在 MLC 上的应用可能会越来越多。4. Online Multi-Label Learning面对当前这么复杂而众多的学习问题,传统的全数据学习的方式已经很难满足我们现实应用的需求了。因此,我们认为 Online Multi-Label Learning 可能是一个十分重要,也更艰巨的问题。当前 Off-line 的 MLC 模型一般假设所有数据都能够提前获得,然而在很多应用中,或者对大规模的数据,很难直接进行全量数据的使用。一个朴素的想法自然是使用 Online 模型,也就是训练数据序列地到达,并且仅出现一次。然而,面对这样的数据,如何有效地挖掘多标签相关性呢?本篇 Survey 介绍了一些已有的在线多标签学习的方法,如 OUC[18]、CS-DPP[19]等。在弱监督学习的部分,我们也回顾了近年一些在线弱监督多标签的文章[20](在线弱监督学习一直是一个很困难的问题)。Online MLC 的工作不多,但是已经受到了越来越多的关注,想要设计高效的学习算法并不简单,希望未来能够有更多研究者对这个问题进行探索。5. Statistical Multi-Label Learning近年,尽管深度学习更强势,但传统的机器学习理论也在稳步发展,然而,多标签学习的许多统计性质并没有得到很好的理解。近年 NIPS、ICML 的许多文章都有探索多标签的相关性质。一些值得一提的工作例如,缺失标签下的低秩分类器的泛化误差分析 [21]、多标签代理损失的相合性质[22]、稀疏多标签学习的 Oracle 性质[23] 等等。相信在未来,会有更多工作探索多标签学习的理论性质。6. New Applications讲了这么多方法论,但追溯其本源,这么多纷繁复杂的问题依然是由任务驱动的,正是有许许多多现实世界的应用,要求我们设计不同的模型来解决尺度更大、监督更弱、效果更强、速度更快、理论性质更强的 MLC 模型。因此,在文章的最后一部分,我们介绍了近年多标签领域一些最新的应用,如 Video Annotation、Green Computing and 5G Applications、User Profiling 等。在 CV 方向,一个趋势是大家开始探索多标签领域在视频中的应用 [24]。在 DM 领域,用户画像受到更多关注,在我们今年的工作 CMLP[25] 中(下图),就探索了对刷单用户进行多种刷单行为的分析。不过,在 NLP 领域,似乎大家还是主要以文本分类为主,XML-Repo[2]中的应用还有较多探索的空间,所以我们没有花额外的笔墨。总结写这篇文章的过程中,我跟着几位老师阅读了很多文章,各个领域和方向的工作都整理了不少,尽管无法 cover 到所有工作,但是我们尽可能地把握了一些较为重要的探索的方向,也在文中较为谨慎地给出了一些我们的思考和建议,希望能够给想要了解多标签学习领域的研究者一点引领和思考。参考Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 3163-3171.http://manikvarma.org/downloads/XC/XMLRepository.htmlBhatia K, Jain H, Kar P, et al. Sparse local embeddings for extreme multi-label classification[C]//Advances in neural information processing systems. 2015: 730-738.Chu H M, Yeh C K, Frank Wang Y C. Deep generative models for weakly-supervised multi-label classification[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 400-415.Zhang M L, Fang J P. Partial multi-label learning via credible label elicitation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.Wang H, Liu W, Zhao Y, et al. Discriminative and Correlative Partial Multi-Label Learning[C]//IJCAI. 2019: 3691-3697.C. Yeh, W. Wu, W. Ko, and Y. F. Wang, “Learning deep latent space for multi-label classification,” in AAAI, 2017, pp. 2838–2844.X. Shen, W. Liu, Y. Luo, Y. Ong, and I. W. Tsang, “Deep discrete prototype multilabel learning,” in IJCAI, 2018, pp. 2675–2681.You R, Zhang Z, Wang Z, et al. Attentionxml: Label tree-based attention-aware deep model for high-performance extreme multi-label text classification[C]//Advances in Neural Information Processing Systems. 2019: 5820-5830.Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 3163-3171.Durand T, Mehrasa N, Mori G. Learning a deep convnet for multi-label classification with partial labels[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 647-657.Z. Wang, L. Liu, and D. Tao, “Deep streaming label learning,” in ICML, 2020.C. Lee, W. Fang, C. Yeh, and Y. F. Wang, “Multi-label zero-shot learning with structured knowledge graphs,” in CVPR, 2018, pp. 1576–1585.Wang J, Yang Y, Mao J, et al. Cnn-rnn: A unified framework for multi-label image classification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2285-2294.Yazici V O, Gonzalez-Garcia A, Ramisa A, et al. Orderless Recurrent Models for Multi-label Classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13440-13449.Chen Z M, Wei X S, Wang P, et al. Multi-label image recognition with graph convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 5177-5186.T. Chen, M. Xu, X. Hui, H. Wu, and L. Lin, “Learning semanticspecific graph representation for multi-label image recognition,” in ICCV, 2019, pp. 522–531.M. J. Er, R. Venkatesan, and N. Wang, “An online universal classifier for binary, multi-class and multi-label classification,” in IEEE International Conference on Systems, Man, and Cybernetics, 2016, pp. 3701–3706.H. Chu, K. Huang, and H. Lin, “Dynamic principal projection for cost-sensitive online multi-label classification,” Machine Learning, vol. 108, no. 8-9, pp. 1193–1230, 2019.S. Boulbazine, G. Cabanes, B. Matei, and Y. Bennani, “Online semi-supervised growing neural gas for multi-label data classification,” in IJCNN, 2018, pp. 1–8.H. Yu, P. Jain, P. Kar, and I. S. Dhillon, “Large-scale multilabel learning with missing labels,” in Proceedings of the 31th International Conference on Machine Learning, ICML 2014, Beijing, China, 21-26 June 2014, 2014, pp. 593–601.W. Gao and Z. Zhou, “On the consistency of multi-label learning,” Artificial Intelligence, vol. 199-200, pp. 22–44, 2013.W. Liu and X. Shen, “Sparse extreme multi-label learning with oracle property,” in ICML, 2019, pp. 4032–4041.X. Zhang, H. Shi, C. Li, and P. Li, “Multi-instance multi-label action recognition and localization based on spatio-temporal pretrimming for untrimmed videos,” in AAAI. AAAI Press, 2020, pp. 12 886–12 893.H. Wang, Z. Li, J. Huang, P. Hui, W. Liu, T. Hu, and G. Chen, “Collaboration based multi-label propagation for fraud detection,” in IJCAI, 2020.
  • [赛事资讯] 中国软件开源创新大赛·第二赛道:开源任务挑战赛(模型王者挑战赛)
    大赛报名地址:https://competition.huaweicloud.com/information/1000041485/introduction【大赛简介】人工智能作为一种通用目的技术,已经具备进入所有业务主流程的能力,人们的生产与生活必将发生巨大的改变。为了方便开发者们感受国产AI计算框架,认知体验全栈全场景的AI解决方案,头歌社区携手华为昇腾社区、鹏城实验室、启智社区,共同打造了“模型王者挑战”(简称“模王赛”)。通过本次比赛,大家既可以学习AI领域的知识与技术,又可以通过模型迁移、调优任务提升个人开发能力并得到权威认证,还可以与AI领域的专家直接交流,感受千行百业的智能化升级。另外,大赛配备了免费的算力支撑、丰厚的现金激励,各路勇士们,还在犹豫什么,快快组队参赛吧!【参赛对象】本次竞赛面向全社会开放,不限年龄、身份、国籍,相关领域的个人、高校、科研机构、企业单位、初创团队等人员均可报名参赛。【参赛要求】每支队伍的人数上限为6人,1名队长;特别注意:大赛主办、协办单位以及有机会接触赛题背景业务及数据的员工不得参赛。【大赛时间】1、青铜赛:即日起--2021年7月16日18:00;2、白银赛:2021年7月--2021年8月;3、黄金赛:2021年9月--2021年10月;4、最强王者(年度总决赛):2021年11月19--21日。【大赛奖项】1、积分达到100分的队伍,可获得青铜赛荣誉证书2、当前为青铜赛段,“荣耀殿堂”榜主可获得价值500RMB的奖金3、青铜赛段最终排名前20的队伍:(1)青铜赛冠军队伍:每队可获得3000元的奖金(2)青铜赛亚军队伍:每队可获得2000元的奖金(3)青铜赛季军队伍:每队可获得1000元的奖金(4)青铜赛4-20名队伍:每队可获得500元的奖金【参赛规则】1、通过启智社区、昇腾社区的大赛宣传页,均可跳转至大赛报名页,请提前完成两个社区的注册2、算力支持:鹏城云脑为参赛选手提供高效、免费的算力支持3、官方社群:报名成功后,请各队队长扫描下方小助手二维码,按小助手的指导,协助队员们加入大赛官方社群4、反抄袭、反作弊:(1)禁止多账户报名,否则取消所有成绩及比赛资格(2)禁止利用任何规则漏洞或技术漏洞等不良途径提高成绩排名,禁止任何不诚信行为,一经发现取消所有成绩及比赛资格5、在模型迁移和调优过程中,对于由算子、版本等不可抗因素所触发的问题,组委会将本着公平、公正、透明的原则积极解决,最终解释权归组委会所有。【参赛规则】参赛选手可以QQ扫描下方二维码,加入大赛答疑&培训群,加群时请回复关键字“模型王者挑战赛”。大赛重要节点通知会在群内第一时间告知,请务必加群。
  • [赛事资讯] 【大赛报名】2020第二届华为云人工智能大赛 · 无人车挑战杯
    https://competition.huaweicloud.com/information/1000032499/introduction?track=107本大赛是在华为云人工智能平台(华为云一站式AI开发平台ModelArts、端云协同多模态AI开发应用平台HiLens)及无人驾驶小车基础上,全面锻炼和提高赛队的AI解决方案能力及无人驾驶编程技巧的赛事。举办方:华为技术有限公司、上海交通大学【赛事介绍】人工智能作为战略新兴产业,已经开始广泛应用于多个领域,无人驾驶及机器人是其中的重要载体。此次大赛是在华为云人工智能平台(华为云一站式AI开发平台ModelArts、端云协同解决方案HiLens)及无人驾驶小车基础上,全面锻炼和提高赛队的AI解决方案能力及无人驾驶编程技巧的赛事。比赛选手将拥有与华为云人工智能平台技术专家导师和上海交通大学创新中心专家导师团队进行深入沟通交流的机会,了解并动手实践华为云提供的智能硬件及人工智能平台等服务。【奖项设置】冠 军:1支队伍(获奖队伍将获得奖金10万现金+10万代金券,颁发获奖证书)亚 军:2支队伍(每支队伍奖金5万现金+5万代金券,颁发获奖证书)季 军:3支队伍(每支队伍奖金2万+3万代金券,颁发获奖证书)优胜奖:4支队伍(每支队伍奖金1万+1万代金券,颁发获奖证书)参赛将有机会得到大礼包:华为云代金券HC2020入场券华为云纪念T恤实物奖品将在现场发放,其他形式的奖品的发放以主办方通知的方式为准。对于根据国家法律法规规定,需要代扣代缴所得税的获奖者,华为云将根据相关规定进行代扣代缴。【参赛对象】计算机、自动化、电子信息、软件工程等相关专业(非必要条件)的全日制专科、本科、研究生等皆可。【参赛要求】1、为了更好参加比赛,建议赛队成员可预先在图像感知,物体检测方面了解基本知识,熟悉基本深度学习框架如caffe, tensorflow等、及熟悉机器人操作系统ROS;另外赛委会也会提供完整的海选赛赛前培训资料和半决赛前的线上培训,包括ModelArts、HiLens和ROS在无人车上的应用。2、组队规模:每个队伍须由1名指导老师(必须)和2-5名学生组成。本次大赛不提供现场组队,请在参赛前提前组队。对不符合组队要求的赛队,赛务组有对其取消晋级资格的权利。3、未满 18 周岁的报名者,请在报名前征得有法定监护权的监护人的同意。4、参赛开发平台采用华为云提供的人工智能开发平台及合作伙伴提供的比赛用车。5、参赛资料命名请以“无人车挑战杯+队名+队长联系电话+队长姓名”,并按照【报名要求】中说明,发送至指定邮箱。【报名要求】请在报名截止时间内,完成如下任务:(1)请按照无人车大赛报名表格格式,填写相关有效资料发送到邮箱competition@huaweicloud.com,邮件命名方式“无人车挑战杯+队名+队长联系电话+队长姓名”(包含:指导老师介绍及联系方式、成员介绍及联系方式、是否参过类似比赛,机器人、AI相关开发作品视频网址、网站、图片展示等相关链接),资料形式不限。点击下载无人车大赛报名表格(2)7月6日大赛平台开放无人车挑战杯海选赛题,选手需要先在大赛平台上学习ModelArts、HiLens、ROS等相关知识,然后可以使用最简单的基本数据集和预置算法进行训练,也可以手动或自动扩充训练集,并使用自定义算法。【报名流程】1、报名方式:点击右上方“立即报名”按钮进行报名,已有华为云账号的用户直接登录华为云账号即可报名成功,还未注册华为云账号的用户需要完成注册,然后填写报名信息完成报名。2、如果是多人组队参赛,参赛选手在报名成功之后在页面详情中选择创建队伍或加入已有团队,创建团队的人即为队长,队长拥有添加团队成员、审批队员申请加入等权限。3、赛过程中如果有任何疑问,可以进入讨论交流版块,在挑战赛讨论区中查看参赛指引手册、组队详情指引等;也可在讨论区进行留言、发帖提出疑问,大赛承办方会有工作人员及时答疑。讨论区:请点击左侧【讨论交流】进入【资源支持】海选赛:华为云为每位参赛选手提供价值500元的华为云EI代金券(仅支持ModelArts及OBS);半决赛:华为云为每支晋级赛队提供价值3000元的华为云EI代金券(仅支持ModelArts及OBS);总决赛:华为云为每支晋级赛队提供价值2000元的华为云EI代金券(仅支持ModelArts及OBS);【特别说明】比赛为免费报名,不需要向主办方华为云缴纳参赛费。获得资格参与半决赛的参赛赛队需要自行承担包括往返交通费以及其他相关费用;获得资格参与决赛的参赛赛队,决赛期间的往返交通费、住宿费将由主办方提供,具体补贴形式及补贴费用将针对决赛选手公布。
  • [赛事资讯] 【大赛报名】“华为云杯”2020人工智能应用创新大赛·企业赛道
    https://competition.huaweicloud.com/information/1000041241/introduction?track=107“华为云杯”2020人工智能应用创新大赛由华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司主办,面向全国的人工智能交流赛事。举办方:苏州工业园区管理委员会、华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司一、大赛介绍“华为云杯”2020人工智能应用创新大赛(以下简称“大赛”)是由华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司主办,以“云聚姑苏,智享未来”为主题,面向全国的人工智能交流赛事。大赛旨在培养AI人才,持续赋能AI企业,联合参赛企业、合作伙伴和开发者构建一个技术交流、人才培训、产业融合、机遇共创的AI生态平台。大赛将提供开放能力聚焦AI应用落地进行全场景创新,通过“线上+线下,以赛促学,产教结合”的形式开展。大赛分为创客赛道和企业赛道,创客赛道参赛团队参赛作品须基于新一代人工智能相关技术探索和设计,有明确场景驱动的应用创新方案,比如人工智能技术在工业、城市、通信、教育、医疗、金融、环保等行业领域的应用;企业赛道企业参赛团队须围绕“智能+医药”、“智能+制造”、“智能+城市”三个场景进行项目申报。二、参赛对象企业赛道:企业可报名参赛。创客赛道:面向全社会开放,个人、高等院校、科研单位、创业团队等人员均可报名参赛。创客赛道报名链接:https://competition.huaweicloud.com/information/1000041242/introduction说明:如有大赛主办方和技术支持单位(如华为技术有限公司员工)参赛,则自动放弃获奖资格。三、赛程安排l 启动仪式(2020年6月19日)l 报名时间(即日起 ~ 8月10日20:00):所有参赛者须在该日期期间内,在大赛官网进行注册报名和组队,并接受参赛资格审核。l 作品提交(2020年6月19日 ~ 8月10日20:00):所有参赛者须在该日期期间内,在大赛官网按照要求,合规地提交参赛作品。l 重大联合创新路演(2020年7月12日):大赛子版块活动,有意向参与联合创新企业可报名该活动。l AI训练营(2020年7月,具体时间待公布):面向所有参赛者,举行AI训练营活动,由华为专家进行AI技术赋能培训。l 初赛评审(2020年8月11日 ~ 8月17日):初赛采用线上评审方式,评审专家秉持公平、公正原则评审所有参赛作品,大赛组委会负责相关流程的组织和监督。l 公布晋级决赛名单(2020年8月17日 ~ 8月19日):创客赛道和企业赛道分别评选18组晋级决赛,由大赛组委会公布晋级决赛团队名单。l 决赛答辩及路演(2020年8月,具体时间待公布):决赛采取现场答辩的评审方式。(如不参加现场答辩,视为自动放弃获奖资格)l 颁奖及闭幕(2020年8月,具体时间待公布):现场答辩评出最终排名后,大赛组委会将举办颁奖典礼及闭幕仪式。四、奖项设置1、创客赛道奖项设置如下:特等奖:1支队伍,每支队伍奖金10万元,颁发获奖证书一等奖:2支队伍,每支队伍奖金5万元,颁发获奖证书二等奖:3支队伍,每支队伍奖金 3万元,颁发获奖证书三等奖:4支队伍,每支队伍奖金 1万元,颁发获奖证书优胜奖:8支队伍,每支队伍奖金3000元,颁发获奖证书纪念奖:基于初赛参赛作品评选出100支队伍,荣获大赛纪念奖,电子参赛荣誉证明、大赛伴手礼(每支队伍一份)参与奖:初赛提交有效作品队伍将获得电子参赛荣誉证明说明:以上奖金为税前奖金,由获奖团队承担税款。2、企业赛道分为“智能+医药”、“智能+制造”、“智能+城市”三个场景,奖项设置一致,具体奖项设置如下:一等奖:3名,每个场景1名,价值100万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持,优先2021年重大联合创新二等奖:6名,每个场景2名,价值50万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持三等奖:9名,每个场景3名,价值30万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持说明:企业赛道奖项须落户园区后享受,华为人工智能云资源兑现时间为大赛获奖1年内。五、报名及组队要求1、报名时间:即日起 ~ 2020年8月10日 20:002、组队说明:在页面左侧“我的团队”页签进行组队,每个团队人数最多5人,且每位参赛者仅可加入一支队伍。3、报名方式:使用华为云账号登录大赛官网,点击大赛官网页面上方“立即报名”按钮报名参赛。(企业参赛者在企业赛道官网报名后,还需要填写报名信息,发送至大赛组委会邮箱sipacai@huawei.com,点击此处下载报名表格)4、参赛者须确保报名信息准确有效,否则会被取消参赛资格及奖励。5、每位参赛者/每支参赛团队仅可选择一个赛道进行报名。6、官网交流群:请扫描如下小助手二维码,回复“创客”/“企业”进入相应交流群。大赛重要节点通知会在群内第一时间告知,请务必加群。六、大赛组织机构指导单位:苏州工业园区管理委员会主办单位:华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司七、其他若出现以下情况,将视为违规,大赛组委会有权取消参赛队伍的参赛资格。1、参赛报名信息虚假,不符合大赛报名及组队要求的参赛者/参赛队伍2、参赛作品涉嫌抄袭,侵犯他人知识产权等行为3、参赛期间或参赛作品发现或被举报认定存在的其他违法、违规行为本大赛规程最终解释权归“华为云杯”2020人工智能应用创新大赛组委会所有。
  • [赛事资讯] 【大赛报名】“华为云杯”2020人工智能应用创新大赛·创客赛道
    https://competition.huaweicloud.com/information/1000041242/introduction?track=107“华为云杯”2020人工智能应用创新大赛由华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司主办,面向全国的人工智能交流赛事。举办方:苏州工业园区管理委员会、华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司一、大赛介绍“华为云杯”2020人工智能应用创新大赛(以下简称“大赛”)是由华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司主办,以“云聚姑苏,智享未来”为主题,面向全国的人工智能交流赛事。大赛旨在培养AI人才,持续赋能AI企业,联合参赛企业、合作伙伴和开发者构建一个技术交流、人才培训、产业融合、机遇共创的AI生态平台。大赛将提供开放能力聚焦AI应用落地进行全场景创新,通过“线上+线下,以赛促学,产教结合”的形式开展。大赛分为创客赛道和企业赛道,创客赛道参赛团队参赛作品须基于新一代人工智能相关技术探索和设计,有明确场景驱动的应用创新方案,比如人工智能技术在工业、城市、通信、教育、医疗、金融、环保等行业领域的应用;企业赛道企业参赛团队须围绕“智能+医药”、“智能+制造”、“智能+城市”三个场景进行项目申报。二、参赛对象创客赛道:面向全社会开放,个人、高等院校、科研单位、创业团队等人员均可报名参赛。企业赛道:企业可报名参赛。企业赛道报名链接:https://competition.huaweicloud.com/information/1000041241/introduction说明:如有大赛主办方和技术支持单位(如华为技术有限公司员工)参赛,则自动放弃获奖资格。三、赛程安排l 启动仪式(2020年6月19日)l 报名时间(即日起 ~ 8月10日20:00):所有参赛者须在该日期期间内,在大赛官网进行注册报名和组队,并接受参赛资格审核。l 作品提交(2020年6月19日 ~ 8月10日20:00):所有参赛者须在该日期期间内,在大赛官网按照要求,合规地提交参赛作品。l 重大联合创新路演(2020年7月12日):大赛子版块活动,有意向参与联合创新企业可报名该活动。l AI训练营(2020年7月,具体时间待公布):面向所有参赛者,举行AI训练营活动,由华为专家进行AI技术赋能培训。l 初赛评审(2020年8月11日 ~ 8月17日):初赛采用线上评审方式,评审专家秉持公平、公正原则评审所有参赛作品,大赛组委会负责相关流程的组织和监督。l 公布晋级决赛名单(2020年8月17日 ~ 8月19日):创客赛道和企业赛道分别评选18组晋级决赛,由大赛组委会公布晋级决赛团队名单。l 决赛答辩及路演(2020年8月,具体时间待公布):决赛采取现场答辩的评审方式。(如不参加现场答辩,视为自动放弃获奖资格)l 颁奖及闭幕(2020年8月,具体时间待公布):现场答辩评出最终排名后,大赛组委会将举办颁奖典礼及闭幕仪式。四、奖项设置1、创客赛道奖项设置如下:特等奖:1支队伍,每支队伍奖金10万元,颁发获奖证书一等奖:2支队伍,每支队伍奖金5万元,颁发获奖证书二等奖:3支队伍,每支队伍奖金 3万元,颁发获奖证书三等奖:4支队伍,每支队伍奖金 1万元,颁发获奖证书优胜奖:8支队伍,每支队伍奖金3000元,颁发获奖证书纪念奖:基于初赛参赛作品评选出100支队伍,荣获大赛纪念奖,电子参赛荣誉证明、大赛伴手礼(每支队伍一份)参与奖:初赛提交有效作品队伍将获得电子参赛荣誉证明说明:以上奖金为税前奖金,由获奖团队承担税款。2、企业赛道分为“智能+医药”、“智能+制造”、“智能+城市”三个场景,奖项设置一致,具体奖项设置如下:一等奖:3名,每个场景1名,价值100万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持,优先2021年重大联合创新二等奖:6名,每个场景2名,价值50万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持三等奖:9名,每个场景3名,价值30万元华为人工智能云资源,华为专家资源支持,园区具有竞争力的政策支持说明:企业赛道奖项须落户园区后享受,华为人工智能云资源兑现时间为大赛获奖1年内。五、报名及组队要求1、报名时间:即日起 ~ 2020年8月10日 20:002、组队说明:在页面左侧“我的团队”页签进行组队,每个团队人数最多5人,且每位参赛者仅可加入一支队伍。3、报名方式:使用华为云账号登录大赛官网,点击大赛官网页面上方“立即报名”按钮报名参赛。4、参赛者须确保报名信息准确有效,否则会被取消参赛资格及奖励。5、每位参赛者/每支参赛团队仅可选择一个赛道进行报名。6、官网交流群:请扫描如下小助手二维码,回复“创客”/“企业”进入相应交流群。大赛重要节点通知会在群内第一时间告知,请务必加群。六、大赛组织机构指导单位:苏州工业园区管理委员会主办单位:华为(苏州)人工智能创新中心、苏州工业园区科技发展有限公司七、其他若出现以下情况,将视为违规,大赛组委会有权取消参赛队伍的参赛资格。1、参赛报名信息虚假,不符合大赛报名及组队要求的参赛者/参赛队伍2、参赛作品涉嫌抄袭,侵犯他人知识产权等行为3、参赛期间或参赛作品发现或被举报认定存在的其他违法、违规行为本大赛规程最终解释权归“华为云杯”2020人工智能应用创新大赛组委会所有。
  • [讲座&活动公告] 华为云“云上先锋”大赛—开发者青年班ModelArts 动手实践 AI 开发实践课
    【课程简介】华为云开发者青年班,是面向开发者的精品实战系列课程,目前已开展第八期,均由华为云高级技术专家亲自带队指导!本期活动以ModelArts 动手实践 AI 开发为主题。让大家在开发者青年班中体验 学、练、赛一站式课程内容,轻松掌握AI开发技能。最近几年深度学习算法在自然语言处理、语音识别、图像处理等领域的突破应用和广泛接受。这也标志着深度学习已经彻底迈出实验室大门,走向实践,推动着人工智能向更高阶段发展。本课程就是对深度学习感兴趣的学员准备的,将深度学习理论和实践结合,更注重于深度学习算法该如何应用到图像处理等相关领域,干货满满本次开发者青年班课程与华为云“云上先锋”2021年度学习赛—EI&DevCloud相结合,通过系统性的课程学习,让零基础的开发者也可以完成赛事,并以“技术赋能、创新引领”为理念,通过线上学习+实践操作+丰厚奖品为形式,开发者可以了解华为前沿研发理念和先进技术,体验用华为云EI&DevCloud产品进行场景应用的开发,加深对华为云技术的了解,并提升自身的技能与能力。【参与对象】对AI感兴趣的开发者及个人,均可报名学习并参赛。【课程报名方式】点击立即报名即可报名成功 “立即报名”    报名成功后可参与活动分享,获得丰厚的分享奖励。【课程安排】课程时间安排课程安排实践安排课程学习入口(开课当日发放)11月12日-11月16日python基础课程Python编程知识开始学习11月17日15:00-17:00专家直播课,在线学习指导直播互动直播回顾11月18日-11月22日图像分类课程图像分类(入门版、进阶版)开始学习11月23日-11月30日图像目标检测课程目标检测(入门版、进阶版)开始学习【课程打卡要求】在课程时间安排内,在课程学习入口处点击链接领取课程内容学习后按照指定要求在帖子下方回帖形式完成打卡即可,完成全部课程打卡的用户可直接获得普惠奖抽奖机会一次(中奖概率80%)、及开发者青年班结业证书【活动奖励】【课程交流及答疑】1、参加开发者青年班课程学习扫描下方二维码加入活动QQ群内,每日课程公告,获奖名单信息等重要内容会第一时间在群内通知。2、如有技术相关问题可在此贴下方评论区内进行提问,专家会在24小时内为大家统一进行答疑处理。注意事项:1、大赛邀请专属链接禁止在本期开发者青年班活动群内露出,如发现群内露出将取消活动邀请资格。2、统一宣传推广图文可在活动QQ群公告处或此贴附件中查看领取3、 活动邀请中需完成实名认证,非实名认证用户或发现机器账号(同一用户多次报名、虚拟手机号注册、同一时间段连续注册)等非有效账号将不计入有效邀请人数,并取消该用户活动邀请资格 >>实名认证操作指导
  • [参赛经验分享] 解锁华为云AI如何助力无人车飞驰“新姿势”,大赛冠军有话说
    在2020年第二届华为云人工智能大赛•无人车挑战杯赛道中,“华中科技大学无人车一队”借助华为云一站式AI开发与管理平台ModelArts及HiLens端云协同AI开发应用平台,进行无人车模型开发与部署,最终夺冠,获得20万奖励(10万现金+10万代金券)。战队撰文分享其参赛体验,包括无人车比赛的整体方案,多维数据处理及行驶控制的能力等。 1.   比赛背景第二届华为云无人车挑战杯大赛,相比第一届大赛,难度更大,赛道环境更加接近真实的道路。在比赛中,无人车需要从发车区出发,通过车道线循迹沿“8”字形赛道在不能压线和触碰挡板的条件下行走一周半后,准确地停入到停车区。在小车行驶期间,需要完成交通信号灯识别、斑马线识别、机器人动态避障、挡板区循迹、限速/解限速标志识别、精准停车等任务。无人车不仅需要完美无误地完成所有的任务,在速度上也有要求,在总决赛中,无人车需要在70s内完成所有任务,时间加分项才能为满分。在比赛中,华为云ModelArts一站式AI开发与管理平台,给参赛选手提供全流程的AI模型开发环境,助力参赛选手高效地完成检测任务中模型的训练,HiLens端云协同AI开发应用平台帮助参赛选手快速地完成模型在端侧设备上的部署和加速。华为云无人车挑战杯在由上海交大学生创新中心智能制造实验室自主研发的无人车的基础上,结合华为云人工智能平台,全面锻炼和提高赛队的AI解决方案能力及无人驾驶编程技巧。图1‑1 华中科技大学无人车一队的后浪图1‑2 华为云无车人挑战赛总决赛现场2.   整体方案无人车比赛整体解决方案如图2‑1所示,比赛主要分为三个部分,ModelArts做模型的在线训练,HiLens Kit做模型的部署,无人车上工控机的通过ROS将各个节点整合到一起,做无人车底盘的决策和控制。通过华为云ModelArts一站式AI开发与管理平台完成数据标注、模型训练、模型转换等工作,得到可供HiLens Kit前向推理的卷积神经网络的模型。HiLens Kit通过自带的相机采集图像,通过技能部署进行模型的前向推理和加速,HiLens Kit搭载着高性能的华为人工智能芯片昇腾310,针对卷积神经网络进行了优化,在模型的前向推理过程中可发挥出强大的算力。HiLens Kit完成红绿灯、限速/解限速标志识别、斑马线的目标检测识别,通过Socket通信,将检测结果传给无人车上的工控机。无人车上工控机处理激光雷达的点云数据,做Slam建图和运行中的实时定位,工控机处理USB摄像头的采集的车道线数据,做车道线的识别,再通过ROS将所有节点信息做整合,做底盘电机和舵机的决策控制。3.   ModelArts模型训练ModelArts是面向AI开发者的一站式开发平台,包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI市场功能,能够在市场内与其他开发者分享模型,其功能总览如图3‑1所示。在比赛中,我们通过ModelArts平台完成了数据标注、模型训练和模型在线转换等工作,并且通过ModelArts做模型的线上部署,检验模型的精度效果。3.1.  任务分析本次大赛涉及6类目标的检测识别:红灯、绿灯、黄灯、限速标志牌、解限速标志牌、斑马线,如图3‑2所示。无人车在运行过程中,对目标采集的图像涉及不同的视角和距离,而且比赛场地光强未知,所以对于目标检测任务,要充分考虑到目标不同视角的刚体形变、不同距离的尺度变化、不同环境光强的变化以及无人车运行中的运动模糊。无人车根据检测的结果做出相应决策和控制,对目标检测的精度要求很高,一但误检或漏检,小车的控制就会出错,而且小车在赛道上快速运行,所以对目标检测的速度也要求较高,一但小车看见目标,需要快速输出检测结果。3.1.  数据标注数据标注采用ModelArts中的数据管理功能,进入ModelArts平台的数据标注模块,创建数据集,选择物体检测,添加标签集。既可以选择手动标注,也可以在手动标注一部分后选择智能标注,最终再修改确认智能标注。当数据集较大的时候,智能标注可以有效降低数据集标注的工作量。通过创建标注团队,将数据集分配给团队队员,团队合作加快数据集标注速度。3.3.  数据增强我们模型训练的数据集大部来自HiLens Kit拍摄的不同环境下的视频序列,数据集中图像的重复比例较大,有必要将重复的图像做一些删除,对数据集做数据增强实现数据扩增,解决由于图像数据量较少带来的模型过拟合的问题。在比赛中,我们参考2018年的论文《Albumentations: fast and flexible image augmentations》开源的代码做数据集的扩充,开源代码网址:https://github.com/albumentations-team/albumentations。该项目对于数据的扩充采用颜色空间变换、模糊、亮度调整、黑白、压缩、随机噪声等30余中数据扩充办法。由于我们比赛中要识别的对象,颜色是很重要的一个特征,例如:红灯、黄灯、绿灯三种灯的颜色,限速标识的红色和解限速标识的黑色,颜色变化相关的数据扩充,会造成数据颜色特征的丢失。红灯、黄灯、绿灯三种灯分别在左、中、右三个位置,交通灯亮的位置,也是区分三种灯的很重要的特征。所以对数据集的扩充,去掉了色彩变换和水平翻转的数据扩充办法。数据扩充采用扩充方法级联的方式,如图3‑4所示,更大程度上,减小数据之间的相似性,增加图像数据的多样性,数据增强的效果如图3‑5所示。3.4.  模型训练通过数据增强,减小了数据之间的相似性,增加了数据多样性,最终选用了6031张图像数据做模型训练。模型训练我们选用的是华为云AI市场里面基于TensorFlow框架的YOLOv3_Darknet53的网络。在训练时,采用COCO数据集上的预训练模型,训练完后,通过模型转换功能将TensorFlow的PB模型转换成Ascend类型,以支持在HiLens Kit的Ascend 310 AI芯片上做模型推理。YOLOv3是典型的一阶段的目标检测网络,图像输入为416*416条件下,COCO数据集上测试的mAP的分数为31.0,模型转换后在Ascend-310推理速度:17.8ms/pic,是目前速度和精度最为均衡的目标检测网络之一,其网络结构如图3‑6所示。YOLOv3采用Darknet53作为backbone,Darknet53大量使用类似于ResNet的残差跳层连接,从而可以加深网络的深度,特征提取可以提取出更高层的语义特征,并且为了降低池化带来的梯度负面效果,作者直接摒弃了pooling,用conv的stride来实现降采样,在这个网络结构中,使用的是步长为2的卷积来进行降采样。YOLO v3中采用类似FPN的上采样和特征融合的做法,在多尺度的特征图上做检测,大大加强了对小目标检测的精确度。YOLOv3采用固定anchor对目标的位置做预测,图3‑6中输出的y1、y2、y3分别对应着32倍、16倍和8倍图像采样结果,32倍降采样的感受野最大,适合检测大的目标,所以在输入为416×416时,每个cell的三个anchor box为(116 , 90)、 (156 , 198)、 (373 , 326)。16倍适合一般大小的物体,anchor box为(30 , 61)、(62 , 45)、 (59 , 119)。8倍的感受野最小,适合检测小目标,因此anchor box为(10 , 13)、(16 , 30)、(33 , 23)。y1、y2、y3中每个cell回归边界框预测4个坐标,tx , ty , tw ,th。如果目标cell距离图像左上角的距离是(cx ,cy),且它对应边界框的宽和高为pw , ph ,如图3‑7所示,那么网络的预测值为:在ModelArts中做模型训练和调优参数相关设置如图3‑8所示,使用ModelArts中可视化工具做训练过程可视化结果如图3‑9所示。模型训练完成后,通过在线的模型转换工具,转换为.om的模型,以供在HiLens Kit上做推理。4.   HiLens技能开发和模型部署华为HiLens为端云协同多模态AI开发应用平台,提供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台。HiLens Framework封装了丰富的视频分虚算法基础组件,如图像预处理、模型推理等,开发者只需少量代码即可开发自己的技能。HiLens Studio提供在线的开发环境,可以方便的在线编写和调试技能代码。管理控制台提供模型管理、技能开发等功能,供用户在云侧管理模型和技能,一键安装技能到端侧设备。在比赛中,我们使用HiLens Kit端侧设备做模型推理,线上开发好的技能可以一键部署到HiLens Kit上。4.1.  检测任务的Skill开发如图4‑2所示在本次无人车比赛中,我们团队开发了3个Skill,get_pic是用HiLens Kit采集图像数据并通过socket通信传给主机,做数据集采集使用;yolo-v3-v1-test是用来在测试模型的精度效果,不加与工控机通信代码;uac-yolov3-v1是在无人车实际行驶时的技能,在比赛中采集图像进行模型推理并与工控机通信。在做检测任务的技能开发,我们首先利用HiLens Studio的开发环境和HiLens Framework,在线做模型前向推理的测试,HiLens Studio开发环境如图4‑4所示,代码流程如图4‑3所示,先初始化HiLens、摄像头和加载模型,接着进入一个循环,读取摄像头采集的图像,做数据预处理,HiLens读取摄像头的图像为YUV格式,需要转为RGB格式,以及将图像resize为(416,416),以便做模型推理。模型推理通过调用HiLens Framework封装好的API,做模型前向推理的计算。由于Ascend310不支持模型后处理的计算,所以这一部分需要通过软件来做,后处理主要包括,从模型输出的特征矩阵中解码出检测框的位置、类别、置信度等信息、NMS筛选检测框等,最后输出结果。在结果后处理阶段,我们也加入了一些小技巧,以提高检测任务的准确率:l  对于6类目标我们分别采用不同的置信度阈值做筛选,交通灯和斑马线需要在较远的距离就识别到,置信度阈值我们设置为0.5,而限速/解限速,为确保检测正确性,置信度设置为0.9。l  对于红绿灯和限速/解限速,通过计算目标框中图像的红色分量值,来纠正检测的错误,例如,但检测到红灯,必须红色分量值大于0.15,才认为正确,否则视为错误。对于检测到绿灯或黄灯,必须红色分量小于0.1,才认为正确。l  同理,对于斑马线的检测,将目标框图像二值化,白色像素占比大于0.3,才认为检测正确。最终,我们在HiLens Studio对决赛现场的图像做测试,测试了700张图像,只有23张图像检测错误,目标漏检的也很少,而且都是在角度很偏的时候,漏检率在5%以内。在HiLens Studio技能代码做完了测试之后,在“技能管理”里面,创建一个新的技能,导入在HiLens Studio里面的代码,加入与工控机通信的部分,就完成了检测任务加上通信的技能开发,然后将技能在线安装到端侧设备HiLens Kit上。下一次HiLens Kit启动后,就会自动启动技能。4.2.  HiLens的通信在无人车比赛中,HiLens Kit通过网口采用Socket通信与工控机或PC机进行通信,Socket网络通信框架如图4‑5所示,Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。Socket通信分为基于TCP和基于UDP两种。TCP协议是基于连接的协议,需要先建立可靠的连接,而UDP不需要事先建立可靠的链接,而是直接把数据包发送出去,是不稳定的连接。在图像数据集采集时,通过Socket通信传输视频数据,数据量大且不必要求每一个数据包都准确接收,我们采用Socket UDP通信,传输视频数据。在HiLens Kit做目标检测任务时,客户端数据少又需要稳定可靠的传输,所以我们采用基于TCP协议的Socket通信,基于TCP协议的Socket通信如图4‑6所示。5.   ROS无人车决策控制无人车上由车上的工控机完成各项数据的处理和融合,进行无人车的决策控制。通过处理激光雷达的点云数据,做Slam建图和运行中的实时定位以及挡板区的循迹,处理USB摄像头的采集的车道线数据,做车道线的识别,通过Socket通信接收来自HiLens kit的目标检测的结果。如图5‑1所示,无人车的控制方案主要包括:车道线循迹、挡板去循迹、斑马线停车及避障、限速和解像素、发车和停车、建图和定位,通过ROS整合各个节点的消息,将多种数据进行多模态融合,进行无人车控制状态机的切换,给驱动控制发送不同的速度和方向指令,驱动控制将速度和方向信息转为无人车底盘的电机速度和舵机打角指令,通过串口发送给无人车驱动,最终实现无人车完美高效地完成整个比赛任务。5.1.  车道线识别在本次比赛中,车道线的识别也是本次比赛的一个难点,无人车上USB camera的位置低、视角窄导致大部分时间只能看到单线,再加上工控机的性能较弱,对图像相关处理速度较慢。对于车道线识别,我们没有采用比赛方提供的例程,而是从实际驾车思路出发,想办法得到道路的中线,通过中线推算偏差。车道线识别的流程如图5‑2所示,首先将图像二值化,通过膨胀与腐蚀,将车道线线条的断裂给补上,小车在运行中,车道线总是会交与图像的左、右、下三条边,所以在这三条边上搜索车道线基本点,根据搜索到的基本点搜索边线。由于摄像头固定,采用提前标定好的透视变换矩阵将图像变换到俯视图。由于在搜索车道线基本点可能会搜索到多个,例如图5‑3搜索到3个基本点,从而会搜到多个边线,所以需要对边线进行筛选,提取车道线。将车道线做一次拟合,由于道路宽度固定,所以可以通过拟合的车道线计算出中线。根据中线的计算结果,即可求解偏差。在图像计算中,通过采用python的numpy矩阵操作代替大量python低速循环进行计算加速,精简计算流程,(640,480)的图像在工控机计算帧率平均可达到46fps。5.2.  激光雷达挡板区循迹与无人车定位无人车上的激光雷达传感器可扫描到无人车周围360度的障碍物的信息,可以用来做挡板区的循迹和无人车的实时定位。雷达数据的可视化展示如图5‑4(a)所示,雷达的点云数据组成了无人车行驶的车道,可采用和车道线相似的处理办法,采用搜索雷达右半部分0-75度的范围,拟合右边线,从而计算中线,求取偏差。具体处理过程可参考车道线处理方案,此处不再赘述。无人车Slam建图和定位的方案,现已经很成熟, GitHub、GitLab等开源平台也有很多非常棒的基于ROS的激光Slam项目和定位方案,我们采用开源的rf2o将激光雷达数据转为里程计信息,通过AMCL做定位,采用Gmapping建图,ROS开源社区(http://wiki.ros.org)都有详细的介绍,此处不再赘述。5.3.  多模态融合的无人车决策控制在HiLen Kit部署的技能,尽管采用一些技巧提升了图像的识别准确率,但也并非百分百准确。无人车在行驶过程中,存在运动模糊、未知光源干扰、反光灯等问题,尽管制作数据集考虑了此类情况,但是还是会有影响。我们采用了数字滤波中常用的的窗口滤波处理来做图像信息的后端处理。l  采用长度为k的定长队列做为观察窗口l  选取k个元素中出现最多类别作为当前阶段预测类别在小车行驶过程中,将ROS节点的各个信息,做多模态融合,实现无人车不同状态下切换,如图5‑6所示,无人车完成起步、斑马线停车避障、挡板区循迹、限速/解限速、精准停车等任务。6.   联合使用ModelArts和HiLens体验在此次华为云无人车大赛中,联合使用ModelArts和 HiLens,这全流程的解决方案对项目的完成提供了高质量的服务。ModelArts提供全流程的AI开发平台,数据管理、模型训练、在线部署,都方便高效;HiLens提供了端云协同的AI开发平台,大大降低了嵌入式平台开发门槛,实现模型高效快捷的端侧部署。我们在使用华为云的全栈式解决方案之前,也接触过一些其他的AI解决方案,但是无论是云还是端都没有华为云ModelArts和HiLens的联合使用便捷高效。其便捷高效主要体现在以下几个方面:(1)数据管理平台支持数据上传、存储、标注、处理一体化服务;(2)ModelArts提供了各种配置好的开发环境,支持各种深度学习框架的开发;(3)ModelArts的AI市场提供了丰富的网络模型,提高开发者开发效率;(4)ModelArts支持模型在线部署和测试,可提供网络接口供物联网设备实现云端协同;(5)HiLens的HiLens Framework,丰富的API解决了驱动和图像接入问题,自带媒体数据处理库,支持各种自定义操作;(6)HiLens Studio开发环境可在不需要硬件的条件下,做模型的测试和代码的调试;(7)HiLens技能管理平台可对技能直接做在线的部署和切换,方便、快捷。(8)HiLens的技能市场,提供了丰富的开发好的技能,开发者可以站在巨人的肩膀上做开发,提高开发效率。
  • [技术干货] 【最全竞赛资料包下载】直播回顾+材料下载
    【2020最全竞赛资料包下载】直播回顾+材料下载 1.      KPI异常检测比赛解题分享--复仇者联盟:https://developer.huaweicloud.com/hero/thread-90604-1-1.html2.      [参赛经验分享]华为云DevCloud啤酒供需数字化管理系统开发赛【工业互联网-啤酒管理系统】精华:https://developer.huaweicloud.com/hero/thread-85695-1-1.html3.      【华为云DevCloud开发者大赛·广场摆摊大作战】—第二名选手思路分享:https://developer.huaweicloud.com/hero/thread-79914-1-1.html4.      【开发者高校青年班】华为云开发者AI青年班黑客松大赛——参赛方案和总结:https://developer.huaweicloud.com/hero/thread-55089-1-1.html5.      [参赛经验分享]"华为云杯"人工智能创新应用大赛季军方案分享-斗鱼超管团队:https://developer.huaweicloud.com/hero/thread-59760-1-1.html6.      爱(AI)美食美食图片分类大赛——第三名方案分享:https://developer.huaweicloud.com/hero/thread-54664-1-1.html7.      爱(AI)美食美食图片分类大赛——第二名方案分享:https://developer.huaweicloud.com/hero/thread-55004-1-1.html8.      【华为云DevCloud软件编程大赛】【分享汇总】【赛道一】选手算法&代码&视频&心得分享汇总:https://developer.huaweicloud.com/hero/thread-59720-1-1.html9.      华为软件精英挑战赛冠军分享:https://developer.huaweicloud.com/hero/thread-59427-1-1.html10.   华为云数据库TaurusDB挑战赛冠军赛题总结:https://developer.huaweicloud.com/hero/thread-52084-1-1.html11.   量子计算黑客松大赛-量子计算编程获奖选手思路分享:https://developer.huaweicloud.com/hero/thread-51891-1-1.html12.   2019华为云人工智能大赛·**分类挑战杯:https://developer.huaweicloud.com/hero/thread-51511-1-1.html13.   2019华为云数据库TaurusDB性能挑战赛亚军参赛总结:https://developer.huaweicloud.com/hero/thread-52085-1-1.html14. 华为网络人工智能黑客松大赛一等奖方案分享:https://developer.huaweicloud.com/hero/thread-91002-1-1.html15. [参赛经验分享]华为网络人工智能黑客松大赛二等奖方案分享:https://developer.huaweicloud.com/hero/thread-91003-1-1.html16. [参赛经验分享]揭开KPI异常检测顶级AI模型面纱-总榜TOP1(原**从入门到精通):https://developer.huaweicloud.com/hero/thread-92041-1-1.html17. [参赛经验分享]揭开KPI异常检测顶级AI模型面纱--二等奖(sh团队):https://developer.huaweicloud.com/hero/thread-92280-1-1.html18. [参赛经验分享]2020GDE全球开发者大赛·KPI异常检测TOP9思路分享——Excavator:https://developer.huaweicloud.com/hero/thread-91759-1-1.html---------------------------------------1.      [精彩回顾]2020首届智慧校园应用开发设计大赛-华为云&上海理工:https://developer.huaweicloud.com/hero/thread-88832-1-1.html2.      提升黄金监控指标异常检测精度-2020GDE全球开发者大赛·KPI异常检测大解密:https://developer.huaweicloud.com/hero/thread-87767-1-1.html3.      【2020华为云无人车总决赛直播回顾】直击→20强赛队激烈角逐现场:https://developer.huaweicloud.com/hero/thread-81058-1-1.html4.      软挑大神的赛后感言竟然是这样的!https://developer.huaweicloud.com/hero/thread-59599-1-1.html5.      华为云助力“互联网+”大学生创新创业大赛:https://developer.huaweicloud.com/hero/thread-65813-1-1.html6.      华为云DevCloud软件编程大赛优秀作品视频答辩和颁奖仪式视频:https://developer.huaweicloud.com/hero/thread-54687-1-1.html7.      【华为云人工智能大赛·**分类挑战杯】决赛答辩视频&PPT:https://developer.huaweicloud.com/hero/thread-47549-1-1.html8.      [技术干货]2020华为云数据库挑战赛-赛题解读:https://developer.huaweicloud.com/hero/thread-65946-1-1.html9.      [技术干货]华为云DevCloud软件编程大赛·市政口罩管理系统(赛道一)优质作品展播:https://developer.huaweicloud.com/hero/thread-57054-1-1.html10.   [技术干货]华为云DevCloud软件编程大赛·市政口罩管理系统(赛道二)优质作品展播:https://developer.huaweicloud.com/hero/thread-57052-1-1.html11.   [技术干货]2019人工智能创新应用大赛直播赋能视频回放:https://developer.huaweicloud.com/hero/thread-48755-1-1.html ·························1.      [数据集下载]“华为云杯”2020人工智能创新应用大赛(数据集来源于北京二号卫星):https://developer.huaweicloud.com/hero/thread-86609-1-1.html2.      [数据集下载]爱(AI)美食-美食图片分类Baseline:https://developer.huaweicloud.com/hero/thread-48757-1-1.html3.      [数据集下载]第十六届中国研究生数学建模竞赛-华为赛题:https://developer.huaweicloud.com/hero/thread-48583-1-1.html4.      [数据集下载]【2019华为云人工智能大赛·**分类挑战杯】:https://developer.huaweicloud.com/hero/thread-47550-1-1.html····································【2020西安人工智能大赛-获奖团队分享集锦】冠军-西南交通大学VGE团队:https://developer.huaweicloud.com/hero/thread-99413-1-1.html亚军-我要拿十万团队:https://developer.huaweicloud.com/hero/thread-99422-1-1.html亚军-HXForevertuan团队:https://developer.huaweicloud.com/hero/thread-99437-1-1.html季军-我的model怎么不work啊团队:https://developer.huaweicloud.com/hero/thread-99477-1-1.html季军-不配拥有姓名团队:https://developer.huaweicloud.com/hero/thread-99480-1-1.html优胜奖-0.4441警告 团队:https://developer.huaweicloud.com/hero/thread-99481-1-1.html季军-天呐真的吗团队:https://developer.huaweicloud.com/hero/forum.php?mod=viewthread&tid=99839TOP7-第一次做分割团队:https://developer.huaweicloud.com/hero/forum.php?mod=viewthread&tid=99842优胜奖-怎央打团队:https://developer.huaweicloud.com/hero/forum.php?mod=viewthread&tid=99843
  • [技术干货] 华为云AI大赛-参赛经验分享汇总帖
    一、图像分类赛题a、“华为云杯”2019人工智能创新应用大赛 - 基于旅游主题图像分类参赛者经验分享:1、西安人工智能大赛冠军获奖模型-sinoreps2、西安人工智能大赛季军获奖模型-斗鱼超管团队3、用AI技术推动西安民俗文化,斗鱼超管团队有一套4、"华为云杯"2019人工智能创新应用大赛季军方案分享-nmsh团队5、华为云人工智能创新应用大赛季军方案分享_goodgame团队6、"华为云杯"2019 DL队伍优胜奖方案分享7、"华为云杯"2019人工智能创新应用大赛优胜奖方案分享-西北望长安团队8、"华为云杯"2019人工智能创新应用大赛优胜奖方案分享-郭老师的弟子团队9、"华为云杯"2019人工智能创新应用大赛优胜奖方案分享-陆石头引力波团队10、2019人工智能创新应用大赛获奖队伍直播分享来啦!b、2019华为云人工智能大赛·**分类挑战杯1、2019华为云人工智能大赛·**分类挑战杯亚军方案分享2、决赛答辩PPT及视频3、深度学习通用模型调试技巧c、入门赛 - 爱(AI)美食·美食图片分类官方baseline:https://bbs.huaweicloud.com/forum/thread-63808-1-1.html参赛者经验分享:1、爱(AI)美食美食图片分类大赛——第一名方案分享2、爱(AI)美食美食图片分类大赛——第二名方案分享3、爱(AI)美食美食图片分类大赛——第三名方案分享代码分享:1、MxNet版本代码:https://bbs.huaweicloud.com/forum/thread-66990-1-1.html2、官方Baseline修改:https://bbs.huaweicloud.com/forum/thread-66991-1-1.htmld、华为云开发者AI青年班黑客松大赛 - 爱(AI)美食·美食图片分类参赛者经验分享1、https://bbs.huaweicloud.com/forum/thread-66955-1-1.html2、https://bbs.huaweicloud.com/forum/thread-66958-1-1.html3、https://bbs.huaweicloud.com/forum/thread-66961-1-1.html4、https://bbs.huaweicloud.com/forum/thread-66964-1-1.html5、https://bbs.huaweicloud.com/forum/thread-66962-1-1.html6、https://bbs.huaweicloud.com/forum/thread-66965-1-1.htmle.华为云“云上先锋”· AI学习赛1、AI学习赛冠军模型2、AI学习赛亚军获奖模型3、AI学习赛三等奖模型4、华为云AI学习赛第三名方案二、物体检测赛题“华为云杯”2020深圳开放数据应用创新大赛·生活**图片分类(基于物体检测)官方分享生活**图片分类赛题Baseline参赛者经验分享【PyTorch版本baseline】“华为云杯”2020深圳开放数据应用创新大赛·生活**图片分类三、结构化数据预测分析赛题2020中国高校计算机大赛·华为云大数据挑战赛热身赛 - 交通流量预测官方分享热身赛交通流量预测赛题Baseline参赛者经验分享1、2020中国高校计算机大赛·华为云大数据挑战赛热身赛_交通流量预测赛题思路分享2、2020华为云大数据挑战赛热身赛如何轻松快速提高10分?baseline简单解读与优化思路分享第一弹3、初赛Baseline,一套完整的流程4、周周星分享-排行榜第三5、关于萌新修改平台推理函数的一点建议外部分享2020中国高校计算机大赛·华为云大数据挑战赛–数据分析四、图像语义分割赛题赛题任务基于高分辨可见光遥感卫星影像,提取复杂场景的道路与街道网络信息,将影像的逐个像素进行前、背景分割,检测所有道路像素的对应区域参赛者经验分享1、2020西安人工智能大赛冠军模型分享2、2020华为云人工智能创新应用大赛亚军模型3、 2020西安人工智能大赛亚军获奖模型4、2020西安人工智能大赛季军获奖模型5、2020西安人工智能大赛季军模型_道路分割6、2020西安人工智能大赛季军获奖模型7、2020西安人工智能大赛TOP7获奖模型8、2020西安人工智能大赛优胜奖获奖模型9、遥感图像道路提取10、2020人工智能大赛道路识别11、华为云 云上先锋 AI挑战赛 第一名模型12、AI挑战赛--街景图像语义分割亚军方案13、云上先锋-AI挑战赛三等奖模型
  • [资产园地] 街景图像语义分割数据集 华为云"云上先锋"AI挑战赛数据集
    描述街景图像语义分割数据集1、简介该数据集为《华为云杯“云上先锋”·AI挑战赛》竞赛数据集,数据集为城市街景图像,包含路面、人、车辆、建筑、交通标志、植物、天空等物体。图像语义分割(Image Semantic Segmentation)是当今计算机视觉领域的关键问题之一,也是AI的一个重要研究方向。图像语义分割应用于包括自动驾驶汽车、人机交互、虚拟现实等场景中,近年来随着深度学习的普及,许多语义分割问题可以用深层次的卷积神经网络来解决,在精度上大大超过了传统方法。卷积神经网络已经在图像分类分方面取得了巨大的成就,图像语义分割可以理解为像素级别的分类问题。2、数据类别及目录结构说明- 数据类别所有数据均为城市街景图像,图像包含路面、人、车辆、建筑、交通标志、植物、天空等物体,标签类别与list对应关系如下。类别listflat0human1vehicle2construction3object4nature5sky6- 目录结构说明datasets_v2 (数据集根目录)|- xxxx.png (街景图片)|- xxxx.json (对应街景图片的标签文件)…3、其他说明该数据集所有图片均已标注,可以用于图像语义分割场景训练。
  • [前沿快讯] 华为云与北京大学神经科学研究所达成合作,推动AI脑科学研究
    4 月 2 日是第十四个世界自闭症日,华为云与北京大学神经科学研究院,开启了用 AI 研究儿童自闭症的计划。日前,北京大学神经科学研究所与华为云签署合作框架协议。根据协议,双方将在云计算、AI 等技术驱动下,成立「联合创新课题组」,以智慧 AI 医疗为主要联合创新方向,发挥各自资源优势,全面推动儿童孤独症(又称「自闭症」)智能诊疗的 AI 算法研发和相应的应用平台建设。 孤独症谱系障碍(Autism Spectrum Disorder, ASD)是一种起病于儿童早期,以社交损害与行为刻板为特征的大脑功能疾病。我国拥有世界上最大的人口与儿童群体,随着孤独症发病率不断增高,现有的专业医疗人员数量和医学康复支撑体系无法满足对孤独症人群的诊断和治疗。北京大学神经科学研究所韩济生院士 / 张嵘副教授课题组根据多年脑科学研究积累,综合本土低龄 ASD 儿童的行为学、脑影像学等临床研究手段,联合电子科技大学 Keith Kendrick 教授 / 蒋希副研究员课题组系统性地提出了孤独症辅助诊断、亚型识别及特色治疗手段干预的一体化临床诊疗体系。 2020 年以来,北京大学神经科学研究所携手华为云 EI 创新孵化 Lab 脑科学团队,在脑疾病临床和脑科学研究方面的社会性示范应用方面开展了一系列创新性的合作尝试。联合研发团队正通过前沿 AI 脑科学研究手段,启动一系列基于孤独症患儿脑影像多模态数据进行生物标记物异常识别的早筛和亚型诊断算法研发和基于 AI 视觉的孤独症儿童突出能力识别算法研发,并将通过把研发成果集成上线到华为云 AI 脑科学平台面向全国各基层单位进行推广应用,从而完成 「AI 脑疾病算法研发 -> 临床成果转化应用 ->临床研究数据汇聚 ->进一步提升 AI 算法准确性和适用性」的平台运行生态闭环,期望在未来能够有效降低国家和家庭在 ASD 疾病诊疗方面的社会成本。  基于华为云的孤独症智能诊疗一体化创新平台架构示意图1 月初,联合创新课题组合作的「孤独症智能诊断与精准治疗一体化创新平台的构建与应用」获得首届「未来之星」生物医药创新成果转化项目大赛医疗器械组一等奖。 近年来,华为云 EI 创新孵化 Lab 脑科学团队面向脑科学领域的多个重大关键问题开展攻关,充分发挥华为云在 AI 研发和高性能计算领域的技术积累,协同中国顶尖的脑科学研究机构、脑疾病诊疗机构基于华为一站式 AI 开发平台 ModelArts 联合打造和推广 AI+HPC 赋能的脑科学平台,为中国宏观和介观脑图谱、脑功能组学的科研创新和成果转化提供一站式的研产用转化支撑。