5月13日19:00举办的华为云AI论文精读会2021 第四期：Dynamic RCNN：一种有效提升RCNN系列网络表现的动态训练方法很多小伙伴们都有热情的参与~我们的嘉宾是北京大学的白璐斌，直播时评论都在说白璐斌老师讲解好细致，真的是太厉害啦！错过了直播的小伙伴也不要担心，贴心的我们为大家准备好了回放！准备好了吗！观看地址：https://bbs.huaweicloud.com/live/cloud_live/202105131900.html

讲师介绍刘文志（花名风辰），华为诺亚AI系统工程实验室主任，异构并行计算专家，毕业于中国科学院研究生院，闻名于并行计算江湖，尤善异构并行计算、AI系统工程和大规模集群计算，涉及图像处理、计算机视觉、自然语言处理、推荐系统、科学计算和石油勘探。现华为诺亚AI系统工程实验室主任，前商汤集团hpc和汽车业务创建人，曾任英伟达并行计算工程师、百度在线高级研发工程师。著有《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业级应用并行优化》和《OpenCL异构并行计算》四本并行计算领域的专著。创建了ppl、parrots、bolt和vega等AI著名项目。业务背景随着5G时代的到来，电信流量呈爆发式的增长，基站流量的预测对站点的扩容和站点的规划至关重要。根据基站流量的精准预测结果，对于超负荷流量的基站可以及时发现并进行扩容，对于某一段时间段流量使用较小的基站，可以智能关站来降低资源的损耗。 但是基站流量预测是一个老大难的问题，针对这一挑战，我们近期尝试深度学习的方法来解决。传统的流量预测模型使用时间序列分析的模型如ARIMA，没有考虑流量的空间相关性信息（见图1）。Vega 提供一种多信息融合的电信网络流量预测的算法，将基站网络建模为图结构，图的节点表示基站，边刻画基站之间的关联，每个基站的流量作为节点属性特征输入给网络模型进行训练。此外我们可以通过架构搜索的方式动态设计网络结构，使得网络结构能够完美匹配当前的业务场景，使用超参优化对训练参数进行自动调优，从而减少人工的干预和成本。本文将介绍如何使用vega自动机器学习（AutoML）系统解决电信领域的基站流量预测问题。 Vega介绍Vega是由华为诺亚方舟实验室开发的面向于深度学习的AutoML工具链（框架流程图见图2），有如下主要特点：●完备的AutoML能力：涵盖HPO(超参优化, Hyperparameter Optimization)、Data-Augmentation、NAS(网络架构搜索， Network Architecture Search)、Model Compression、Fully Train等关键功能，同时这些功能自身都是高度解耦的，可以根据需要进行配置，构造完整的pipeline。●业界标杆的自研算法：提供了诺亚方舟实验室自研的 业界标杆(Benchmark) 算法，并提供 Model Zoo 下载SOTA(State-of-the-art)模型。●高并发模型训练能力：提供高性能Trainer，加速模型训练和评估。●细粒度SearchSpace：可以自由定义网络搜索空间，提供了丰富的网络架构参数供搜索空间使用，可同时搜索网络架构参数和模型训练超参，并且该搜索空间可以同时适用于Pytorch、TensorFlow和MindSpore。●多Backend支持：支持PyTorch(GPU), TensorFlow(GPU, Ascend 910), MindSpore(Ascend 910).。●支持昇腾平台：支持在Ascend 910搜索和训练，支持在Ascend 310上模型评估。使用Vega解决基站流量预测问题我们先介绍下Vega中时空预测算法STGCN算法。该算法使用GRU对时间前后的依赖关系进行建模，同时通过GCN网络从三个视角捕获对象之间的关系：空间相似性、功能相似性和最近趋势相似性，网络结构见图3。 更详细的STGCN算法说明，参考论文 Spatio-Temporal Hybrid Graph Convolutional Network for Traffic Forecasting in Telecommunication Networks，链接为 https://arxiv.org/abs/2009.09849 下面我们将基于Vega采用5种不同使用方式来介绍基站流量预测建模。3.1使用方式1：Fine TuneVega提供ModelZoo供用户使用。用户可以根据自己的需求（数据集、网络结构、参数量、性能指标等）选择ModelZoo中相应的模型文件，在此基础上进行Fine Tune训练。下面是基于Abilene数据集进行Fine Tune训练的流程图，见图4. 可以看到在Ablilene数据集上，我们已经训练过很多模型，从中选取一个性能较好的给vega进行Fine Tune，能够大大减少需要训练的时间，仅仅一分钟的训练时长，10个epochs就能达到30.32的RMSE。 3.2使用方式2：超参优化在网络训练中，为了提高网络的性能，我们往往需要进行大量的调测工作，如采用何种优化器，batch_size为多少比较合适，学习率设置为多少才能取得最优的性能效果。如果让专家手动调参就太耗费人力和财力，Vega提供了自动超参优化的能力，通过大量的超参优化算法来自动调参，有效的利用算力资源来找到一组满足目标的超参。Vega HPO 流程图见图5. 我们选取ASHA算法来对使用方式1中的训练过程进行优化，定义可调的超参有：每轮训练的批次大小batch_sizeopt优化器学习率LR在训练了15分钟以后，采样出25组不同的超参组合，最终选择了最优的超参组合，精度为29.37，相对于使用方式1中的30.32，提升了3%，其超参组合的详细数据如下：optimizer:    type: RMSProp    lr: 0.0058batch_size: 16epochs: 813.3使用方式3: Vega NAS自动优化时序网络结构AutoML另一个主要的作用是可以用于动态调整网络架构，使得所生成的网络能够更好的适用于当前的数据和应用场景。比如网络中采用何种的blocks较为合适，应该堆叠几层，堆叠的少了可能无法获取到相关的特征，堆叠层数过多不容易收敛，而且有可能会导致过拟合。这需要研究者花费大量的专家经验和时间反复试验。我们希望能够通过Vega的能力来简化网络的设计流程，用户只需要定义搜索空间，选择一个搜索算法，然后指定一个优化目标比如RMSE，Vega就能够自动寻找出一个较为合适的网络给用户使用。Vega NAS 流程如见图6。 我们定义如下的搜索空间，搜索算法选用ASHA，优化目标为RMSE：graph类型：temporal、spatial、spatial-temporalgcn_layers: gcn堆叠层数（1,2,3,4）gru_layers: gru堆叠层数（1,2,3,4）训练时长为15分钟，采样出25组候选网络，最佳的RMSE为29.87，相对于基础模型性能提升了1.5%，最终得到的网络结构如下：model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 4     gru_layers: 1    kernel_size: 43.4使用方式4: 先NAS后HPO在上述的实验中，我们发现不管是超参优化还是架构搜索都能够对最终的性能有所提升，那么我们如何才能够将HPO和NAS一起使用构成一个端到端的流程实现性能更优。Vega提供了Pipeline的能力，用于将多个不同的PipeStep算法无缝的串联起来，用户只需要进行简单的配置而不需要关心具体的实现细节。由于我们一般先优化网络，得到一个最优的网络后继续优化其训练超参。这里我们可以定义两个PipeStep：NAS用于搜索网络架构，输出一个新的网络，HPO获取NAS输出的网络后进行训练超参的优化，最终得到一个最佳网络和最佳超参的组合。先NAS后HPO流程图见图7. 我们将搜索空间的定义分为2个不同的PipeStep中： Nas网络结构空间定义：graph类型：temporal、spatial、spatial-temporalgcn_layers: gcn堆叠层数gru_layers: gru堆叠层数Hpo可调参数定义：每轮训练的批次大小batch_sizeOpt函数：Adam，SDG，RMSProp学习率LRNAS的训练时长为10分钟，HPO为15分钟，产生候选网络25组，候选超参25组，最终的RMSE只为29.23，相比于基线模型性能提升了3.5%，相比于单独使用HPO或者单独使用NAS都有一定的提升效果。 最佳的参数配置如下：model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 4 gru_layers: 1kernel_size: 4trainer:    epochs: 9    optimizer:        type: Adam        lr: 0.00094dataset:    batch_size: 83.5使用方式5: HPO+NAS联合优化通过上述的先NAS后HPO的优化，我们在模型性能上面得到的一定的提升，于是我们想到一个问题，就是网络结构与训练超参之间是否存在一定的关联性，另外对于搜索算法来讲，更高维度的采样能够提高搜索算法的采样效率，从而减少训练时长。 所以我们考虑将HPO和NAS合并在同一个PipeStep中做联合优化。区别于其他的AutoML框架，Vega提供了统一的SearchSpace的定义，使得训练超参和架构参数能够在同一个搜索算法中联合优化，用户只需要指定key来表示需要优化何种超参，type表示采用何种采样类型，range表示采样的范围。最终的采样结果即包含了网络架构参数也包含了训练超参。NAS和HPO联合优化流程图，见图8. 我们将搜索空间定义如下：Graph类型：temporal、sparial、sparial-temporalGcn_layers: 网络层数gru_layers: gru堆叠层数每轮训练的批次大小batch_sizeOpt函数：Adam，SDG，RMSProp学习率LR训练时长为30分钟，采样出25组候选网络，最终RMSE结果为26.75，相对于基线的性能提升了12%，在同等的训练时间内比先NAS后HPO要提升近8%。 最佳的参数配置如下：trainer:    epochs: 9    optimizer:        type: RMSProp        lr: 0.0009dataset:    batch_size: 32model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 3     gru_layers: 2kernel_size: 4总结在基站流量预测场景，Vega提供了基于时空序列的STGCN算法来解决时序预测问题，相对于基线的性能提升了12%。用户可以通过使用yaml配置，修改几行配置文件，然后使用算力资源进行自动优化就能够得到专家级别的网络，大大减少了网络交付的时间。详细对比见下表： 此外，Vega实现了统一的AutoML框架, 不仅支持了基站流量预测场景，而且在深度学习的其他领域和场景也取得了极大的成效。更具体地，Vega提供了丰富的AutoML算法，覆盖了架构搜索(NAS)、 超参优化(HPO)、 数据增强（Data Augmentation）、 模型压缩（Model Compression）多种领域，支持了分类、超分、目标检测、自动驾驶等多种业务场景。 欢迎大家试用并贡献自己的开源代码：https://github.com/huawei-noah/vega。 同时华为NAIE平台提供了基于Vega的AutoML服务，大家可以访问如下网站进行使用：https://www.hwtelcloud.com/products/mts 本文来源：https://mp.weixin.qq.com/s/w6gS6bhrg70vBsKfm2QV5A

五一小长假就这样飞快的结束了，大家是不是又开始忙碌的学习和工作啦那么！来看看华为云AI论文精读会2021 第三期：目标检测模型CrowdDet解读分享吧~本期分享的嘉宾是上海交通大学的徐继晟同学~扫码添加海报上的小助手，回复“论文”，入群交流互动~群里有小哥哥小姐姐等你来撩请小伙伴们点击链接，进行观看与学习！！观看地址：https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/competition/1620269243887049134.mp4

4月25日，华为云CEO余承东在华为开发者大会 #HDC.Cloud 2021 期间，重磅发布了华为云盘古系列大模型，帮助千行百业解决 AI 模型难以泛化和复制的问题，开启 AI 工业化开发新模式。华为云盘古大模型基于华为云一站式AI开发平台ModelArts构建，包含了：华为云盘古NLP大模型：是业界首个2000亿参数中文预训练模型，预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型。华为云盘古CV大模型：是目前业界最大的视觉预训练模型，包含超过30亿参数对于盘古大模型，大家都充满了好奇～AI新入门：如何快速进入相关方向学习和研发？AI开发者：盘古大模型的易用性、使用成本、落地场景、端侧性能如何保证？ 华为云AI开发者社区挑选了一些HDC.Cloud现场开发者的热门问题，专访盘古大模型的核心研发人员谢凌曦博士和张晓鹏博士进行答疑谢凌曦博士专访Q:作为一个开发者，请问这些预训练模型的易用性如何？使用成本有多高？谢凌曦博士：预训练模型本身设计的目的就是为了让大家在使用云服务的时候降低成本，那么我们预训练模型因为它是预训练，所以我们已经在后台完成了这样一个训练过程，这个过程的成本是比较高的，但是成本的不会需要开发者本身来承担。在使用这些模型的时候，它本身易用性和成本都会在设置在一个比较合适的位置，比如说我们会开发出一些比较通俗易懂的pipeline，如果你是有一定基础的开发人员，你也可以从我们pipeline当中去做更多的定制化的开发，更好的去释放我们预训练模型的能力。如果你只是一个小白，就想用我们的模型去做AI的一些简单的开发，我们也会给你一些更加通俗易懂的界面，让大家能够用一些拖拉拽的方式去使用我们的训练模型，同时成本相对来讲是比较低的，我们有很多种不同的这种计价方式，但是总体来讲，预训练模型都是降低了大家后续使用的时候它的一个计算时长，包括你的这种调仓所需要的重复的代价，这都会被降到一个很低的程度，总体来讲是对开发者非常友好的。Q：华为视觉计划里面提到了很多计算机视觉的新方向，那么对于新入门的人来说，如果想快速投入新的方向中去学习，需要掌握什么哪些知识才可以快速进入到相关方向的学习和研发中。是否需要先掌握传统全监督学习才可以更好的掌握弱监督和无监督数据的方向的研究中呢？谢凌曦博士：总的来讲是一个非常好的问题，我自己刚入行的时候也有过类似思考，是因为不管怎么说，人工智能计算机视觉都是经过几十年的发展，到现在为止已经是一个很庞大的知识体系了。如果一个人想要把这些东西都了解以后，开始做研究的话，稍微效率会有点低，而且你会花费很多不必要的精力去做一些事情。所以我们给大家的这样一个建议是说，你在学习过程当中，你可以先找准一个问题，这个问题可能一开始是一个相对初级的一点的问题，比如说刚才谈到我想做一个弱监督学习，那么我一定是有一个具体的场景，比如说在现在有一个问题当中，我遇到一个实际的问题当中，他确实需要用到弱监督的算法，但这个时候我是不是一定要先掌握全监督，并不是这个样子，你可以先去查阅一些，比如说当前弱监督学习，它的基线是什么，它的前沿在哪里，然后你就可以去做一些简单的实验，在这个实验的过程当中，你一般会遇到一些困难或者遇到一些疑惑，这些疑惑为了去解决，它一般就会帮你把你引导到这样一些它的基础，比如说全监督到底是怎么做的，那么你有了这样一些更多的基础以后，你回过头来也会对你当前正在做这个算法有更好的理解，所以我的建议是大家可以找一本教材，一个对机器学习也好，计算机视觉也好，这些比较介绍的比较深入的一个教材看。但是另外一方面也不要局限于这样一个教材，你可以一边做一个具体的课题，一边去学习这样一些知识，这样的话会比较有效率一些。张晓鹏博士专访Q：图像预训练模型有哪些成功的落地？跟业界比较处在什么位置？我们的智能驾驶系统有用到这方面技术吗？张晓鹏博士：已经在华为内部以及其他合作项目上有100家的一个成功的落地，那么这些方向其实涵盖了各行各业，我们在一些工业视觉，包括一些网络审查，包括一些零售商超以及医疗上，其实都获得了一些相较于我们之前不使用预训练模型更高的一个结果。在某些场景上，比如刚才提到的遥感印象上，我们通过这样一种遥感针对遥感影像这样一种预训练算法，其实在没有增加额外的这种标注代价的情况下，其实是达到了最多10%的这样一种分割精度的提升。那么还有另外一个比较有意思的现象就是说，我们其实在超大规模，我们这里大概用了几千万到亿级的图像的预训练，然后我们直接把这样一个模型，然后迁移到了我们的工业质检的缺陷上。然后其实我们非常欣喜的发现一个有意思的现象，就是我们在下游数据集上其实没有进行任何微调，然后但是我们在这样一个工业缺陷检测上，其实获得了比之前的更高度的优化，甚至利用下游的数据微调，基本上还会更好的结果，这个结果基本上会高出3~4个百分点。也是启发我们就是说我们的模型的数据一旦够多，其实它的泛化能力其实是从隐式的能够获得一种保障。第二个就是说我们的到了什么地步，我们其实是国内公司里面其实是最早做视觉艺术的模型的公司之一，据我了解其实在国外的话是Facebook和谷歌，其实从2019年开始在图像上面做了一些应用，我们这一块其实我们的视觉医学的模型开发其实大概在2019年的时候然后就开始了。所以说到目前为止，其实我们在一个大模型或者这种方针下，搭载我们的一些模型，蒸馏抽取其实以及行业大模型，我们现在其实已经适配了大概10余种这样一种预训练模预训练这种模型，而这10余种模型都是通过我们的一个大模型的一种分发抽取所得到的得到的，然后它在相应的行业上其实是得到了一种非常大的精度提升，同时也极大的减少了这样一个标注以及模型的迭代。Q： 机器视觉应用场景很多，不同场景图像角度，物体尺寸等影响因素很多，我们预训练是采用什么类型数据和学习任务？如果想落地某些特定场景还需要多少数据对特定任务进行模型微调？大模型如何保证端侧性能？张晓鹏博士：这一共有三个问题其实问的非常好，然后其实针对整个在机器视觉图像它的不同的角度，就是说整个整个或者刚才提到的可能不同的变化，其实我们采取的方法其实非常简单，其实一我们可能有海量的，数据集这个数据集规模其实已经达到了一级甚至10亿级这样一种规模，我们相信海量的数据集它是能够建模我们在实际场景的方方面面。另外一个我们采取了什么样的这种学习方式，其实它的一个核心思想就是2019年开始比较火。这样一种对比度之间都学习的方法，然后当然了我们这上面做了很多改进，包括如何来利用一些弱标签的信息，包括如何把这种全局的信息拓展到局部，来更好的建模它在局部的一种相关性关系。然后刚才同时的话也会就是说呼应了刚才提到的我有不同的视角，不同的这种角度，不同尺度问题，那么怎么来让它进行高效的建模？其实这里面就是让它不同的数据增强，我们在其实预训练算法里面是集成了数千余种的这样一种数据增强方法，然后让他通过不同的数据增强，然后让这个模型具有针对不同数据增强它的不变性来建模。Q：华为的预训练模型是如何结合不同行业知识，解决标注数据大的问题？张晓鹏博士：举一个就是我们HDC上发布的国网电力的巡检的例子，其实这就是一个非常典型的我们的视觉预训练大模型来如何解决这样一个行业知识。在这样一种国网电力的过程中，其实它有一些海量的数据，然后标注是非常困难，我们做了一个什么事情，就是我们通过我们的视觉医学的算法，然后在海量的这样一种巡检数据上进行了一一个批次的预训练。然后医学院其实是利用了我们无人机巡检的就是数10tb就是说上百万的这样一种规模的数量，然后来进行一种预训练。然后它的预训练其实是可以看到我们非常多的数据它的内在分布，然后由于我们的大模型模型参数量越大，然后我们也看了更多的数据，然后所以说它能够更好的建模，就是说在电力行业它的无人机巡检过程中的的一些，图片之间的细微的差异。然后我们当时也给了一个数字，就是说我们利用我们的视觉预训练大模型，然后它能够提供更好的一个表征以后，因为它的一个缺陷和正常样本的一种表征能力更强，我们在标注代价上基本上是减少了80%以上。一块的话整个在人力代价上是一个非常大的提升。另外一个就是减少标注，其实就是我们一个模型其实是可以适配我们电力行业的100多种缺陷，我们这个适配100多种缺陷的话，就让模型的迭代周期大大的减少。我们大概减少了就是说整个把迭代周期减少了10倍。然后这样子的话我们在每次迭代的过程中更少，就是说我反馈给人需要标注的这样一种整体的工作量就会越少，所以说通过这两种模式，然后我们实现了在电力这样一个行业方面，利用我们的这样一种视觉医学的模型，极大的提升了我们的一种开发效率。本文来源：https://bbs.huaweicloud.com/blogs/263786

华为云在华为开发者大会（Cloud）上发布了全球最大的中文语言（NLP）及视觉（CV）预训练模型——盘古系列大模型。据悉，华为云盘古系列 AI 大模型计划包括四大模型：NLP 大模型、CV 大模型、多模态大模型、科学计算大模型。整个大模型设计遵循三大原则：一是超大的神经网络；二是网络架构强壮，相比于定制化小模型，大模型综合性能提升了 10% 以上；三是健壮（Robust）的网络性能，全场景覆盖率提升 10 倍以上。1为什么我们需要大模型？2020 年 5 月，OpenAI 发表了一篇关于 GPT-3 的论文，GPT-3 模型迭代之后，拥有 1750 亿个参数。2019 年，GPT-2 就凭借 30 亿条参数获得了“最强 NLP 模型”的称号，1750 亿条参数的 GPT-3 发布之后，自然也就在工业界和学术界引发了广泛的谈论。我们真的需要大模型吗？大模型会给我们带来哪些改变？过去十年，AI 算法对算力的需求增长了 40 万倍，神经网络从小模型到大模型已经成为了必然的发展趋势。同时，我们也看到人工智能与科学计算深度融合，已经在众多领域都有所应用，大模型就是解决 AI 模型定制化和应用开发碎片化的一种方式，它可以吸收海量的知识，提高模型的泛化能力，减少对领域数据标注的依赖。大模型出现之后，高度定制化的小模型可能会被“兼并”。在技术方面，大模型对于 AI 框架的深度优化和并行能力都有很高的要求，同时它也会牵引 AI 产业快速收敛，成为 AI 产业底座，从而改变 AI 发展的规则和格局。现在业界普遍的 AI 开发方式还是作坊式的，针对不同场景的 AI 应用需要进行定制化开发，不仅要投入大量的专家和时间，而且 AI 模型的性能也很难做到极致。一旦场景变化，整个模型可能都需要重新开发。如果把工业化模式引入到 AI 开发过程，让一个模型可以应用到多个场景中，那么 AI 开发就会获得突飞猛进的发展。2业界首个千亿参数的中文大模型——盘古 NLP 大模型为了加速 AI 工业化开发进程，华为发布了全栈全场景 AI 解决方案。2019 年 8 月，发布了昇腾 910 芯片力和计算框架 MindSpore；2020 年 3 月，在 HDC.Cloud 发布了视觉研究计划，正式开源 MindSpore；2020 年 9 月，升级发布了 AI 一站式开发平台 ModelArts3.0。就在刚刚，华为云又发布了业界首个千亿参数的中文大模型——盘古 NLP 大模型。据了解，盘古 NLP 大模型，由华为云、循环智能和鹏城实验室联合开发，是全球最大的中文语言预训练模型，在预训练阶段就学习了 40 TB 的中文文本数据，其中包括细分行业的小样本数据，可以优化提升模型在具体场景中的应用性能。与其他大模型不同的是，盘古 NLP 大模型瞄准的是细分行业，主要解决商业环境中低成本大规模定制的问题。在最新的中文语言理解评测基准（CLUE）中，盘古 NLP 大模型获得了总排行榜、分类任务、阅读理解三项榜单第一，其中，总排行榜得分 83.046。盘古 NLP 大模型获得 CLUE 总排行榜第一盘古 NLP 大模型在 CLUE 分类任务排名第一盘古 NLP 大模型在 CLUE 阅读理解任务排名第一为什么盘古 NLP 大模型能够在 CLUE 刷新三项历史记录？相比于业界其他大模型，它又有哪些不同呢？第一，盘古 NLP 大模型在预训练阶段沉淀了大量的通用知识，既能做生成又能做理解的特性让它有能力支持行业知识库和数据库的嵌入，进而对接行业经验。大模型可以充当系统中的任意模块，快速适配和扩展不同的场景。第二，盘古 NLP 大模型在 encoder-decoder 的架构基础上植入了华为云的训练技巧和方法，所以性能优异，在 CLUE 三项榜单中都获得了第一名。同时，盘古 NLP 大模型还进行了 nlpcc2018 文本摘要任务的评测，获得了 Rouge Score 平均分 0.53 的业界最佳成绩，超越第二名百分之六十。第三，之前业界发布的大模型基本都不调优，或者是使用 non-gradient（非梯度下降）调优，为了追求泛化能力而牺牲一些场景的性能。而盘古 NLP 大模型为了改变这一缺陷，采用了大模型小样本的调优方式，基于提示（prompt-based）的调优、动态冰化等一系列正则化技术，实现了小样本学习任务上超越 GPT 系列。盘古 NLP 在各种榜单中都获得了不错的成绩，那么在具体场景中它的表现如何呢？在华为开发者大会（Cloud）现场，华为云人工智能首席科学家、IEEE Fellow 田奇就在现场对盘古 NLP 大模型进行了连续追问。通过这几个来回的问答，我们发现盘古 NLP 大模型可以如同人类一般自如交流，体现出惊人的理解能力和生成能力。通过 40TB 中文文本的训练，它能够通过少样本学习对意图进行识别，准确回答我们的问题，而且即使你在一句话中提出了多个问题，它也能够逐一识别并回答，具备了多重意图识别能力。在其中一个问题中，完全没有提到“碳中和”这个关键词，盘古也可以基于上下文推断出当前的讨论对象，并且针对“碳中和”话题发表自己的观点与看法。3 三十亿参数、十亿级图像知识的 CV 模型——盘古 CV 大模型除了 NLP 模型，华为云还同时发布了盘古 CV 大模型。据了解，该 CV 模型包含 30 亿 + 参数，是目前业界最大的 CV 模型，并且在 ImageNet 1%、10% 等数据集上的小样本分类精度上均达到目前业界最高水平（SOTA）。与其他 CV 大模型不同的是，盘古 CV 大模型首次兼顾了图像判别与生成能力，能够同时满足底层图像恢复与高层语义理解的需求，同时融合了各行业知识，能够快速适配各种下游任务。目前，盘古 CV 大模型已经在医学影像、金融等 100+ 项任务中应用实践，不仅可以大幅提升业务测试精度，还能平均节约 90% 以上的研发成本。现有的 AI 工程通常都需要针对不同场景做定制化开发，费时费力。盘古 CV 大模型的出现，解决了 AI 工程难以泛化和复制的问题，让 AI 开发进入工业化模式，一套流水线可以复制到不同的场景中，节约人力和算力。在功能方面，盘古 CV 大模型提供了大模型预训练、大模型部署和大模型迭代三个功能，三者既是个有机整体，也形成了 AI 开发的完整闭环。大模型预训练：这个阶段解决的核心问题是如何将超大规模数据，特别是各种行业数据中蕴含的知识，存储在大模型中。预训练的关键是整合无标签和有标签图像，捕捉其中隐含的结构化特征，特别是样本和样本之间的关系信息。盘古 CV 大模型中包含了数据处理、架构设计和模型优化三个步骤，支持层次化空间特征聚合、监督式对比语义调整等算法，可以将图像的表征效率提升数千倍。大模型部署：这个阶段解决的核心问题是如何覆盖各类算力差别较大的设备，包括用于高清遥感影像分析的云侧设备、用于电力线路巡检的边侧设备、以及用于铁路故障检测的端侧设备等等。三十亿参数的大模型未必能够满足用户的速度要求，盘古 CV 大模型中专门设计了模型抽取和知识蒸馏算法，能够根据用户需求抽取高效子模型，并且确保将大模型学习到的知识最大限度地传递给子模型。大模型迭代：盘古 CV 大模型配备了数据挖掘和增量学习模块，其中的一比特监督学习、双向自步学习等算法能够减少 90% 以上的人力干预；同时类别增量、难例增量学习等技术也能够在增量学习过程中减少 90% 以上的算力消耗。配合基于图网络的模型融合技术，盘古 CV 大模型最终可实现闭环迭代，模型的泛化能力也会在使用过程中逐渐增强。4 大模型背后的技术支撑以及实践案例盘古 NLP 大模型具备千亿参数、10的23次方、40TB 的中文文本训练数据，如果是使用单卡来支持盘古大模型训练，需要数百年的时间才能训练完。那么，盘古大模型背后到底有着什么样的技术支撑呢？据悉，盘古大模型的 AI 算力和数据吞吐能力都是由鹏城云脑 II 提供的，这是国内最大规模的 AI 训练集群。除了硬件算力支持，华为底层软件、训练框架、ModelArts 平台也为盘古大模型提供了技术保障。在算法方面，华为云的算法团队和循环智能（Recurrent AI）的 NLP 团队联合攻关，突破了大模型微调的难题。针对底层算子性能，盘古大模型基于 CANN 采用了算子量化、算子融合优化等技术，单算子性能能够提升 30% 以上。针对并行策略，华为 MindSpore 采用了“流水线并行、模型并行和数据并行”的多维自动混合并行技术，大幅降低了手动编码的工作量，集群线性度提升 20%。针对训练资源调度，华为云 ModelArts 支持 E 级算力调度，提供最优的网络通信能力。借助 ModelArts 平台的海量数据处理能力，盘古大模型仅用 7 天就可以完成 40TB 文本数据处理。光说不练假把式，了解了盘古大模型背后的技术支撑之后，我们来看看盘古大模型是如何应用到实际案例中。国网重庆永川供电公司是国内早期采用无人机智能巡检技术来替代人工巡检的电力公司，并将无人机数据采集应用于输电线路、变电站、配电线路自主巡检等多个业务场景。但是传统的无人机智能巡检 AI 模型开发中，他们遇到了两个难题，一是如何进行缺陷样本的高效标注，二是智能巡检故障种类繁多。为了解决这两个问题，国网重庆永川供电公司与华为云合作应用了盘古 CV 大模型。在数据标注方面，盘古 CV 大模型利用海量无标注电力数据进行预训练，并结合少量标注样本微调的高效开发模式，提出了针对电力行业的预训练模型。应用之后，样本筛选效率提升约 30 倍，筛选质量提升约 5 倍，以永川每天采集 5 万张高清图片为例，可节省人工标注时间 170 人天。在模型通用性方面，结合盘古搭载的自动数据增广以及类别自适应损失函数优化策略，可以做到一个模型适配上百种缺陷，一个模型就可以替代永川原先的 20 多个小模型，极大地减少了模型维护成本，平均精度提升 18.4%，模型开发成本降低 90%。国网重庆永川供电公司的应用案例，让我们见识到了盘古大模型在电力智能巡检方面的优势，盘古大模型能够快速适配到电力行业的不同场景，真正做到了规模化可复制。相信未来，我们可以在更多行业领域看到盘古大模型的应用实践。

热乎乎的，新鲜出炉的华为云AI论文精读会2021第二期：d-vector用于说话人变化点检测的论文解析与复现来啦！！！小伙伴们可以点击链接，进行观看与学习呦~是大家期待已久的NLP领域的内容哈~~扫码添加海报上的小助手，回复“论文”，入群交流互动~~观看地址：https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/competition/1619170328262048590.mp4

2020年举办的华为云AI经典论文复现活动，不仅受到了参赛者们一致好评，也产出了许多优质的算法成果。这些论文复现的算法描述、源代码以及算法使用指导文档均已发布到了AI Gallery。为了让开发者更好的使用这些论文算法，华为云AI在此举办华为云AI论文精读会2021活动。华为云AI论文精读会2021邀请计算机视觉、迁移学习、自然语言处理等领域专家学者基于华为云ModelArts解读经典论文算法，让更多人来低门槛使用经典的算法。第一期 · 论文精读会直播精读主题：高效语义分割模型Fast-SCNN分享时间：2021年4月10日 19:00嘉宾介绍：历天一，华为云MVP，华为云云享专家，MDG天津大学核心组织者，昇腾HAE，2020年度华为云开发者社区风云人物。研究方向为多模态融合以及深度矩阵分解在情感分析上的应用，包括多模态端云协同部署开发。直播内容：1.论文的研究背景及成果2.模型剖析及算法创新点讲解3.代码思路讲解及实操观看地址：https://bbs.huaweicloud.com/live/cloud_live/202104101900.html 论文算法实战赛 为鼓励大家学习和使用经典的AI论文算法，特别举办了论文算法实战赛。无论您是个人、高等院校、企业、科研单位还是创客团队，均可报名参赛！参加论文算法实战赛即有机会获得“优秀体验官”证书以及丰厚的礼品~~ 具体赛题详情请访问链接（点击“阅读原文”也可报名）：https://competition.huaweicloud.com/information/1000041393/introduction扫码添加小助手回复“论文”加入交流群及时获取直播和赛事的通知

国际计算机视觉与模式识别会议（CVPR）是计算机视觉领域三大顶会之一（另外两个分别为ICCV、ECCV）。作为计算机视觉领域一年一度的盛会，CVPR每年接收论文的情况，基本可以代表一年中计算机视觉领域的发展趋势。CVPR 2021 大会将于6月19日至 25日线上举行，中国科学院院士谭铁牛将担任 CVPR 2021 四位大会主席之一。今年CVPR 共有7015篇有效投稿，其中进入Decision Making阶段的共有约5900篇，最终有1663篇突出重围被接收，录用率大概为23.7%（1663/7015）。本场为华为诺亚实验室专场，特邀请实验室的多位研究人员，做 CVPR 预讲·华为诺亚专场报告。 回看地址:https://www.bilibili.com/video/BV1Dp4y1h7pM

受益于深度学习技术的突破，图像分类、物体检测等传统计算机视觉任务的精度也得到了大幅度的提升。但是由于深度学习模型的复杂性，目前关于深度学习的理论并不完善，这就导致了两大问题：第一，模型的工作机制对使用者来说并不透明，人们无法解释模型识别正确或错误的原因，因此也就无法从理论上证明模型在实际应用中是否能够达到好的效果，从而在一定程度上阻碍了模型在一些性命攸关的领域中应用（如医疗影像分析、自动驾驶等）；第二，几乎完全基于数据驱动的方式学习模型参数，难以将人们长期以来总结形成的经验和知识融入模型，从而难以对模型学习过程施加有效的约束，使模型在小训练样本、零训练样本等真实条件下的精度远低于人类。人工智能领域顶级学术期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（即 IEEE TPAMI，影响因子 17.861）最近接收的论文《What is a Tabby? Interpretable Model Decisions by Learning Attribute-based Classification Criteria》中，华为云联合中科院计算所，针对上述两个问题提出了一种探索性的解决方案，通过利用物体类别之间存在的层级关系约束，自动学习从数据中抽取识别不同类别的规则，一方面对模型的预测过程进行解释，另一方面也提供了一条引入人工先验知识的可行途径。论文链接：https://ieeexplore.ieee.org/document/8907459首先，我们通过一组简单的例子来看一下分类学家是如何对动物进行分类的（来自维基百科）：（1）「虎斑猫」是一种体表有条纹、斑点、线条、螺旋图案的「家猫」。（2）「家猫」是一种小型的、通常体表有皮毛的、肉食性的、被驯化的「猫科动物」；（3）「猫科动物」是一种具有伸缩自如的爪子、苗条但肌肉强健的躯体、灵活的前肢的「食肉动物」。从上边的例子可以看出来，分类学家在对动物进行分类的时候，采用了一种层级化的方式，在层级中，每个类别都被表示成「父类 + 一些特定属性」的形式，比如有条纹、有斑点、有线条、有螺旋，就是「虎斑猫」相比它的父类「家猫」出来的属性。实际上，如果对层级做一些压缩操作，每个类别都可以完全用一组特定属性来表示。以「虎斑猫」这个类别为例，经过一级压缩：「虎斑猫」是一种小型的、肉食性的、被驯化的、体表有带条纹、斑点、线条、螺旋图案皮毛的「猫科动物」。可以看到，经过一级压缩后，「虎斑猫」就可以通过「父类的父类 + 更多的属性」来表示了。更进一步，如果经过两级压缩：「虎斑猫」是一种小型的、肉食性的、被驯化的、具有伸缩自如的爪子、苗条但肌肉强健的躯体、灵活的前肢的、体表有带条纹、斑点、线条、螺旋图案皮毛的「食肉动物」。可以看到，经过两级压缩后，「虎斑猫」就可以通过「父类的父类的父类 + 更多更多的属性」来表示了。以此类推，如果一直将这个压缩的过程进行下去，「虎斑猫」就可以通过「动物 + 虎斑猫具有的全部属性」这种方式来表示了。对于其他动物来说，也是类似的，每种动物都可以表示为「动物 + 这种动物具有的全部属性」。由于每种动物的表示中都含有「动物」这个公共的组成部分，可以将每种动物的表示形式都简化为「这种动物具有的全部属性」。类似的，对于「植物」、「人造物」等等所有物体，都可以完全用一组属性来表示。因此，只要属性定义足够好，完全通过属性就可以准确地区分出来所有可能见到的类别，并且这种分类方式的可解释性非常好，也可以轻松地将新的人工先验知识引入进来。但是实际中，由于类别数量巨大、海量属性难以定义，不可能通过人工的方式对每个类别的属性进行定义。那么有什么方法可以在不对数据进行额外标注的情况下实现类似的分类方式呢？方法介绍事实上，上面的推理过程给我们提供了两点重要的洞察：第一，当属性足够多、足够好的时候，属性可以用来准确地区分不同的类别；第二，每个类别具有的属性数量一定比它的父类多。针对第一点洞察中对于属性数量和质量的要求，近期的研究 [1, 2, 3] 表明，以图像分类任务训练的深度学习模型可以自发地学习到一些具有语义的属性，因此通过这种方式，可以不再需要人工定义属性，仅通过算法自动学习的方式来得到足够多、足够好的属性；针对第二点洞察中对于类别间的约束关系的要求，可以将这样的类别间关系进行形式化，指导算法学习属性的过程，使学习到的属性满足约束条件。这样一来，就既解决了属性难定义、难标注的问题，又保留了基于属性进行分类的方案在高可解释性和便于引入人工先验知识方面的优势。具体来说，作者在提出的方法中设计了一个包含两条分支的模型，如图 2 所示。上边的分支以图像作为输入，主要作用是学习属性；下边的分支以层级结构作为输入，主要作用是对学习属性的过程施加约束：其中上边的分支使用常见的卷积神经网络 backbone，上边分支的输出是一个 1×D 维的「属性向量」，向量中的每一维表示一个属性，每一维的值则表示图像样本是否具有这个属性（0 表示样本不具有这个属性，大于 0 的值表示样本具有这个属性），同时当激活值大于 0 时，激活值的大小表示图像样本在这个属性上的强度；下边的分支按照类别间属性数量的约束关系，学习类别层级结构中每个类别的属性表示形式。在这里，令表示层级结构中所有 N 个类别的 D 维属性表示（维度与图像特征相同，是下边的分支需要学习的参数），表示第 i 个类别的第 k 个属性的值，含义与图像表示中的含义相同。将层级结构用有向无环图表示，如果在层级结构中，第 j 个类别是第 i 个类别的祖先节点的话，那么由于每个类别的属性数量多于他的祖先节点这一约束，和需要满足下列约束：训练时，损失函数的目标是要求两个分支的输出都能够正确的预测 D 维特征对应的最细粒度类别和对应的粗粒度类别。通过这种方式，上边的分支就可以学习到 D 个对于分类任务来说有用的属性，而下边的分支则可以保证这 D 个属性满足类别间属性数量关系的约束，从而可以对模型分类原理给出人类可以理解的解释。取得的效果论文中，作者在 CIFAR-100 和 ILSVRC 两个大规模的层级数据库上进行了实验，通过大量的实验验证了方案的有效性：1. 分类精度从实验结果来看，尽管论文提出的方法针对提高模型的可解释性和提高引入人工先验知识的便捷程度做了大量的设计，但是在分类精度上仍然达到了 SOTA 的水平，表明该方案在实际业务中具有实用价值。2. 属性学习效果定性展示结果方面，作者通过可视化的方式展示了模型学习到的属性，实验结果中针对每个属性，通过展示每个属性在数据集上响应值最大的 9 个图像块来表示属性，如图 3 所示。从图中看，模型学习到了大量不重复的、有意义的属性，并且既有比较简单的纹理、形状（dotted、round 等）属性，也有语义性更强的车轮、山等属性。图 3. 算法学习到的属性展示。（a）CIFAR-100 数据库上学习到的属性；（b）ILSVRC 数据库上学习到的属性。从定量评测的结果来看，在包含 1000 个类别的 ILSVRC 数据上，模型学习到了 2600 多个属性，远超基线模型（标准 ResNet-50 分类模型）的 2000 个属性；在去除重复属性（可能包含了同种属性的不同情况）后，论文方法学到的属性数量接近 140 个，多于基线模型的 120 余个不重复的属性。图 4. 模型学习到的属性数量的定量评估结果针对属性响应区域的可视化结果（图 5）也显示，模型学到的属性基本上是可靠的。图中响应最强的区域（红色部分）也正是和属性对应的区域。图 5. 属性响应区域可视化3. 规则学习结果和人工先验引入实验中，作者展示了模型下边的分支学习到的分类规则，将每个类别表示成「父类 + 特定属性组合」的形式，如图 6 所示。模型学习到的结果中包括：（1）「钟表」是一种圆形的、放射状的「家用电子设备」；（2）「猎豹」是一种有条纹、斑点的「猫科动物」；（3）「足球」是一种在白色背景上有黑色斑点的「球」。模型给出的解释规则基本符合人的认知，表明模型可以学到类似于分类学家定义的「父类 + 特定属性组合」形式的分类规则，可以对模型的分类原理给出人类可理解的解释。图 6. 模型学习到的解释规则展示。（a）CIFAR-100 数据库上学习到的解释规则；（b）ILSVRC 数据库上学习到的解释规则相比之下，现有方法 [4] 如果想要给出同样形式的解释结果，需要人工标注每个类别的属性表示，而这在大规模场景下显然是不现实的，作者在实验中也展示了相应的对比结果（表 1），从对比结果来看，论文中提出方法的适用范围显然更广泛。表 1. 与现有方法 [4] 对比有了上边这种人类可以理解的解释规则，就可以对模型进行定制化的调优，去除模型不应该利用的规则，补充模型没有学习到的规则：在 ILSVRC 数据的「救护车」和「猎豹」两个类别上尝试了去除模型学到的错误规则的方案，该方案在基本不影响其他类别识别效果的前提下，可以提升模型在「救护车」和「猎豹」两个类别上的识别精度；在同一个数据库的全部类别上，作者尝试了补充额外属性的方案，并得到了约 2 个百分点精度提升。上边两个实验表明，作者提出的方法虽然只是在深度模型引入人工先验方面做了一些初步的探索，但是已经验证了深度模型和人工先验知识结合的有效性，并且给出了一条基本可行的技术路线。结论可解释的深度学习模型，以及深度学习模型与人工先验的结合是当前学术界重点研究的前沿方向，对于提升深度学习模型的可靠性和泛化能力具有重要的意义。这次介绍的论文同时在这两个方向上迈出了坚实的一步：在可解释深度学习模型方面，相比于现有方法，不仅能够给出图像中的关键区域，还能给出规则化的解释，对使用者更友好，更符合人对于解释结果的期望；在引入人工先验知识方面，走通了一条基本可行的技术路线，希望能够对未来的研究者有所启发。参考文献[1] C. Huang, C. C. Loy, and X. Tang, “Unsupervised learning of discriminative attributes and visual representations,” in Computer Vision and Pattern Recognition (CVPR), 2016, pp. 5175–5184.[2] V. Escorcia, J. C. Niebles, and B. Ghanem, “On the relationship between visual attributes and convolutional networks,” in Computer Vision and Pattern Recognition (CVPR), 2015, pp. 1256–1264.[3] S. Vittayakorn, T. Umeda, K. Murasaki, K. Sudo, T. Okatani, and K. Yamaguchi, “Automatic attribute discovery with neural activations,” in European Conference on Computer Vision (ECCV), 2016, pp. 252–268.[4] S. J. Hwang and L. Sigal, “A unified semantic embedding: Relating taxonomies and attributes,” in Advances in Neural Information Processing Systems (NIPS), 2014, pp. 271–279.

受益于深度学习技术的突破，图像分类、物体检测等传统计算机视觉任务的精度也得到了大幅度的提升。但是由于深度学习模型的复杂性，目前关于深度学习的理论并不完善，这就导致了两大问题：第一，模型的工作机制对使用者来说并不透明，人们无法解释模型识别正确或错误的原因，因此也就无法从理论上证明模型在实际应用中是否能够达到好的效果，从而在一定程度上阻碍了模型在一些性命攸关的领域中应用（如医疗影像分析、自动驾驶等）；第二，几乎完全基于数据驱动的方式学习模型参数，难以将人们长期以来总结形成的经验和知识融入模型，从而难以对模型学习过程施加有效的约束，使模型在小训练样本、零训练样本等真实条件下的精度远低于人类。人工智能领域顶级学术期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（即 IEEE TPAMI，影响因子 17.861）最近接收的论文《What is a Tabby? Interpretable Model Decisions by Learning Attribute-based Classification Criteria》中，华为云联合中科院计算所，针对上述两个问题提出了一种探索性的解决方案，通过利用物体类别之间存在的层级关系约束，自动学习从数据中抽取识别不同类别的规则，一方面对模型的预测过程进行解释，另一方面也提供了一条引入人工先验知识的可行途径。论文链接：https://ieeexplore.ieee.org/document/8907459首先，我们通过一组简单的例子来看一下分类学家是如何对动物进行分类的（来自维基百科）：（1）「虎斑猫」是一种体表有条纹、斑点、线条、螺旋图案的「家猫」。（2）「家猫」是一种小型的、通常体表有皮毛的、肉食性的、被驯化的「猫科动物」；（3）「猫科动物」是一种具有伸缩自如的爪子、苗条但肌肉强健的躯体、灵活的前肢的「食肉动物」。从上边的例子可以看出来，分类学家在对动物进行分类的时候，采用了一种层级化的方式，在层级中，每个类别都被表示成「父类 + 一些特定属性」的形式，比如有条纹、有斑点、有线条、有螺旋，就是「虎斑猫」相比它的父类「家猫」出来的属性。实际上，如果对层级做一些压缩操作，每个类别都可以完全用一组特定属性来表示。以「虎斑猫」这个类别为例，经过一级压缩：「虎斑猫」是一种小型的、肉食性的、被驯化的、体表有带条纹、斑点、线条、螺旋图案皮毛的「猫科动物」。可以看到，经过一级压缩后，「虎斑猫」就可以通过「父类的父类 + 更多的属性」来表示了。更进一步，如果经过两级压缩：「虎斑猫」是一种小型的、肉食性的、被驯化的、具有伸缩自如的爪子、苗条但肌肉强健的躯体、灵活的前肢的、体表有带条纹、斑点、线条、螺旋图案皮毛的「食肉动物」。可以看到，经过两级压缩后，「虎斑猫」就可以通过「父类的父类的父类 + 更多更多的属性」来表示了。以此类推，如果一直将这个压缩的过程进行下去，「虎斑猫」就可以通过「动物 + 虎斑猫具有的全部属性」这种方式来表示了。对于其他动物来说，也是类似的，每种动物都可以表示为「动物 + 这种动物具有的全部属性」。由于每种动物的表示中都含有「动物」这个公共的组成部分，可以将每种动物的表示形式都简化为「这种动物具有的全部属性」。类似的，对于「植物」、「人造物」等等所有物体，都可以完全用一组属性来表示。因此，只要属性定义足够好，完全通过属性就可以准确地区分出来所有可能见到的类别，并且这种分类方式的可解释性非常好，也可以轻松地将新的人工先验知识引入进来。但是实际中，由于类别数量巨大、海量属性难以定义，不可能通过人工的方式对每个类别的属性进行定义。那么有什么方法可以在不对数据进行额外标注的情况下实现类似的分类方式呢？方法介绍事实上，上面的推理过程给我们提供了两点重要的洞察：第一，当属性足够多、足够好的时候，属性可以用来准确地区分不同的类别；第二，每个类别具有的属性数量一定比它的父类多。针对第一点洞察中对于属性数量和质量的要求，近期的研究 [1, 2, 3] 表明，以图像分类任务训练的深度学习模型可以自发地学习到一些具有语义的属性，因此通过这种方式，可以不再需要人工定义属性，仅通过算法自动学习的方式来得到足够多、足够好的属性；针对第二点洞察中对于类别间的约束关系的要求，可以将这样的类别间关系进行形式化，指导算法学习属性的过程，使学习到的属性满足约束条件。这样一来，就既解决了属性难定义、难标注的问题，又保留了基于属性进行分类的方案在高可解释性和便于引入人工先验知识方面的优势。具体来说，作者在提出的方法中设计了一个包含两条分支的模型，如图 2 所示。上边的分支以图像作为输入，主要作用是学习属性；下边的分支以层级结构作为输入，主要作用是对学习属性的过程施加约束：其中上边的分支使用常见的卷积神经网络 backbone，上边分支的输出是一个 1×D 维的「属性向量」，向量中的每一维表示一个属性，每一维的值则表示图像样本是否具有这个属性（0 表示样本不具有这个属性，大于 0 的值表示样本具有这个属性），同时当激活值大于 0 时，激活值的大小表示图像样本在这个属性上的强度；下边的分支按照类别间属性数量的约束关系，学习类别层级结构中每个类别的属性表示形式。在这里，令表示层级结构中所有 N 个类别的 D 维属性表示（维度与图像特征相同，是下边的分支需要学习的参数），表示第 i 个类别的第 k 个属性的值，含义与图像表示中的含义相同。将层级结构用有向无环图表示，如果在层级结构中，第 j 个类别是第 i 个类别的祖先节点的话，那么由于每个类别的属性数量多于他的祖先节点这一约束，和需要满足下列约束：训练时，损失函数的目标是要求两个分支的输出都能够正确的预测 D 维特征对应的最细粒度类别和对应的粗粒度类别。通过这种方式，上边的分支就可以学习到 D 个对于分类任务来说有用的属性，而下边的分支则可以保证这 D 个属性满足类别间属性数量关系的约束，从而可以对模型分类原理给出人类可以理解的解释。取得的效果论文中，作者在 CIFAR-100 和 ILSVRC 两个大规模的层级数据库上进行了实验，通过大量的实验验证了方案的有效性：1. 分类精度从实验结果来看，尽管论文提出的方法针对提高模型的可解释性和提高引入人工先验知识的便捷程度做了大量的设计，但是在分类精度上仍然达到了 SOTA 的水平，表明该方案在实际业务中具有实用价值。2. 属性学习效果定性展示结果方面，作者通过可视化的方式展示了模型学习到的属性，实验结果中针对每个属性，通过展示每个属性在数据集上响应值最大的 9 个图像块来表示属性，如图 3 所示。从图中看，模型学习到了大量不重复的、有意义的属性，并且既有比较简单的纹理、形状（dotted、round 等）属性，也有语义性更强的车轮、山等属性。图 3. 算法学习到的属性展示。（a）CIFAR-100 数据库上学习到的属性；（b）ILSVRC 数据库上学习到的属性。从定量评测的结果来看，在包含 1000 个类别的 ILSVRC 数据上，模型学习到了 2600 多个属性，远超基线模型（标准 ResNet-50 分类模型）的 2000 个属性；在去除重复属性（可能包含了同种属性的不同情况）后，论文方法学到的属性数量接近 140 个，多于基线模型的 120 余个不重复的属性。图 4. 模型学习到的属性数量的定量评估结果针对属性响应区域的可视化结果（图 5）也显示，模型学到的属性基本上是可靠的。图中响应最强的区域（红色部分）也正是和属性对应的区域。图 5. 属性响应区域可视化3. 规则学习结果和人工先验引入实验中，作者展示了模型下边的分支学习到的分类规则，将每个类别表示成「父类 + 特定属性组合」的形式，如图 6 所示。模型学习到的结果中包括：（1）「钟表」是一种圆形的、放射状的「家用电子设备」；（2）「猎豹」是一种有条纹、斑点的「猫科动物」；（3）「足球」是一种在白色背景上有黑色斑点的「球」。模型给出的解释规则基本符合人的认知，表明模型可以学到类似于分类学家定义的「父类 + 特定属性组合」形式的分类规则，可以对模型的分类原理给出人类可理解的解释。图 6. 模型学习到的解释规则展示。（a）CIFAR-100 数据库上学习到的解释规则；（b）ILSVRC 数据库上学习到的解释规则相比之下，现有方法 [4] 如果想要给出同样形式的解释结果，需要人工标注每个类别的属性表示，而这在大规模场景下显然是不现实的，作者在实验中也展示了相应的对比结果（表 1），从对比结果来看，论文中提出方法的适用范围显然更广泛。表 1. 与现有方法 [4] 对比有了上边这种人类可以理解的解释规则，就可以对模型进行定制化的调优，去除模型不应该利用的规则，补充模型没有学习到的规则：在 ILSVRC 数据的「救护车」和「猎豹」两个类别上尝试了去除模型学到的错误规则的方案，该方案在基本不影响其他类别识别效果的前提下，可以提升模型在「救护车」和「猎豹」两个类别上的识别精度；在同一个数据库的全部类别上，作者尝试了补充额外属性的方案，并得到了约 2 个百分点精度提升。上边两个实验表明，作者提出的方法虽然只是在深度模型引入人工先验方面做了一些初步的探索，但是已经验证了深度模型和人工先验知识结合的有效性，并且给出了一条基本可行的技术路线。结论可解释的深度学习模型，以及深度学习模型与人工先验的结合是当前学术界重点研究的前沿方向，对于提升深度学习模型的可靠性和泛化能力具有重要的意义。这次介绍的论文同时在这两个方向上迈出了坚实的一步：在可解释深度学习模型方面，相比于现有方法，不仅能够给出图像中的关键区域，还能给出规则化的解释，对使用者更友好，更符合人对于解释结果的期望；在引入人工先验知识方面，走通了一条基本可行的技术路线，希望能够对未来的研究者有所启发。参考文献[1] C. Huang, C. C. Loy, and X. Tang, “Unsupervised learning of discriminative attributes and visual representations,” in Computer Vision and Pattern Recognition (CVPR), 2016, pp. 5175–5184.[2] V. Escorcia, J. C. Niebles, and B. Ghanem, “On the relationship between visual attributes and convolutional networks,” in Computer Vision and Pattern Recognition (CVPR), 2015, pp. 1256–1264.[3] S. Vittayakorn, T. Umeda, K. Murasaki, K. Sudo, T. Okatani, and K. Yamaguchi, “Automatic attribute discovery with neural activations,” in European Conference on Computer Vision (ECCV), 2016, pp. 252–268.[4] S. J. Hwang and L. Sigal, “A unified semantic embedding: Relating taxonomies and attributes,” in Advances in Neural Information Processing Systems (NIPS), 2014, pp. 271–279.

爱了爱了

最近，CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明，transformer 有可能成为计算机视觉任务（如分类、检测和分割）的强大通用模型。我们都很好奇：在计算机视觉领域，transformer 还能走多远？对于更加困难的视觉任务，比如生成对抗网络 (GAN)，transformer 表现又如何？在这种好奇心的驱使下，德州大学奥斯汀分校的 Yifan Jiang、Zhangyang Wang，IBM Research 的 Shiyu Chang 等研究者进行了第一次试验性研究，构建了一个只使用纯 transformer 架构、完全没有卷积的 GAN，并将其命名为 TransGAN。与其它基于 transformer 的视觉模型相比，仅使用 transformer 构建 GAN 似乎更具挑战性，这是因为与分类等任务相比，真实图像生成的门槛更高，而且 GAN 训练本身具有较高的不稳定性。论文链接：https://arxiv.org/pdf/2102.07074.pdf代码链接：https://github.com/VITA-Group/TransGAN从结构上来看，TransGAN 包括两个部分：一个是内存友好的基于 transformer 的生成器，该生成器可以逐步提高特征分辨率，同时降低嵌入维数；另一个是基于 transformer 的 patch 级判别器。研究者还发现，TransGAN 显著受益于数据增强（超过标准的 GAN）、生成器的多任务协同训练策略和强调自然图像邻域平滑的局部初始化自注意力。这些发现表明，TransGAN 可以有效地扩展至更大的模型和具有更高分辨率的图像数据集。 实验结果表明，与当前基于卷积骨干的 SOTA GAN 相比，表现最佳的 TransGAN 实现了极具竞争力的性能。具体来说，TransGAN 在 STL-10 上的 IS 评分为 10.10，FID 为 25.32，实现了新的 SOTA。 该研究表明，对于卷积骨干以及许多专用模块的依赖可能不是 GAN 所必需的，纯 transformer 有足够的能力生成图像。 在该论文的相关讨论中，有读者调侃道，「attention is really becoming『all you need』.」不过，也有部分研究者表达了自己的担忧：在 transformer 席卷整个社区的大背景下，势单力薄的小实验室要怎么活下去？如果 transformer 真的成为社区「刚需」，如何提升这类架构的计算效率将成为一个棘手的研究问题。基于纯 Transformer 的 GAN作为基础块的 Transformer 编码器 研究者选择将 Transformer 编码器（Vaswani 等人，2017）作为基础块，并尽量进行最小程度的改变。编码器由两个部件组成，第一个部件由一个多头自注意力模块构造而成，第二个部件是具有 GELU 非线性的前馈 MLP（multiple-layer perceptron，多层感知器）。此外，研究者在两个部件之前均应用了层归一化（Ba 等人，2016）。两个部件也都使用了残差连接。内存友好的生成器NLP 中的 Transformer 将每个词作为输入（Devlin 等人，2018）。但是，如果以类似的方法通过堆叠 Transformer 编码器来逐像素地生成图像，则低分辨率图像（如 32×32）也可能导致长序列（1024）以及更高昂的自注意力开销。 所以，为了避免过高的开销，研究者受到了基于 CNN 的 GAN 中常见设计理念的启发，在多个阶段迭代地提升分辨率（Denton 等人，2015；Karras 等人，2017）。他们的策略是逐步增加输入序列，并降低嵌入维数。 如下图 1 左所示，研究者提出了包含多个阶段的内存友好、基于 Transformer 的生成器： 每个阶段堆叠了数个编码器块（默认为 5、2 和 2）。通过分段式设计，研究者逐步增加特征图分辨率，直到其达到目标分辨率 H_T×W_T。具体来说，该生成器以随机噪声作为其输入，并通过一个 MLP 将随机噪声传递给长度为 H×W×C 的向量。该向量又变形为分辨率为 H×W 的特征图（默认 H=W=8），每个点都是 C 维嵌入。然后，该特征图被视为长度为 64 的 C 维 token 序列，并与可学得的位置编码相结合。 与 BERT（Devlin 等人，2018）类似，该研究提出的 Transformer 编码器以嵌入 token 作为输入，并递归地计算每个 token 之间的匹配。为了合成分辨率更高的图像，研究者在每个阶段之后插入了一个由 reshaping 和 pixelshuffle 模块组成的上采样模块。 具体操作上，上采样模块首先将 1D 序列的 token 嵌入变形为 2D 特征图，然后采用 pixelshuffle 模块对 2D 特征图的分辨率进行上采样处理，并下采样嵌入维数，最终得到输出。然后，2D 特征图 X’_0 再次变形为嵌入 token 的 1D 序列，其中 token 数为 4HW，嵌入维数为 C/4。所以，在每个阶段，分辨率（H, W）提升到两倍，同时嵌入维数 C 减少至输入的四分之一。这一权衡（trade-off）策略缓和了内存和计算量需求的激增。研究者在多个阶段重复上述流程，直到分辨率达到（H_T , W_T ）。然后，他们将嵌入维数投影到 3，并得到 RGB 图像。用于判别器的 tokenized 输入与那些需要准确合成每个像素的生成器不同，该研究提出的判别器只需要分辨真假图像即可。这使得研究者可以在语义上将输入图像 tokenize 为更粗糙的 patch level（Dosovitskiy 等人，2020）。 如上图 1 右所示，判别器以图像的 patch 作为输入。研究者将输入图像分解为 8 × 8 个 patch，其中每个 patch 可被视为一个「词」。然后，8 × 8 个 patch 通过一个线性 flatten 层转化为 token 嵌入的 1D 序列，其中 token 数 N = 8 × 8 = 64，嵌入维数为 C。再之后，研究者在 1D 序列的开头添加了可学得位置编码和一个 [cls] token。在通过 Transformer 编码器后，分类 head 只使用 [cls] token 来输出真假预测。 实验 CIFAR-10 上的结果 研究者在 CIFAR-10 数据集上对比了 TransGAN 和近来基于卷积的 GAN 的研究，结果如下表 5 所示： 如上表 5 所示，TransGAN 优于 AutoGAN (Gong 等人，2019) ，在 IS 评分方面也优于许多竞争者，如 SN-GAN (Miyato 等人， 2018)、improving MMDGAN (Wang 等人，2018a)、MGAN (Hoang 等人，2018)。TransGAN 仅次于 Progressive GAN 和 StyleGAN v2。对比 FID 结果，研究发现，TransGAN 甚至优于 Progressive GAN，而略低于 StyleGANv2 (Karras 等人，2020b)。在 CIFAR-10 上生成的可视化示例如下图 4 所示：STL-10 上的结果研究者将 TransGAN 应用于另一个流行的 48×48 分辨率的基准 STL-10。为了适应目标分辨率，该研究将第一阶段的输入特征图从（8×8）=64 增加到（12×12）=144，然后将提出的 TransGAN-XL 与自动搜索的 ConvNets 和手工制作的 ConvNets 进行了比较，结果下表 6 所示：与 CIFAR-10 上的结果不同，该研究发现，TransGAN 优于所有当前的模型，并在 IS 和 FID 得分方面达到新的 SOTA 性能。高分辨率生成由于 TransGAN 在标准基准 CIFAR-10 和 STL-10 上取得不错的性能，研究者将 TransGAN 用于更具挑战性的数据集 CelebA 64 × 64。 TransGAN-XL 的 FID 评分为 12.23，这表明 TransGAN-XL 可适用于高分辨率任务。可视化结果如图 4 所示。局限性虽然 TransGAN 已经取得了不错的成绩，但与最好的手工设计的 GAN 相比，它还有很大的改进空间。在论文的最后，作者指出了以下几个具体的改进方向：对 G 和 D 进行更加复杂的 tokenize 操作，如利用一些语义分组 (Wu et al., 2020)。使用代理任务（pretext task）预训练 Transformer，这样可能会改进该研究中现有的 MT-CT。更加强大的注意力形式，如 (Zhu 等人，2020)。更有效的自注意力形式 (Wang 等人，2020；Choromanski 等人，2020)，这不仅有助于提升模型效率，还能节省内存开销，从而有助于生成分辨率更高的图像。作者简介本文一作 Yifan Jiang 是德州大学奥斯汀分校电子与计算机工程系的一年级博士生（此前在德克萨斯 A&M 大学学习过一年），本科毕业于华中科技大学，研究兴趣集中在计算机视觉、深度学习等方向。目前，Yifan Jiang 主要从事神经架构搜索、视频理解和高级表征学习领域的研究，师从德州大学奥斯汀分校电子与计算机工程系助理教授 Zhangyang Wang。 在本科期间，Yifan Jiang 曾在字节跳动 AI Lab 实习。今年夏天，他将进入 Google Research 实习。 一作主页：https://yifanjiang.net/ 参考链接：https://www.reddit.com/r/MachineLearning/comments/ll30kf/r_transgan_two_transformers_can_make_one_strong/ 本文转自： https://www.jiqizhixin.com/articles/2021-02-17

一起学习吧！华为云NAIE学习赛，为广大AI爱好者提供学习资助！NAIE算法专家直播指导及答疑，做你坚实的学习后盾！直播时间：2021年02月24日 14:00——16:00直播回看链接：https://bbs.huaweicloud.com/live/dks_live/202102241400.html

2020年8月28日，华为云AI院长峰会在杭州千岛湖举行，来自中国科学院、中国工程院的多位院士，以及清华大学、北京大学、浙江大学、上海交通大学、复旦大学、中国科技大、哈尔滨工业大学、南京大学、西安交通大学等国内40余家顶尖高校的人工智能学院与计算机学院院长、教授、专家出席了大会，峰会阵容堪称国内高校的“顶尖配置”。峰会上华为云发布了五大AI人才培养规划，其中“华为云AI十百千学术计划”之百篇经典论文复现截至目前已取得重大进展：华为云官方累计发布50余篇AI经典论文供参与者复现，涵盖了计算机视觉、迁移学习、自然语言处理多个领域，吸引了数十所知名高校学子报名参加论文复现，不仅覆盖了C9院校，也不乏博士后参与;共计百余篇经典论文算法上线华为云AI Gallery，供开发者学习和使用。百余篇AI经典论文算法已上线AI Gallery针对当前AI经典论文算法在开源社区上的代码质量参差不齐，很多代码不好用、难用、甚至用不了，以及一些论文作者不共享源代码，无法指导AI开发者可以更好的参考与探索的现状，华为云官方将一些经典而又常用的论文算法上线华为云一站式AI开发平台ModelArts，供广大AI开发者免费使用，降低开发者学习门槛;同时发起华为云AI经典论文复现活动，鼓励参与者基于ModelArts复现AI经典论文，并将复现的论文算法开放共享到ModelArts AI Gallery, 打造AI开发者学习社区，从而达到赋能AI开发者，让更多人来低门槛使用经典的算法目标。目前，已经有百余篇AI经典论文算法上线华为云AI Gallery，开发者可以了解算法介绍、查看代码，以及一键订阅算法，在ModelArts平台进行训练和推理。华为云ModelArts产品团队表示，将这些百余篇AI经典论文算法与现有教程结合，构建一整套由浅入深的“AI学习天梯”，帮助各行各业的开发者在人工智能领域“渐入佳境”。全方位支持AI经典论文复现为了让开发者更好地学习AI，华为云举办的AI经典论文复现活动，设置了百万级别奖金池，成功复现并通过验收即可获得奖金激励。每篇论文一支队伍复现，论文一经发布即引来各大知名高校学生参与，基于自身研究领域选择熟悉的论文。此外，为了帮助学生能顺利完成复现，活动中给报名学生们提供了全方位支持，包含ModelArts赋能和论文复现活动宣讲、提供充足的ModelArts算力、全周期指导和问题解答，整个活动受到了学生们的一致好评。代表性AI经典论文算法：图像分割-Fast-SCNN随着自动驾驶汽车的兴起，迫切需要一种能够实时处理输入的模型。目前已有一些先进的离线语义分割模型，但这些模型体积大，内存大，计算量大，Fast-SCNN: Fast Semantic Segmentation Network可以解决这些问题。它是一种针对高分辨率图像数据的实时语义分割模型，适用于低内存嵌入式设备上的高效计算。代表性AI经典论文算法：目标检测-TSD目前很多研究表明目标检测中的分类分支和定位分支存在较大的偏差，论文从sibling head改造入手，跳出常规的优化方向，提出TSD：Revisiting the Sibling Head in Object Detector方法解决混合任务带来的内在冲突，该方法可以灵活插入大多检测器中，帮助通用的检测器大幅度提升性能3%-5%，在COCO上，基于ResNet-101可以达到49.4的map，在SENet154上可以达到51.2。

作者：Sergei Ivanov等机器之心编译GBDT 和 GNN 方法各有各的优势，现在，来自法国、俄罗斯两家机构的研究者将二者的优势结合起来，探索使用 GBDT 模型处理图结构数据。论文地址：https://openreview.net/pdf?id=ebS5NUfoMKL图神经网络（GNN）已经在学习图结构方面取得了巨大成功，应用于分子设计、计算机视觉、组合优化、推荐系统等多个方面。该领域的进展依靠于规范的 GNN 架构的存在，该架构将原始输入数据有效地编码为表达型表征，从而在新的数据集和任务上获得高质量的结果。最近的一些研究主要集中于具有稀疏数据的 GNN 上，这些数据代表同质节点嵌入（例如 one-hot 编码的图统计）或者词袋表征。但是在许多情况下，具有详细信息和丰富语义的表格数据更为自然，现实世界的人工智能也更丰富。例如在社交网络中，每个人都有社会人口统计学特征（例如年龄、性别、毕业日期），这些特征在数据类型、规模和缺失值上有很大差异。带有表格数据图形的 GNN 的研究是缺少的，梯度提升决策树（GBDT）在具有此类异构数据的应用程序中占主导地位。 GBDT 非常适用于表格数据，因为它们具有以下特性： 能够有效地学习表格数据中常见的具有超平面边界的决策空间；非常适合处理基数高、值缺失且比例不同的变量；它们为决策树或通过事后分析阶段的集合提供定性解释；在实际应用中，对于大量数据，它们收敛速度更快。相反，GNN 的关键特征使它们同时考虑节点的邻域信息和节点特征来进行预测，这与 GBDT 不同，GBDT 需要额外的预处理分析才能为算法提供图摘要（例如通过无监督图嵌入）。此外，理论上已经证明，通过消息传递的 GNN 可以在其图输入上计算任何可由图灵机器计算的函数，即 GNN 是唯一在图上具有通用性的学习架构（近似化和可计算性）。此外，与基于树的方法相比，基于梯度的神经网络学习具有多种优势： GNN 中含有的关系归纳偏差减轻了手动设计捕获网络拓扑特征的需求；训练神经网络的端到端属性允许在依赖于应用程序的解决方案中将 GNN 进行多阶段或多组件集成；采用图网络的预训练表征丰富了迁移学习中的许多重要任务，例如无监督领域自适应、自监督学习和主动学习机制。显然，GBDT 和 GNN 方法都有着明显的优势，可以将二者的优势结合起来吗？此前所有尝试将梯度提升和神经网络结合起来的方法在计算上都很繁琐，没有考虑图结构化数据，并且缺乏 GNN 架构中包含的关系偏向。 本研究是第一个探索使用 GBDT 模型处理图结构数据的研究。在这篇论文中，研究者提出了一种针对含表格数据的图的新型学习架构 BGNN，该架构将 GBDT 对表格节点特征的学习与 GNN 相结合，从而利用图的拓扑优化预测。这使 BGNN 可以继承梯度提升方法（异构学习和可解释性）和图网络（表征学习和端到端训练）的优势。 总体而言，该研究的贡献有： 设计了一种新的通用体系架构，将 GBDT 和 GNN 组合为一个 pipeline；通过迭代添加适合 GNN 梯度更新的新树，该研究克服了 GBDT 的端到端训练的挑战，使得错误信号可从网络拓扑反向传播到 GBDT；研究者针对节点预测任务中的强基准对方法进行了广泛的评估，实验结果表明，在各种现实表格数据中，异构节点回归和节点分类任务的性能显著提高；由于训练过程中的损失收敛速度更快，该方法比其他 GNN SOTA 模型更有效。此外，学习到的表征在潜在空间中展现出可辨别的结构，这进一步证明了该方法的表达能力。方法介绍GBDT 和 GNN 的优化遵循不同的方法：GNN 的参数通过梯度下降进行优化，而 GBDT 则是迭代构建的，并且决策树在构建之后仍然保持固定（决策树基于特征空间的硬拆分，因此不可微分）。 一种简单的方法是仅在节点特征上训练 GBDT 模型，然后将得到的 GBDT 预测与原始输入一起用作 GNN 的新节点特征。在这种情况下，将通过图神经网络进一步完善 GBDT 对图不敏感的预测。这种方法（被称为 Res-GNN）已经可以提高某些任务的 GNN 性能，但 GBDT 模型将完全忽略图的结构，并可能会丢失图的描述性特征，从而向 GNN 提供不准确的输入数据。 相反，该研究提出对 GBDT 和 GNN 进行端到端的训练，称为 BGNN（Boost-GNN）。该研究首先应用 GBDT，然后再应用 GNN。但考虑到最终预测的质量，该研究对它们进行了优化，BGNN 的训练如图 1 所示。已经构建好的决策树由于其离散的结构而无法正确调整，因此该研究通过添加新的树来迭代地更新 GBDT 模型，使其近似于 GNN 损失函数。图 1:BGNN 的训练过程，计算每一个 epoch 的步数。下图算法 1 展示了 BGNN 模型的训练算法，它可用于半监督节点回归与分类这样的任意节点级别的预热问题。更多实验结果读者可以查看原论文。本文来源：https://mp.weixin.qq.com/s/wIUVN9L5nnBgR_JSXY9OfA