比赛简介共十类美食，总计5000张图片，包含中餐、西餐、甜点、粥类，每张图像中美食所占比例大于3/4，数据分布均衡，自由划分训练集和验证集比例，本方案采取9:1的比例进行划分，项目最终以识别准确率作为评价指标，本方案使用单模型，在ModelArts上测试集的acc为0.978训练策略数据方面数据集划分采用9:1的比例将数据集划分为训练集和验证集，并将数据打乱(实际影响不大)数据增强采用简单的数据增强方案，包括图像的翻转，仿射变化及标准化这里的size选用的是224(听说太小了)train_transformer_ImageNet=transforms.Compose([ transforms.Resize((size,size)), transforms.RandomHorizontalFlip(), transforms.RandomAffine(degrees=5, translate=(0.05, 0.05), scale=(0.95, 1.05)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])模型方面模型的选择baseLine选用的是Resnet模型，本着一切从简的原则(其实就是懒)，分别试了Resnet18，ResNet34，ResNet101，ResNet152，还是ResNet152的acc较高，所以预训练模型选用的是ResNet152模型的训练策略方面采用了标签平滑，个人感觉差别也不大def reduce_loss(loss, reduction='mean'): return loss.mean() if reduction == 'mean' else loss.sum() if reduction == 'sum' else loss def lin_comb(a, b, epsilon): return epsilon * a + b * (1 - epsilon) class LabelSmoothingCrossEntropy(nn.Module): def __init__(self, epsilon: float = 0.1, reduction='mean'): super().__init__() self.epsilon, self.reduction = epsilon, reduction def forward(self, output, target): c = output.size()[-1] log_preds = F.log_softmax(output, dim=-1) loss = reduce_loss(-log_preds.sum(dim=-1), self.reduction) nll = F.nll_loss(log_preds, target, reduction=self.reduction) return lin_comb(loss / c, nll, self.epsilon)学习率调整，使用ReduceLROnPlateau学习调度器，如果三个epoch准确率没有提升，则减少学习率exp_lr_scheduler = lr_scheduler.ReduceLROnPlateau(optimizer_ft,mode='max',patience=3,verbose=True)模型性能验证集上的acc为0.974，提交到ModelArts上为0.978比赛总结这次的比赛对我来说收获挺大的，有些东西真是在学校里边体会不到的，还得多实践，同时也认识到了不同地区的小伙伴，寒假快要结束了，又是新的学期啊，可能只有短短一个多月？我们都加油，祝大家始终保持心里有火，眼里有光的状态！

ModelArts、Hilens联合开发助力人工智能落地电子科技大学 自动化工程学院 贵兴泰   由华为云携手上海交通大学学生创新中心举办的“第二届华为云人工智能大赛 · 无人车挑战杯”总决赛已成功落下帷幕。来自电子科技大学的“暑期休闲队”，自身拥有扎实的模式识别、机器人等学科知识，以及借助华为云一站式AI开发管理平台ModelArts和端云协同解决方案HiLens，进行无人车模型开发与部署，最终获得季军。“暑期休闲队”撰文分享其参赛体验，包括如何使用华为云ModelArts和HiLens实现无人车的目标检测，多源数据融合及行驶控制的能力等。一 队伍背景故事1 “我们为什么参加”我们是来自电子科技大学自动化工程学院以及计算机科学与工程的五名研究生新生，因为研究生研究方向多为模式识别、机器人等领域，并且对人工智能技术非常感兴趣，因此在今年七月份的时候自发组织报名参加了今年的华为云无人车挑战赛。五位队员都有较为丰富的科研竞赛经历，且都是华为的忠实粉丝，对于这次全新的比赛充满了信心与热情。2 “我们遇到了哪些困难”首先是因为今年特殊的疫情原因，我们五个人前期无法集合在一起进行比赛项目的商讨以及规划，正式开始备赛是在九月初，因此我们的准备时间只有大概十五天，但是在学校学院的支持下，我们可以有一个比较好的调试场地，我们从开学也是直接进入高强度的开发工作中，在前往上海之前已经把基本功能实现。在半决赛和决赛的过程中，主要是小车巡线功能对光线环境有些敏感，在决赛比赛中时出现了跑出轨道的情况，不过我们队伍负责巡线的队员通过丰富的临场调车经验，还是及时的解决了这个问题，最终也取得了不错的成绩3 “我们的欢乐时光”现在回想一下我们备赛的日子，最欢乐的时光就是五个人在校园里调车的日日夜夜，一起面对技术难点，一起享受灵感实现的快乐，看着一台小车从什么都不会到最后实现了各种各样的功能。当然，在决赛的时候，最终能取得季军的成绩也让我们非常开心。二 赛题介绍小车需要在规定赛道上通过层层关卡，包括交通灯识别（出发&泊车）、弯道行驶、斑马线行人识别、限速解限速识别、自动泊车、竞速等。小车不仅仅要完成所有的赛点，还要跑得快。而这里考验的是参赛者的综合能力，包括车体结构、底盘控制、传感器、网络通信、云端数据处理、人工智能等多学科的知识，而难点在于将这些知识点融合贯通。参赛队员需要结合华为云人工智能平台（华为云ModelArts一站式AI开发与管理平台、HiLens端云协同AI开发应用平台）以及ROS操作系统对小车进行开发。三 整体解决方案：此次无人车大赛中参赛车辆主要有三个传感器：激光雷达和两个摄像头，分别是小车自身的摄像头以及HiLens Kit上的摄像头，而激光雷达+相机的多源数据融合解决方案正是无人驾驶领域最为主流的技术。我们队伍对每个传感器的作用进行了总结：利用激光雷达进行可通行区域检测以及动态避障，利用小车摄像头进行车道线检测以及利用HiLens Kit进行目标检测以及相应的决策控制。3.1 激光雷达通过获取点云数据在小车行驶前方的有效扇区内进行障碍均值坐标计算，给与有无障碍状态实现近距应急障碍检测，行人障碍检测，因此本车的一大亮点是当在行驶过程任意状态检测到障碍物都可以进行及时的刹车，在备赛过程中大大方便了我们的调试。可行进区域检测通过对激光雷达对可行进区域边界进行检测，获得可行进区域均值点。再通过阿克曼地盘运动边界确定前进点,并且获得期望方向。我们利用上面两个技术完成了比赛中对于在人行道处对障碍物的检测以及顺利通过交叉路口两个任务 3.2 利用小车车头部分的摄像头进行车道线检测，检测方案如下：Step1 :使用高斯滤波，均值滤波，大津法对图像进行处理。Step２：在图像中逐行搜索边界点。Step３：滤除不合理边界点。Step４：使用最小二乘法对左右边线进行修复。Step５：计算图像中线。Step６：使用最小二乘法对中线进行修复。Step７：使用PID计算转角。车道线检测效果如下：3.3再通过HiLens Kit进行目标检测， HiLens Kit是由华为云开发的多模态AI开发套件，使用的AI芯片是华为自研的Ascend 310芯片，具体16T的算力。同时，开发者不仅可以使用设备自带的摄像头，还可以外接摄像头，同时处理10-16路视频分析。HiLens Kit检测到各种目标后，通过socket协议发送给ROS端，并在ROS端进行一系列决策控制完成红灯停、绿灯行、人行道停止、限速牌限速、解限速牌解限速以及黄灯泊车一系列操作。      3.4小车整体实行方案如图：ROS通信如图：四 华为云ModelArts平台的使用比赛需要利用ModelArts平台进行目标检测任务，检测包括红绿黄灯检测、限速解限速牌检测、人行道检测。使用ModelArts平台进行模型搭建的流程包括：数据获取与增强、数据集准备、模型选择与训练、模型转换4.1 数据获取与增强       本次比赛除了官方提供的训练集外，在决赛阶段我们还额外增加了在测试场地与比赛场地的训练集，训练集的获取首先通过HiLens Kit摄像头捕捉到行驶路段的视频，保存到/tmp目录下，再通过tcp从HiLens 传到本地使用opencv间隔地从视频中截取图像作为我们的原始数据集。       此外，我们还利用了三种数据增强的方法，来解决数据量较少带来的过拟合问题，分别是horizontal flip、cutout和mix up。       horizontal flip就是水平镜像翻转，这个方法实现较为简单，但是镜像翻转使用时要注意只有当一个图像分布不具备视觉手性的时候，我们才能在不改变原先图像分布的前提下，使用镜像翻转来增强数据集，因为人行道、预选赛的红绿灯就不具备视觉手性，因此我们使用镜像翻转对这类图像来进行数据增强，转换效果如下：       Cutout和mixup是计算机视觉中常用的两种数据增强方法，Cutout是将图片的随机区域填充噪声，而mixup是一种运用在计算机视觉中的对图像进行混类增强的算法，它可以将不同类之间的图像进行混合，从而扩充训练数据集，增强效果如下：4.2 数据集准备 Step1 下载OBS Browser，配置OBS桶，将原始采集数据上传至OBS桶内，并创建数据集。对象存储服务（Object Storage Service）是一款稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据对象存储服务OBS配置说明文档：https://support.huaweicloud.com/obs/index.htmlOBS控制台说明文档：https://support.huaweicloud.com/usermanual-obs/obs-usermanual-zh.pdf再进入ModelArts平台的数据标注模块，创建数据集，选择物体检测，添加标签集。数据集创建参考：https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0004.html Step2 在ModelArts中进行标注在“数据标注”页面单击“未标注”页签，此页面展示所有未标注的图片数据。单击任意一张图片，进入图片标注界面。用鼠标框选图片中的物体所在区域，然后在弹出的对话框中选择标签颜色，输入标签名称，按“Enter”键完成此标签的添加。标注完成后，左侧图片目录中此图片的状态将显示为“已标注”。如下图ModelArts数据标注说明：https://support.huaweicloud.com/exemlug-modelarts/modelarts_21_0011.html 4.3 模型选择与训练       在ModelArts里选择模型并创建训练任务，我们选择的模型是YOLO v3，YOLO是one stage的算法，相较于two stage的类似rcnn之类的模型的特点是速度快，这在无人车实时目标检测任务中非常重要。YOLO v3在v2基础上增加了网络复杂度，牺牲了少量速度来换取精度提升，且精度足够满足比赛需求。模型选择之后等待训练任务完成。      训练完成后可以通过可视化观察训练情况4.4 模型转换       在ModelArts训练得到理想模型后，需要在HiLens Studio里面完成模型转化，生成昇腾芯片上可使用的模型（OM模型）（这一步也可以在HiLens Studio里进行），参考：ModelArts平台模型转换工具指南:https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0107.html       Hilens Studio 模型转换指能:https://support.huaweicloud.com/usermanual-hilens/hilens_02_0098.html五 华为云端云协同AI开发平台HiLens的使用5.1 HiLens配置       使用HiLens Kit之前，需要开通HiLens服务。首先注册华为云账号，并完成实名认证，接着进入控制台选择登录HiLens管理控制台，完成HiLens的权限申请。 通过PC 与 HiLens Kit 组网后，通过web可以界面化地登录到HiLens Kit 管理平台，进行一键式操作链接无线网络。5.2 HiLens Studio的使用       在HiLens控制台中进入HiLens Studio，首先需要新建一个project，在技能模板中我们可以选择无人车比赛的模板技能，并基于此模板进行修改，在project中我们主要有utils.py、socket_config.py以及main.py，其中utils.py用来对图片进行预处理、检测框的标注并输出类别、标注框坐标信息等功能，socket_config.py主要将检测结果编码并构建socket通信协议与ROS端进行信息交互，main.py用来调用上述文件以及训练好的模型。main.py文件中我们利用多线程避免因为socket通信造成的程序堵塞。       模型检测实际比赛效果如下：六 亮点(1) 鲁棒性好，我们的数据采集于多场景，因此在不同环境下检测效果较为稳定。(2) 连续帧间检测稳定，我们针对每项分类单独设置置信度阈值，防止一帧检测到一帧检测不到，并且在决策时保证严格的条件再进行控制指令，避免因外界客观因素造成的误识别。(3) 小车巡线能力强，如下图，在小车行驶在交叉路口的过程中，并没有完整的车道线，但依然可以通过补线操作实现巡线，并且图像处理速度快，因此我队参赛车辆可以接近满速跑完全程，也因此我队在半决赛与决赛中均给裁判团以及观众留下了极为深刻的印象。(4) 多源数据融合提升决策效果，如以下两个例子：识别到人行道后，告知转弯方向，(例如上图，告知将要左转)，帮助小车巡线七 ModelArts与HiLens联合开发感想       在人工智能发展迅速的今天，如何将人工智能算法与多学科交叉并落地实现真正的智能时代成为广大学者与研发者共同的目标。华为云平台开发的ModelArts与HiLens的联合使用给予不论是人工智能初学者还是经验丰富的工程师更为便捷高效的开发环境。本次比赛，这ModelArts与HiLens联合使用的解决方案对比赛提供了非常高质量的服务。其优点如下：(1) 数据操作包括数据上传、数据标注以及数据集的发布极为方便。(2) 算法市场中华为云以及广大开发者提供了针对各种任务，包括但不限于图像分类、目标检测、语义分割等任务的算法，使用者可以直接调参使用。(3) ModelArts支持模型部署到多种生产环境，可部署为云端在线推理和批量推理，也可以直接部署到端和边。(4) ModelArts训练的模型可以通过模型转化并协同HiLens开发相关技能，将技能直接部署到端侧设备，实现算法落地。(5) HiLens端侧设备注册后可在设备管理处进行管理，包括查看、注销设备，以及一键升级设备的固件版本等。(6) HiLens提供大量的技能模板，开发者可以基于各种模板进行技能开发与部署。(7) 昇腾芯片加速使得模型推理更加迅速，使得时延更低。 参考文献：DeVries, T.; Taylor, G. W. Improved Regularization of Convolutional Neural Networks with Cutout. arXiv:1708.04552 [cs] 2017. Zhang, H.; Cisse, M.; Dauphin, Y. N.; Lopez-Paz, D. Mixup: Beyond Empirical Risk Minimization. arXiv:1710.09412 [cs, stat] 2018. Lin, Z.; Sun, J.; Davis, A.; Snavely, N. Visual Chirality. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020, 12292–12300. https://doi.org/10.1109/CVPR42600.2020.01231. Redmon, J.; Farhadi, A. YOLOv3: An Incremental Improvement. 2018. Zheng, Z.; Wang, P.; Liu, W.; Li, J.; Ye, R.; Ren, D. Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression. arXiv:1911.08287 [cs] 2019. Yamauchi, Brian. "Frontier-based exploration using multiple robots." Proceedings of the second international conference on Autonomous agents. 1998. Lopez Perez, Jose J., et al. "Distributed multirobot exploration based on scene partitioning and frontier selection." Mathematical Problems in Engineering 2018 (2018).

大赛报名地址：https://competition.huaweicloud.com/information/1000041344/introduction?track=-99

如果节点尚未准备好AI节点，可以在LLD中不安装AI节点，安装完流水线之后，参照“安装AI应用”章节单独安装AI节点，然后部署AI应用。整柜发货整柜发货场景，FusionCube已经在产线完成预安装，安装流程如图1所示。图1 安装流程不同的Cube系列化版本，安装流程会有略微不同，安装过程中的主要的差异点如下：只有标准版包含数据平台。安装后检查过程中需要根据实际LLD规划中的存在的组件进行检查，请忽略不涉及的组件的检查。散件发货散件发货场景，各个设备单独到货后，需要手工安装硬件和软件，安装流程如图2所示。图2 安装流程不同的Cube系列化版本，安装流程会有略微不同，安装过程中的主要的差异点如下：只有标准版包含数据平台。安装后检查过程中需要根据实际LLD规划中的存在的组件进行检查，请忽略不涉及的组件的检查。

华为云发布盘古系列超大规模预训练模型，包括30亿参数的全球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的全球最大中文语言（NLP）预训练模型。其中，盘古NLP大模型由华为云、循环智能和鹏城实验室联合开发，具备领先的语言理解和模型生成能力：在权威的中文语言理解评测基准CLUE榜单中，盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分83.046，多项子任务得分业界领先, 向人类水平（85.61）迈进了一大步。盘古NLP大模型–业界首个千亿参数中文大模型盘古NLP大模型由华为云、循环智能和鹏城实验室联合开发，具备领先的语言理解和模型生成能力：在权威的中文语言理解评测基准CLUE榜单中，盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分83.046，多项子任务得分业界领先, 向人类水平（85.61）迈进了一大步。盘古NLP大模型预训练阶段学习超40TB文本数据，并通过行业数据的小样本调优，提升模型在场景中的应用性能预训练阶段沉淀了大量的通用知识，同时既能做生成又能做理解的特性让大模型有能力支持行业知识库和数据库的嵌入，对接行业经验encoder-decoder架构基础上植入了特点训练技巧、方法，性能优异。中文权威CLUE榜单分类任务、阅读理解任务，总成绩排名第一；Rouge Score平均分0.53基于提示（prompt-based）调优、动态冰化等一系列正则化技术，实现小样本学习任务上超越GPT系列盘古CV大模型–超30亿参数业界最大CV大模型CV大模型，解决AI工程难以泛化和复制的问题。现有的AI工程需要针对不同场景做定制化开发，费时费力；盘古CV大模型的出现，使AI开发进入工业化模式，即一套流水线能够复制到不同的场景中去，大大节约研发的人力和算力。盘古CV大模型首次兼顾图像判别与生成能力，能同时满足底层图像恢复与高层语义理解需求能够简单高效融合行业知识，快速适配各种下游任务。盘古CV大模型已经在100余项实际任务中得到验证，大幅提升了业务测试精度，节约90%以上的研发成本相关文献/视频匠心故事 |“盘古”开天记，AI落地时  https://bbs.huaweicloud.com/blogs/298020“玩转”17亿个小分子，盘古大模型家族又添新成员https://bbs.huaweicloud.com/blogs/301226华为“天才少年”在研究什么？看谢凌曦揭秘千亿参数盘古大模型https://bbs.huaweicloud.com/blogs/281852 盘古大模型，开启工业化AIhttps://bbs.huaweicloud.com/live/HDZ_live/202110251500.html数据集干货下载数据集大全列表跳转链接文本分类模型--基于外卖评论数据集 https://bbs.huaweicloud.com/forum/thread-176871-1-1.html 物体检测-model-car-and-person https://bbs.huaweicloud.com/forum/thread-176870-1-1.html 钢筋检测模型 基于目标检测的方法检测钢筋的横截面 https://bbs.huaweicloud.com/forum/thread-176869-1-1.html 23种美食识别模型 图像分类模型 https://bbs.huaweicloud.com/forum/thread-176868-1-1.html 猫狗识别模型 40张图片小数据集训练的模型 https://bbs.huaweicloud.com/forum/thread-176867-1-1.html 识别昆虫, 提高农产品产量, 稳定市场价格 https://bbs.huaweicloud.com/forum/thread-176866-1-1.html 猴子物种亚类的细粒度识别 即便是对于生物学家, 分辨一种他不熟悉的物种亚类也极具挑战 https://bbs.huaweicloud.com/forum/thread-176865-1-1.html 图像分割-Fast-SCNN https://bbs.huaweicloud.com/forum/thread-176864-1-1.html DynamicRCNN-目标检测 https://bbs.huaweicloud.com/forum/thread-176863-1-1.html人脸检测-RetinaFace 支持Pytorch, GPU训练, 支持CPU,GPU推理 https://bbs.huaweicloud.com/forum/thread-176862-1-1.html文字识别-Aster https://bbs.huaweicloud.com/forum/thread-176861-1-1.html 命名实体识别-FLAT-NER https://bbs.huaweicloud.com/forum/thread-176860-1-1.html 行人姿态估计-HRNet https://bbs.huaweicloud.com/forum/thread-176859-1-1.html 指定姿态行人图像生成-XingGAN https://bbs.huaweicloud.com/forum/thread-176858-1-1.html CrowdDet （目标检测/Pytorch） https://bbs.huaweicloud.com/forum/thread-176857-1-1.html PointRend（图像分割/Pytorch） https://bbs.huaweicloud.com/forum/thread-176856-1-1.html 物体检测-CenterNet-Hourglass https://bbs.huaweicloud.com/forum/thread-176855-1-1.html Speaker change point detection-Maxout DNN-d-vector https://bbs.huaweicloud.com/forum/thread-176854-1-1.html 目标检测-TSD https://bbs.huaweicloud.com/forum/thread-176853-1-1.html GFocal loss 目标检测-Pytorch https://bbs.huaweicloud.com/forum/thread-176733-1-1.html conv-ensemble-str MM2018 https://bbs.huaweicloud.com/forum/thread-176724-1-1.html 强化学习游戏训练框架ASED https://bbs.huaweicloud.com/forum/thread-176722-1-1.html 遥感卫星影像数据集 "华为云杯"2020人工智能创新应用大赛数据集 https://bbs.huaweicloud.com/forum/thread-176720-1-1.html 街景图像语义分割数据集 华为云"云上先锋"AI挑战赛数据集 https://bbs.huaweicloud.com/forum/thread-176719-1-1.html TownCentreXVID目标跟踪数据集 数据是一个5分钟的视频 https://bbs.huaweicloud.com/forum/thread-176718-1-1.html 西安美食分类数据https://bbs.huaweicloud.com/forum/thread-176717-1-1.html 西安旅游主题图片数据集 "华为云杯"2019人工智能创新应用大赛数据集 https://bbs.huaweicloud.com/forum/thread-176715-1-1.html 机械硬盘故障预测数据集 来自backblaze公司的2020年机械硬盘故障预测数据集 https://bbs.huaweicloud.com/forum/thread-176712-1-1.html VOC2012子集--适用于图像分割算法训练 https://bbs.huaweicloud.com/forum/thread-176708-1-1.html Protein MSA数据库 https://bbs.huaweicloud.com/forum/thread-176706-1-1.html Cityscapes Dataset https://bbs.huaweicloud.com/forum/thread-176704-1-1.html 钢筋检测数据集 250张,PASCAL标注格式 https://bbs.huaweicloud.com/forum/thread-176702-1-1.html ECS-50（声音分类）数据集 https://bbs.huaweicloud.com/forum/thread-176701-1-1.html 四类美食图片分类小数据集 图片总数40张 https://bbs.huaweicloud.com/forum/thread-176700-1-1.html 中文语句情感分类(manifest) https://bbs.huaweicloud.com/forum/thread-176699-1-1.html COCO2017子集--适用于目标检测算法训练 https://bbs.huaweicloud.com/forum/thread-176695-1-1.html 二分类猫狗图片分类小数据集 图片总数40张 https://bbs.huaweicloud.com/forum/thread-176693-1-1.html 10类常见美食图片数据集 https://bbs.huaweicloud.com/forum/thread-176692-1-1.html 化合物-蛋白质相互作用（CPI）识别数据集 "华为云杯"2021人工智能创新应用大赛创客https://bbs.huaweicloud.com/forum/thread-176690-1-1.html 8类常见生活**图片数据集 https://bbs.huaweicloud.com/forum/thread-176689-1-1.html 口罩检测小数据集 总共291张图,PASCAL标注格式 https://bbs.huaweicloud.com/forum/thread-176688-1-1.html 爱（AI）美食--10类常见美食图片数据集 https://bbs.huaweicloud.com/forum/thread-176687-1-1.html 文本分类数据集--外卖评论 https://bbs.huaweicloud.com/forum/thread-176685-1-1.html 四类花卉图像分类小数据集 图片总数40张 https://bbs.huaweicloud.com/forum/thread-176683-1-1.html  pedestrian_detection_334 已标注的多场景下的行人检测数据集,用于目标检测,334张https://bbs.huaweicloud.com/forum/thread-176682-1-1.html 红绿灯、斑马线、限速、解限速数据集 无人车挑战杯大赛训练集 https://bbs.huaweicloud.com/forum/thread-176681-1-1.html  dataset-car-and-person-500 已标注的街道场景中的车辆和路人数据集，目标检测https://bbs.huaweicloud.com/forum/thread-176680-1-1.html “华为云杯”2020人工智能创新应用大赛(数据集来源于北京二号卫星) https://bbs.huaweicloud.com/forum/thread-176679-1-1.html 爱（AI）美食-美食图片分类Baseline https://bbs.huaweicloud.com/forum/thread-176676-1-1.html 第十六届中国研究生数学建模竞赛-华为赛题 https://bbs.huaweicloud.com/forum/thread-176672-1-1.html 【“华为云杯”2019人工智能创新应用大赛 — 训练数据】 https://bbs.huaweicloud.com/forum/thread-176671-1-1.html 【2019华为云人工智能大赛·**分类挑战杯】训练集、测试集 https://bbs.huaweicloud.com/forum/thread-176668-1-1.html 

2021年6月2日晚上19:00 举办了华为云AI论文精读会2021 第六期：知识蒸馏模型TinyBert解读分享嘉宾是来自西北工业大学的李朝阳~ 领域属于MindSpore，不了解MindSpore的小伙伴还不快来听分享~华为云AI论文精读会致力于让更多人低门槛使用经典算法，助力AI开发者基于ModelArts，实现高效率论文复现和挑战！观看地址：https://bbs.huaweicloud.com/live/cloud_live/202106021900.html

2021年5月24日举办了华为云AI论文精读会2021 第五期：基于迁移学习的语义分割算法分享嘉宾是来自电子科技大学的刘亚豪~论文领域是迁移学习领域哦~来不及等待！感兴趣的小伙伴快点击下方链接！观看地址：https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/competition/1621818551519065248.mp4

5月13日19:00举办的华为云AI论文精读会2021 第四期：Dynamic RCNN：一种有效提升RCNN系列网络表现的动态训练方法很多小伙伴们都有热情的参与~我们的嘉宾是北京大学的白璐斌，直播时评论都在说白璐斌老师讲解好细致，真的是太厉害啦！错过了直播的小伙伴也不要担心，贴心的我们为大家准备好了回放！准备好了吗！观看地址：https://bbs.huaweicloud.com/live/cloud_live/202105131900.html

讲师介绍刘文志（花名风辰），华为诺亚AI系统工程实验室主任，异构并行计算专家，毕业于中国科学院研究生院，闻名于并行计算江湖，尤善异构并行计算、AI系统工程和大规模集群计算，涉及图像处理、计算机视觉、自然语言处理、推荐系统、科学计算和石油勘探。现华为诺亚AI系统工程实验室主任，前商汤集团hpc和汽车业务创建人，曾任英伟达并行计算工程师、百度在线高级研发工程师。著有《并行算法设计与性能优化》、《并行编程方法与优化实践》、《科学计算与企业级应用并行优化》和《OpenCL异构并行计算》四本并行计算领域的专著。创建了ppl、parrots、bolt和vega等AI著名项目。业务背景随着5G时代的到来，电信流量呈爆发式的增长，基站流量的预测对站点的扩容和站点的规划至关重要。根据基站流量的精准预测结果，对于超负荷流量的基站可以及时发现并进行扩容，对于某一段时间段流量使用较小的基站，可以智能关站来降低资源的损耗。 但是基站流量预测是一个老大难的问题，针对这一挑战，我们近期尝试深度学习的方法来解决。传统的流量预测模型使用时间序列分析的模型如ARIMA，没有考虑流量的空间相关性信息（见图1）。Vega 提供一种多信息融合的电信网络流量预测的算法，将基站网络建模为图结构，图的节点表示基站，边刻画基站之间的关联，每个基站的流量作为节点属性特征输入给网络模型进行训练。此外我们可以通过架构搜索的方式动态设计网络结构，使得网络结构能够完美匹配当前的业务场景，使用超参优化对训练参数进行自动调优，从而减少人工的干预和成本。本文将介绍如何使用vega自动机器学习（AutoML）系统解决电信领域的基站流量预测问题。 Vega介绍Vega是由华为诺亚方舟实验室开发的面向于深度学习的AutoML工具链（框架流程图见图2），有如下主要特点：●完备的AutoML能力：涵盖HPO(超参优化, Hyperparameter Optimization)、Data-Augmentation、NAS(网络架构搜索， Network Architecture Search)、Model Compression、Fully Train等关键功能，同时这些功能自身都是高度解耦的，可以根据需要进行配置，构造完整的pipeline。●业界标杆的自研算法：提供了诺亚方舟实验室自研的 业界标杆(Benchmark) 算法，并提供 Model Zoo 下载SOTA(State-of-the-art)模型。●高并发模型训练能力：提供高性能Trainer，加速模型训练和评估。●细粒度SearchSpace：可以自由定义网络搜索空间，提供了丰富的网络架构参数供搜索空间使用，可同时搜索网络架构参数和模型训练超参，并且该搜索空间可以同时适用于Pytorch、TensorFlow和MindSpore。●多Backend支持：支持PyTorch(GPU), TensorFlow(GPU, Ascend 910), MindSpore(Ascend 910).。●支持昇腾平台：支持在Ascend 910搜索和训练，支持在Ascend 310上模型评估。使用Vega解决基站流量预测问题我们先介绍下Vega中时空预测算法STGCN算法。该算法使用GRU对时间前后的依赖关系进行建模，同时通过GCN网络从三个视角捕获对象之间的关系：空间相似性、功能相似性和最近趋势相似性，网络结构见图3。 更详细的STGCN算法说明，参考论文 Spatio-Temporal Hybrid Graph Convolutional Network for Traffic Forecasting in Telecommunication Networks，链接为 https://arxiv.org/abs/2009.09849 下面我们将基于Vega采用5种不同使用方式来介绍基站流量预测建模。3.1使用方式1：Fine TuneVega提供ModelZoo供用户使用。用户可以根据自己的需求（数据集、网络结构、参数量、性能指标等）选择ModelZoo中相应的模型文件，在此基础上进行Fine Tune训练。下面是基于Abilene数据集进行Fine Tune训练的流程图，见图4. 可以看到在Ablilene数据集上，我们已经训练过很多模型，从中选取一个性能较好的给vega进行Fine Tune，能够大大减少需要训练的时间，仅仅一分钟的训练时长，10个epochs就能达到30.32的RMSE。 3.2使用方式2：超参优化在网络训练中，为了提高网络的性能，我们往往需要进行大量的调测工作，如采用何种优化器，batch_size为多少比较合适，学习率设置为多少才能取得最优的性能效果。如果让专家手动调参就太耗费人力和财力，Vega提供了自动超参优化的能力，通过大量的超参优化算法来自动调参，有效的利用算力资源来找到一组满足目标的超参。Vega HPO 流程图见图5. 我们选取ASHA算法来对使用方式1中的训练过程进行优化，定义可调的超参有：每轮训练的批次大小batch_sizeopt优化器学习率LR在训练了15分钟以后，采样出25组不同的超参组合，最终选择了最优的超参组合，精度为29.37，相对于使用方式1中的30.32，提升了3%，其超参组合的详细数据如下：optimizer:    type: RMSProp    lr: 0.0058batch_size: 16epochs: 813.3使用方式3: Vega NAS自动优化时序网络结构AutoML另一个主要的作用是可以用于动态调整网络架构，使得所生成的网络能够更好的适用于当前的数据和应用场景。比如网络中采用何种的blocks较为合适，应该堆叠几层，堆叠的少了可能无法获取到相关的特征，堆叠层数过多不容易收敛，而且有可能会导致过拟合。这需要研究者花费大量的专家经验和时间反复试验。我们希望能够通过Vega的能力来简化网络的设计流程，用户只需要定义搜索空间，选择一个搜索算法，然后指定一个优化目标比如RMSE，Vega就能够自动寻找出一个较为合适的网络给用户使用。Vega NAS 流程如见图6。 我们定义如下的搜索空间，搜索算法选用ASHA，优化目标为RMSE：graph类型：temporal、spatial、spatial-temporalgcn_layers: gcn堆叠层数（1,2,3,4）gru_layers: gru堆叠层数（1,2,3,4）训练时长为15分钟，采样出25组候选网络，最佳的RMSE为29.87，相对于基础模型性能提升了1.5%，最终得到的网络结构如下：model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 4     gru_layers: 1    kernel_size: 43.4使用方式4: 先NAS后HPO在上述的实验中，我们发现不管是超参优化还是架构搜索都能够对最终的性能有所提升，那么我们如何才能够将HPO和NAS一起使用构成一个端到端的流程实现性能更优。Vega提供了Pipeline的能力，用于将多个不同的PipeStep算法无缝的串联起来，用户只需要进行简单的配置而不需要关心具体的实现细节。由于我们一般先优化网络，得到一个最优的网络后继续优化其训练超参。这里我们可以定义两个PipeStep：NAS用于搜索网络架构，输出一个新的网络，HPO获取NAS输出的网络后进行训练超参的优化，最终得到一个最佳网络和最佳超参的组合。先NAS后HPO流程图见图7. 我们将搜索空间的定义分为2个不同的PipeStep中： Nas网络结构空间定义：graph类型：temporal、spatial、spatial-temporalgcn_layers: gcn堆叠层数gru_layers: gru堆叠层数Hpo可调参数定义：每轮训练的批次大小batch_sizeOpt函数：Adam，SDG，RMSProp学习率LRNAS的训练时长为10分钟，HPO为15分钟，产生候选网络25组，候选超参25组，最终的RMSE只为29.23，相比于基线模型性能提升了3.5%，相比于单独使用HPO或者单独使用NAS都有一定的提升效果。 最佳的参数配置如下：model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 4 gru_layers: 1kernel_size: 4trainer:    epochs: 9    optimizer:        type: Adam        lr: 0.00094dataset:    batch_size: 83.5使用方式5: HPO+NAS联合优化通过上述的先NAS后HPO的优化，我们在模型性能上面得到的一定的提升，于是我们想到一个问题，就是网络结构与训练超参之间是否存在一定的关联性，另外对于搜索算法来讲，更高维度的采样能够提高搜索算法的采样效率，从而减少训练时长。 所以我们考虑将HPO和NAS合并在同一个PipeStep中做联合优化。区别于其他的AutoML框架，Vega提供了统一的SearchSpace的定义，使得训练超参和架构参数能够在同一个搜索算法中联合优化，用户只需要指定key来表示需要优化何种超参，type表示采用何种采样类型，range表示采样的范围。最终的采样结果即包含了网络架构参数也包含了训练超参。NAS和HPO联合优化流程图，见图8. 我们将搜索空间定义如下：Graph类型：temporal、sparial、sparial-temporalGcn_layers: 网络层数gru_layers: gru堆叠层数每轮训练的批次大小batch_sizeOpt函数：Adam，SDG，RMSProp学习率LR训练时长为30分钟，采样出25组候选网络，最终RMSE结果为26.75，相对于基线的性能提升了12%，在同等的训练时间内比先NAS后HPO要提升近8%。 最佳的参数配置如下：trainer:    epochs: 9    optimizer:        type: RMSProp        lr: 0.0009dataset:    batch_size: 32model_desc:    type: GCN    graph: spatial-temporal    gcn_layers: 3     gru_layers: 2kernel_size: 4总结在基站流量预测场景，Vega提供了基于时空序列的STGCN算法来解决时序预测问题，相对于基线的性能提升了12%。用户可以通过使用yaml配置，修改几行配置文件，然后使用算力资源进行自动优化就能够得到专家级别的网络，大大减少了网络交付的时间。详细对比见下表： 此外，Vega实现了统一的AutoML框架, 不仅支持了基站流量预测场景，而且在深度学习的其他领域和场景也取得了极大的成效。更具体地，Vega提供了丰富的AutoML算法，覆盖了架构搜索(NAS)、 超参优化(HPO)、 数据增强（Data Augmentation）、 模型压缩（Model Compression）多种领域，支持了分类、超分、目标检测、自动驾驶等多种业务场景。 欢迎大家试用并贡献自己的开源代码：https://github.com/huawei-noah/vega。 同时华为NAIE平台提供了基于Vega的AutoML服务，大家可以访问如下网站进行使用：https://www.hwtelcloud.com/products/mts 本文来源：https://mp.weixin.qq.com/s/w6gS6bhrg70vBsKfm2QV5A

五一小长假就这样飞快的结束了，大家是不是又开始忙碌的学习和工作啦那么！来看看华为云AI论文精读会2021 第三期：目标检测模型CrowdDet解读分享吧~本期分享的嘉宾是上海交通大学的徐继晟同学~扫码添加海报上的小助手，回复“论文”，入群交流互动~群里有小哥哥小姐姐等你来撩请小伙伴们点击链接，进行观看与学习！！观看地址：https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/competition/1620269243887049134.mp4

4月25日，华为云CEO余承东在华为开发者大会 #HDC.Cloud 2021 期间，重磅发布了华为云盘古系列大模型，帮助千行百业解决 AI 模型难以泛化和复制的问题，开启 AI 工业化开发新模式。华为云盘古大模型基于华为云一站式AI开发平台ModelArts构建，包含了：华为云盘古NLP大模型：是业界首个2000亿参数中文预训练模型，预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型。华为云盘古CV大模型：是目前业界最大的视觉预训练模型，包含超过30亿参数对于盘古大模型，大家都充满了好奇～AI新入门：如何快速进入相关方向学习和研发？AI开发者：盘古大模型的易用性、使用成本、落地场景、端侧性能如何保证？ 华为云AI开发者社区挑选了一些HDC.Cloud现场开发者的热门问题，专访盘古大模型的核心研发人员谢凌曦博士和张晓鹏博士进行答疑谢凌曦博士专访Q:作为一个开发者，请问这些预训练模型的易用性如何？使用成本有多高？谢凌曦博士：预训练模型本身设计的目的就是为了让大家在使用云服务的时候降低成本，那么我们预训练模型因为它是预训练，所以我们已经在后台完成了这样一个训练过程，这个过程的成本是比较高的，但是成本的不会需要开发者本身来承担。在使用这些模型的时候，它本身易用性和成本都会在设置在一个比较合适的位置，比如说我们会开发出一些比较通俗易懂的pipeline，如果你是有一定基础的开发人员，你也可以从我们pipeline当中去做更多的定制化的开发，更好的去释放我们预训练模型的能力。如果你只是一个小白，就想用我们的模型去做AI的一些简单的开发，我们也会给你一些更加通俗易懂的界面，让大家能够用一些拖拉拽的方式去使用我们的训练模型，同时成本相对来讲是比较低的，我们有很多种不同的这种计价方式，但是总体来讲，预训练模型都是降低了大家后续使用的时候它的一个计算时长，包括你的这种调仓所需要的重复的代价，这都会被降到一个很低的程度，总体来讲是对开发者非常友好的。Q：华为视觉计划里面提到了很多计算机视觉的新方向，那么对于新入门的人来说，如果想快速投入新的方向中去学习，需要掌握什么哪些知识才可以快速进入到相关方向的学习和研发中。是否需要先掌握传统全监督学习才可以更好的掌握弱监督和无监督数据的方向的研究中呢？谢凌曦博士：总的来讲是一个非常好的问题，我自己刚入行的时候也有过类似思考，是因为不管怎么说，人工智能计算机视觉都是经过几十年的发展，到现在为止已经是一个很庞大的知识体系了。如果一个人想要把这些东西都了解以后，开始做研究的话，稍微效率会有点低，而且你会花费很多不必要的精力去做一些事情。所以我们给大家的这样一个建议是说，你在学习过程当中，你可以先找准一个问题，这个问题可能一开始是一个相对初级的一点的问题，比如说刚才谈到我想做一个弱监督学习，那么我一定是有一个具体的场景，比如说在现在有一个问题当中，我遇到一个实际的问题当中，他确实需要用到弱监督的算法，但这个时候我是不是一定要先掌握全监督，并不是这个样子，你可以先去查阅一些，比如说当前弱监督学习，它的基线是什么，它的前沿在哪里，然后你就可以去做一些简单的实验，在这个实验的过程当中，你一般会遇到一些困难或者遇到一些疑惑，这些疑惑为了去解决，它一般就会帮你把你引导到这样一些它的基础，比如说全监督到底是怎么做的，那么你有了这样一些更多的基础以后，你回过头来也会对你当前正在做这个算法有更好的理解，所以我的建议是大家可以找一本教材，一个对机器学习也好，计算机视觉也好，这些比较介绍的比较深入的一个教材看。但是另外一方面也不要局限于这样一个教材，你可以一边做一个具体的课题，一边去学习这样一些知识，这样的话会比较有效率一些。张晓鹏博士专访Q：图像预训练模型有哪些成功的落地？跟业界比较处在什么位置？我们的智能驾驶系统有用到这方面技术吗？张晓鹏博士：已经在华为内部以及其他合作项目上有100家的一个成功的落地，那么这些方向其实涵盖了各行各业，我们在一些工业视觉，包括一些网络审查，包括一些零售商超以及医疗上，其实都获得了一些相较于我们之前不使用预训练模型更高的一个结果。在某些场景上，比如刚才提到的遥感印象上，我们通过这样一种遥感针对遥感影像这样一种预训练算法，其实在没有增加额外的这种标注代价的情况下，其实是达到了最多10%的这样一种分割精度的提升。那么还有另外一个比较有意思的现象就是说，我们其实在超大规模，我们这里大概用了几千万到亿级的图像的预训练，然后我们直接把这样一个模型，然后迁移到了我们的工业质检的缺陷上。然后其实我们非常欣喜的发现一个有意思的现象，就是我们在下游数据集上其实没有进行任何微调，然后但是我们在这样一个工业缺陷检测上，其实获得了比之前的更高度的优化，甚至利用下游的数据微调，基本上还会更好的结果，这个结果基本上会高出3~4个百分点。也是启发我们就是说我们的模型的数据一旦够多，其实它的泛化能力其实是从隐式的能够获得一种保障。第二个就是说我们的到了什么地步，我们其实是国内公司里面其实是最早做视觉艺术的模型的公司之一，据我了解其实在国外的话是Facebook和谷歌，其实从2019年开始在图像上面做了一些应用，我们这一块其实我们的视觉医学的模型开发其实大概在2019年的时候然后就开始了。所以说到目前为止，其实我们在一个大模型或者这种方针下，搭载我们的一些模型，蒸馏抽取其实以及行业大模型，我们现在其实已经适配了大概10余种这样一种预训练模预训练这种模型，而这10余种模型都是通过我们的一个大模型的一种分发抽取所得到的得到的，然后它在相应的行业上其实是得到了一种非常大的精度提升，同时也极大的减少了这样一个标注以及模型的迭代。Q： 机器视觉应用场景很多，不同场景图像角度，物体尺寸等影响因素很多，我们预训练是采用什么类型数据和学习任务？如果想落地某些特定场景还需要多少数据对特定任务进行模型微调？大模型如何保证端侧性能？张晓鹏博士：这一共有三个问题其实问的非常好，然后其实针对整个在机器视觉图像它的不同的角度，就是说整个整个或者刚才提到的可能不同的变化，其实我们采取的方法其实非常简单，其实一我们可能有海量的，数据集这个数据集规模其实已经达到了一级甚至10亿级这样一种规模，我们相信海量的数据集它是能够建模我们在实际场景的方方面面。另外一个我们采取了什么样的这种学习方式，其实它的一个核心思想就是2019年开始比较火。这样一种对比度之间都学习的方法，然后当然了我们这上面做了很多改进，包括如何来利用一些弱标签的信息，包括如何把这种全局的信息拓展到局部，来更好的建模它在局部的一种相关性关系。然后刚才同时的话也会就是说呼应了刚才提到的我有不同的视角，不同的这种角度，不同尺度问题，那么怎么来让它进行高效的建模？其实这里面就是让它不同的数据增强，我们在其实预训练算法里面是集成了数千余种的这样一种数据增强方法，然后让他通过不同的数据增强，然后让这个模型具有针对不同数据增强它的不变性来建模。Q：华为的预训练模型是如何结合不同行业知识，解决标注数据大的问题？张晓鹏博士：举一个就是我们HDC上发布的国网电力的巡检的例子，其实这就是一个非常典型的我们的视觉预训练大模型来如何解决这样一个行业知识。在这样一种国网电力的过程中，其实它有一些海量的数据，然后标注是非常困难，我们做了一个什么事情，就是我们通过我们的视觉医学的算法，然后在海量的这样一种巡检数据上进行了一一个批次的预训练。然后医学院其实是利用了我们无人机巡检的就是数10tb就是说上百万的这样一种规模的数量，然后来进行一种预训练。然后它的预训练其实是可以看到我们非常多的数据它的内在分布，然后由于我们的大模型模型参数量越大，然后我们也看了更多的数据，然后所以说它能够更好的建模，就是说在电力行业它的无人机巡检过程中的的一些，图片之间的细微的差异。然后我们当时也给了一个数字，就是说我们利用我们的视觉预训练大模型，然后它能够提供更好的一个表征以后，因为它的一个缺陷和正常样本的一种表征能力更强，我们在标注代价上基本上是减少了80%以上。一块的话整个在人力代价上是一个非常大的提升。另外一个就是减少标注，其实就是我们一个模型其实是可以适配我们电力行业的100多种缺陷，我们这个适配100多种缺陷的话，就让模型的迭代周期大大的减少。我们大概减少了就是说整个把迭代周期减少了10倍。然后这样子的话我们在每次迭代的过程中更少，就是说我反馈给人需要标注的这样一种整体的工作量就会越少，所以说通过这两种模式，然后我们实现了在电力这样一个行业方面，利用我们的这样一种视觉医学的模型，极大的提升了我们的一种开发效率。本文来源：https://bbs.huaweicloud.com/blogs/263786

华为云在华为开发者大会（Cloud）上发布了全球最大的中文语言（NLP）及视觉（CV）预训练模型——盘古系列大模型。据悉，华为云盘古系列 AI 大模型计划包括四大模型：NLP 大模型、CV 大模型、多模态大模型、科学计算大模型。整个大模型设计遵循三大原则：一是超大的神经网络；二是网络架构强壮，相比于定制化小模型，大模型综合性能提升了 10% 以上；三是健壮（Robust）的网络性能，全场景覆盖率提升 10 倍以上。1为什么我们需要大模型？2020 年 5 月，OpenAI 发表了一篇关于 GPT-3 的论文，GPT-3 模型迭代之后，拥有 1750 亿个参数。2019 年，GPT-2 就凭借 30 亿条参数获得了“最强 NLP 模型”的称号，1750 亿条参数的 GPT-3 发布之后，自然也就在工业界和学术界引发了广泛的谈论。我们真的需要大模型吗？大模型会给我们带来哪些改变？过去十年，AI 算法对算力的需求增长了 40 万倍，神经网络从小模型到大模型已经成为了必然的发展趋势。同时，我们也看到人工智能与科学计算深度融合，已经在众多领域都有所应用，大模型就是解决 AI 模型定制化和应用开发碎片化的一种方式，它可以吸收海量的知识，提高模型的泛化能力，减少对领域数据标注的依赖。大模型出现之后，高度定制化的小模型可能会被“兼并”。在技术方面，大模型对于 AI 框架的深度优化和并行能力都有很高的要求，同时它也会牵引 AI 产业快速收敛，成为 AI 产业底座，从而改变 AI 发展的规则和格局。现在业界普遍的 AI 开发方式还是作坊式的，针对不同场景的 AI 应用需要进行定制化开发，不仅要投入大量的专家和时间，而且 AI 模型的性能也很难做到极致。一旦场景变化，整个模型可能都需要重新开发。如果把工业化模式引入到 AI 开发过程，让一个模型可以应用到多个场景中，那么 AI 开发就会获得突飞猛进的发展。2业界首个千亿参数的中文大模型——盘古 NLP 大模型为了加速 AI 工业化开发进程，华为发布了全栈全场景 AI 解决方案。2019 年 8 月，发布了昇腾 910 芯片力和计算框架 MindSpore；2020 年 3 月，在 HDC.Cloud 发布了视觉研究计划，正式开源 MindSpore；2020 年 9 月，升级发布了 AI 一站式开发平台 ModelArts3.0。就在刚刚，华为云又发布了业界首个千亿参数的中文大模型——盘古 NLP 大模型。据了解，盘古 NLP 大模型，由华为云、循环智能和鹏城实验室联合开发，是全球最大的中文语言预训练模型，在预训练阶段就学习了 40 TB 的中文文本数据，其中包括细分行业的小样本数据，可以优化提升模型在具体场景中的应用性能。与其他大模型不同的是，盘古 NLP 大模型瞄准的是细分行业，主要解决商业环境中低成本大规模定制的问题。在最新的中文语言理解评测基准（CLUE）中，盘古 NLP 大模型获得了总排行榜、分类任务、阅读理解三项榜单第一，其中，总排行榜得分 83.046。盘古 NLP 大模型获得 CLUE 总排行榜第一盘古 NLP 大模型在 CLUE 分类任务排名第一盘古 NLP 大模型在 CLUE 阅读理解任务排名第一为什么盘古 NLP 大模型能够在 CLUE 刷新三项历史记录？相比于业界其他大模型，它又有哪些不同呢？第一，盘古 NLP 大模型在预训练阶段沉淀了大量的通用知识，既能做生成又能做理解的特性让它有能力支持行业知识库和数据库的嵌入，进而对接行业经验。大模型可以充当系统中的任意模块，快速适配和扩展不同的场景。第二，盘古 NLP 大模型在 encoder-decoder 的架构基础上植入了华为云的训练技巧和方法，所以性能优异，在 CLUE 三项榜单中都获得了第一名。同时，盘古 NLP 大模型还进行了 nlpcc2018 文本摘要任务的评测，获得了 Rouge Score 平均分 0.53 的业界最佳成绩，超越第二名百分之六十。第三，之前业界发布的大模型基本都不调优，或者是使用 non-gradient（非梯度下降）调优，为了追求泛化能力而牺牲一些场景的性能。而盘古 NLP 大模型为了改变这一缺陷，采用了大模型小样本的调优方式，基于提示（prompt-based）的调优、动态冰化等一系列正则化技术，实现了小样本学习任务上超越 GPT 系列。盘古 NLP 在各种榜单中都获得了不错的成绩，那么在具体场景中它的表现如何呢？在华为开发者大会（Cloud）现场，华为云人工智能首席科学家、IEEE Fellow 田奇就在现场对盘古 NLP 大模型进行了连续追问。通过这几个来回的问答，我们发现盘古 NLP 大模型可以如同人类一般自如交流，体现出惊人的理解能力和生成能力。通过 40TB 中文文本的训练，它能够通过少样本学习对意图进行识别，准确回答我们的问题，而且即使你在一句话中提出了多个问题，它也能够逐一识别并回答，具备了多重意图识别能力。在其中一个问题中，完全没有提到“碳中和”这个关键词，盘古也可以基于上下文推断出当前的讨论对象，并且针对“碳中和”话题发表自己的观点与看法。3 三十亿参数、十亿级图像知识的 CV 模型——盘古 CV 大模型除了 NLP 模型，华为云还同时发布了盘古 CV 大模型。据了解，该 CV 模型包含 30 亿 + 参数，是目前业界最大的 CV 模型，并且在 ImageNet 1%、10% 等数据集上的小样本分类精度上均达到目前业界最高水平（SOTA）。与其他 CV 大模型不同的是，盘古 CV 大模型首次兼顾了图像判别与生成能力，能够同时满足底层图像恢复与高层语义理解的需求，同时融合了各行业知识，能够快速适配各种下游任务。目前，盘古 CV 大模型已经在医学影像、金融等 100+ 项任务中应用实践，不仅可以大幅提升业务测试精度，还能平均节约 90% 以上的研发成本。现有的 AI 工程通常都需要针对不同场景做定制化开发，费时费力。盘古 CV 大模型的出现，解决了 AI 工程难以泛化和复制的问题，让 AI 开发进入工业化模式，一套流水线可以复制到不同的场景中，节约人力和算力。在功能方面，盘古 CV 大模型提供了大模型预训练、大模型部署和大模型迭代三个功能，三者既是个有机整体，也形成了 AI 开发的完整闭环。大模型预训练：这个阶段解决的核心问题是如何将超大规模数据，特别是各种行业数据中蕴含的知识，存储在大模型中。预训练的关键是整合无标签和有标签图像，捕捉其中隐含的结构化特征，特别是样本和样本之间的关系信息。盘古 CV 大模型中包含了数据处理、架构设计和模型优化三个步骤，支持层次化空间特征聚合、监督式对比语义调整等算法，可以将图像的表征效率提升数千倍。大模型部署：这个阶段解决的核心问题是如何覆盖各类算力差别较大的设备，包括用于高清遥感影像分析的云侧设备、用于电力线路巡检的边侧设备、以及用于铁路故障检测的端侧设备等等。三十亿参数的大模型未必能够满足用户的速度要求，盘古 CV 大模型中专门设计了模型抽取和知识蒸馏算法，能够根据用户需求抽取高效子模型，并且确保将大模型学习到的知识最大限度地传递给子模型。大模型迭代：盘古 CV 大模型配备了数据挖掘和增量学习模块，其中的一比特监督学习、双向自步学习等算法能够减少 90% 以上的人力干预；同时类别增量、难例增量学习等技术也能够在增量学习过程中减少 90% 以上的算力消耗。配合基于图网络的模型融合技术，盘古 CV 大模型最终可实现闭环迭代，模型的泛化能力也会在使用过程中逐渐增强。4 大模型背后的技术支撑以及实践案例盘古 NLP 大模型具备千亿参数、10的23次方、40TB 的中文文本训练数据，如果是使用单卡来支持盘古大模型训练，需要数百年的时间才能训练完。那么，盘古大模型背后到底有着什么样的技术支撑呢？据悉，盘古大模型的 AI 算力和数据吞吐能力都是由鹏城云脑 II 提供的，这是国内最大规模的 AI 训练集群。除了硬件算力支持，华为底层软件、训练框架、ModelArts 平台也为盘古大模型提供了技术保障。在算法方面，华为云的算法团队和循环智能（Recurrent AI）的 NLP 团队联合攻关，突破了大模型微调的难题。针对底层算子性能，盘古大模型基于 CANN 采用了算子量化、算子融合优化等技术，单算子性能能够提升 30% 以上。针对并行策略，华为 MindSpore 采用了“流水线并行、模型并行和数据并行”的多维自动混合并行技术，大幅降低了手动编码的工作量，集群线性度提升 20%。针对训练资源调度，华为云 ModelArts 支持 E 级算力调度，提供最优的网络通信能力。借助 ModelArts 平台的海量数据处理能力，盘古大模型仅用 7 天就可以完成 40TB 文本数据处理。光说不练假把式，了解了盘古大模型背后的技术支撑之后，我们来看看盘古大模型是如何应用到实际案例中。国网重庆永川供电公司是国内早期采用无人机智能巡检技术来替代人工巡检的电力公司，并将无人机数据采集应用于输电线路、变电站、配电线路自主巡检等多个业务场景。但是传统的无人机智能巡检 AI 模型开发中，他们遇到了两个难题，一是如何进行缺陷样本的高效标注，二是智能巡检故障种类繁多。为了解决这两个问题，国网重庆永川供电公司与华为云合作应用了盘古 CV 大模型。在数据标注方面，盘古 CV 大模型利用海量无标注电力数据进行预训练，并结合少量标注样本微调的高效开发模式，提出了针对电力行业的预训练模型。应用之后，样本筛选效率提升约 30 倍，筛选质量提升约 5 倍，以永川每天采集 5 万张高清图片为例，可节省人工标注时间 170 人天。在模型通用性方面，结合盘古搭载的自动数据增广以及类别自适应损失函数优化策略，可以做到一个模型适配上百种缺陷，一个模型就可以替代永川原先的 20 多个小模型，极大地减少了模型维护成本，平均精度提升 18.4%，模型开发成本降低 90%。国网重庆永川供电公司的应用案例，让我们见识到了盘古大模型在电力智能巡检方面的优势，盘古大模型能够快速适配到电力行业的不同场景，真正做到了规模化可复制。相信未来，我们可以在更多行业领域看到盘古大模型的应用实践。

热乎乎的，新鲜出炉的华为云AI论文精读会2021第二期：d-vector用于说话人变化点检测的论文解析与复现来啦！！！小伙伴们可以点击链接，进行观看与学习呦~是大家期待已久的NLP领域的内容哈~~扫码添加海报上的小助手，回复“论文”，入群交流互动~~观看地址：https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/competition/1619170328262048590.mp4

2020年举办的华为云AI经典论文复现活动，不仅受到了参赛者们一致好评，也产出了许多优质的算法成果。这些论文复现的算法描述、源代码以及算法使用指导文档均已发布到了AI Gallery。为了让开发者更好的使用这些论文算法，华为云AI在此举办华为云AI论文精读会2021活动。华为云AI论文精读会2021邀请计算机视觉、迁移学习、自然语言处理等领域专家学者基于华为云ModelArts解读经典论文算法，让更多人来低门槛使用经典的算法。第一期 · 论文精读会直播精读主题：高效语义分割模型Fast-SCNN分享时间：2021年4月10日 19:00嘉宾介绍：历天一，华为云MVP，华为云云享专家，MDG天津大学核心组织者，昇腾HAE，2020年度华为云开发者社区风云人物。研究方向为多模态融合以及深度矩阵分解在情感分析上的应用，包括多模态端云协同部署开发。直播内容：1.论文的研究背景及成果2.模型剖析及算法创新点讲解3.代码思路讲解及实操观看地址：https://bbs.huaweicloud.com/live/cloud_live/202104101900.html 论文算法实战赛 为鼓励大家学习和使用经典的AI论文算法，特别举办了论文算法实战赛。无论您是个人、高等院校、企业、科研单位还是创客团队，均可报名参赛！参加论文算法实战赛即有机会获得“优秀体验官”证书以及丰厚的礼品~~ 具体赛题详情请访问链接（点击“阅读原文”也可报名）：https://competition.huaweicloud.com/information/1000041393/introduction扫码添加小助手回复“论文”加入交流群及时获取直播和赛事的通知

国际计算机视觉与模式识别会议（CVPR）是计算机视觉领域三大顶会之一（另外两个分别为ICCV、ECCV）。作为计算机视觉领域一年一度的盛会，CVPR每年接收论文的情况，基本可以代表一年中计算机视觉领域的发展趋势。CVPR 2021 大会将于6月19日至 25日线上举行，中国科学院院士谭铁牛将担任 CVPR 2021 四位大会主席之一。今年CVPR 共有7015篇有效投稿，其中进入Decision Making阶段的共有约5900篇，最终有1663篇突出重围被接收，录用率大概为23.7%（1663/7015）。本场为华为诺亚实验室专场，特邀请实验室的多位研究人员，做 CVPR 预讲·华为诺亚专场报告。 回看地址:https://www.bilibili.com/video/BV1Dp4y1h7pM