-
很高兴有机会参与华为Remill复杂指令开发的开源项目。开源在近十年来逐渐形成了一种趋势,有利于促进科研成果价值的体现。这次项目让我明白在项目实操过程中蕴藏的风险是多种多样的,人员的风险,离职率比较高,需要安排工作交接。技术的风险,如某些指令功能本身需要改造一下,就必须在与华为的负责团队充分沟通之在来修改,但是华为团队本身可能业务较多,需要协调资源。这块的工作就不少。需求理解的风险,开发和测试对BA给出的需求的理解可能出现偏差,需求没有很好地版本管理,所以有时出现BA改了需求文档,忘记通知开发和测试,或者只通知了开发,没有通知测试,或者只通知了测试,没有通知开发,各方对需求的理解不一致,导致项目后期各方扯皮。最后项目差点不能按时完成。所以我明白了在项目开发过程中应该注重各方协调,如果经常出现一些因为协调补充导致的问题,就会耗费了团队很多时间。这样会导致项目风险加深,同时给项目负责双方都带来压力 同时这次参加开源项目的机会也让我对开源项目有了更深的认识。目前国内对开源项目越来越重视,开源是创新科技的重要动力之一,但是由于国内高科技产业起步相较国外比较晚,即使我们已经拥有了这种各样的应用原件,但是我们的软件基础较为薄弱。华为作为国之重器,勇当历史使命,逐步加大基础软件领域的投入,相继开源了openEuler操作系统、openGauss数据库、MindSpore AI计算框架等重量级基础软件项目。作为专注科研的高校团队,我们团队也积极参与基础软件的开源构建生态之中,相继参与了REMILL指令语义开发、opengauss数学函数等众智开源协作项目中。 总的来说经历了项目实战,收获颇丰。既开拓了视野,也培养敢于接受挑战的勇气。同时也更清楚的认识到不断充实自身知识体系非常重要,不仅要深专专业知识,还需广泛涉猎。在实践中锻炼自己的动手能力,本着对工作严谨的态度,力求做到最好。最后感谢华为提供了鲲鹏众智平台提供了项目实践平台,在为鲲鹏生态系统做出微薄之力的同时,自身综合能力得到稳步提升。 北方工业大学--北方工业大学团队--陈征 指导教师:李阳老师
-
开源在近十年来逐渐形成了一种趋势,开源让技术更迭更加快速,各种开源协议五花八门。开源不仅有利于继承性创新,还有利于促进科研成果价值的体现,同时开源社区的不断壮大也是大势所趋。华为作为一家以技术为根基的商业化公司,一直以来也在积极构建开源的商业模式。华为与国内的高校、机构,在课程开发、软件协作和相关的资源支持、社区学习和赛事认证方面,做出了积极的努力。很感谢华为提供鲲鹏众智这个平台,可以亲身参与到华为的开源生态建设中来。 目前国内各行各业站在开源软件的肩膀之上构建了一派繁荣的应用软件,虽然应用软件虽然非常丰富,但是基础软件却较为薄弱。华为作为国之重器,勇当历史使命,逐步加大基础软件领域的投入,相继开源了openEuler操作系统、openGauss数据库、MindSpore AI计算框架等重量级基础软件项目。作为专注科研的高校团队,我们团队也积极参与基础软件的开源构建生态之中,相继参与了REMILL指令语义开发、opengauss数学函数等众智开源协作项目中。 参与开源项目,为开源项目做贡献虽然不需要成为某个领域大牛,但需要你花费大量时间和精力去贡献,在这个过程中,你同样能够学到很多。如语义指令开发这个项目,我是先从官方文档开始了解remill项目的,并根据自己的了解,写一些博文,为项目写一些技术文档指导接下来的开发工作。通过本次项目实践,我收获了很多。首先对是对开源项目有了进一步认识,开源项目强调自主性、探索性、实践性和协助性,重在实施过程中发挥创新思维、创新实践,充分调动主观能动性,灵活运用相关知识,使自己得到锻炼和提高。回顾一年多来参加项目的经历,从开始对项目需求的理解到项目计划的讨论和确定,从对项目的整体把握到关键环节的分析,并制定详细的项目方案和进程以及后续的实施,整个过程不仅学到了我感兴趣的东西、觉得有用的东西,更重要的是自己思维能力、团队协作能力、实践能力都得到了提高,而且也学到了善于思考、积极总结的可贵精神。比如在代码效率优化方面,对于优化代码,有许多种渠道,对于不同的应用有不同的解决之道。通常情况下,同一种优化方式在不同的应用中达到的效果是不同的。对某一特定应用代码,运用多种优化方式结合使用,包括调整编译器选项、规范内存使用、合理运用循环体、profiler等优化工具使用、协处理器指令使用等,在不断的实验过程中达到最优。 项目的实施结果圆满达到预期效果,这也是我深感欣慰。在实践中,我看到了团队成员的共同进步,大家都认真完成项目进度的安排,对自己的工作负责到底,对没接触的知识,不动的技术也不畏惧,通过自己的努力克服技术壁垒,实现预定目标。虽然项目进展过程中也遇到了很多困难,但看到团队成员都以积极向上的心态去应对,正式一次次通过努力越过难关给我们带来了一段难忘的记忆。 开源项目有一个非常显著的特征,就是对社会的贡献和社会的价值。如果中国的开源生态能够基于利他和共赢的愿景之上繁荣发展,那么它一定会夯实中国软件的根基,同时在这个基础上更好地和全球的开源领域、和全球的软件开发者、和全球的公司实现合作共赢。期待后续参与华为更多开源项目,为中国开源软件贡献自己的一份力量。 同济大学--认知与智能计算研发团队--徐彦军 指导教师:田春岐老师
-
HPC软件迁移openEuler项目主要是将WRF、CAMx、CESM、NEMO、ROMS、WAVEWATCH III、Bifrost,这7款软件使用鲲鹏社区发布的最新的毕昇编译器和HyperMPI来对进行相关迁移工作,其中包括编译、部署和测试等,同时对应用所涉及的周边功能组件和常见的错误,要给出相应的一些解决方法,在整个项目的实施过程中,我不仅在技术层面有大量的提升,同时对于团队协作、项目管理和对不熟悉领域的项目快速上手也有一些全新的认识。首先是在技术层面上。虽然本科期间学习过编译技术、Linux服务器等相关的专业课程,但是并没有进行一些实际的工业级项目的检验,借助这次项目的机会,在项目中实践了自己所学的东西,对Linux的命令和shell脚本更加熟悉,同时也学习了一些以前不会的命令,并且在对软件源码的编译过程中出现的一些错误,通过不断的查阅相关的资料,借助开源社区和华为那边的专家提供的一些资料,然后自己再去通过编写一些配置文件和脚本得以解决,极大地提高了自己在Linux上的编码能力。其次是在团队协作方面。本次项目中的几款软件都是气象相关的HPC开源软件,之前都没有怎么接触过。所以在项目实施之前,华为那边的技术专家,也是给我们进行了一个项目启动会和项目整体情况介绍,以及项目的实施规划。然后本次项目的指导老师刘勇,就对我们进行了一个项目分工。在整个项目的分工合作上,大家都积极地进行交流,对软件移植过程中遇到的一些问题,都会开会进行讨论,提出可行的解决方案,这样大大地避免了其他同学在移植的时候继续“踩坑”的情况,团队的成员也都集思广益,提高了在移植过程的效率,例如刚开始在移植HyperMPI的时候,大家都遇到编译报错的问题,后来通过大家一起讨论和查阅相关的文档,最终得以解决。我在想这也是当前国内一些软件所需要的,面对一些西方国家的制裁,越来越强调自主可控,华为虽然开源了自主的openEuler操作系统,但是在软件层面还需要国内很多的开发者进行协作努力,才能进一步的扩大生态,不能仅仅只靠华为等少数几个企业,在芯片和国产的桌面操作系统方面等也是如此,需要更多类似华为这样的众智项目。最后是对项目的快速上手方面。参与到本次项目中,一开始对这几款软件和华为毕昇编译器以及HyperMPI都不怎么了解,刚开始移植WRF的时候,遇到了很多错误,在排查错误的时候,一开始就是直接去找这个错误,发现很多都找不到,后面就改变方向,首先去软件的官网找这款软件的一些开发文档,然后是去GitHub找一些相关的源码,然后通过了解了这款软件的来龙去脉之后,再去一些开源论坛或者Google上结合一些编译日志来找解决方案,这对我在后续几款软件的移植上提供了非常大的帮助。例如在编译CESM的时候,安装CESM其他组件时候,一直提示github访问问题,后面切换到海外的云服务器就可以了。这对我以后上手一些其他的项目,积累了非常宝贵的解决问题的经验。最后,很荣幸感谢华为能够提供鲲鹏众智计划这样的机会,也非常感谢刘老师的指导,能够参加到本次的华为HPC软件迁移openEuler项目中,学习到了非常多的知识,同时还接触了华为那边非常优秀的工程师,并且对华为也有了一个全新的认识,在对自主知识产权的技术上,贡献了非常大的力量,包括华为鲲鹏系列的产品,和开源openEuler系统,以及建设相关的软件生态圈等等,希望以后自己也能为国产软件贡献更多的力量! 重庆邮电大学-数据分析与智能决策创新团队-周召剑 指导老师-刘勇老师
-
1.大数据应用:分布式系统,处理海量数据,进行运算和存储技术要点:Storm、Spark、Hadoop(框架),MapReduce(负责计算),Hdfs(文件系统),Hive(数据仓库),Hbase(数据库),Zookeeper(中间件),Ambri(可视化,配置集群)2.安卓开发目前还出现了RxAndroid(响应式编程)、webFlux技术要点:开源框架,网络编程,json和xml解析,绘图原理,动画,事件机制,自定义View,数据存储,开源框架,四大组件原理,UI控件(RecycleView,TabLayout等),Material Designs3.web前端前端追求的是:页面表现,速度流畅,兼容性,用户体验等等。前端基础:js,html,css,jquery,bootstrap,node.js。jquery有点过时了。现在比较流行的前端三大框架: vue,angular,react4.web后端后端追求的是:三高(高并发,高可用,高性能),安全,存储,业务等等。python,java都可以做后端。也有少数公司用c/c++。大后端,目前很流行分布式、微服务、容器。python后端,一般用flask、django。5.PHP一般小公司刚起步,都会采用LAMP架构。也就Linux+Apache+Mysql/MariaDB+Perl/PHP/PythonPHP适合产品刚起步,快速开发,做出产品雏形,看能否适应市场。PHP 是一种创建动态交互性站点的强有力的服务器端脚本语言。6.云计算7.区块链8.人工智能9.游戏开发一般用c++。引擎有cocos2d,工具unity3d、openGL。
-
一. 什么是HarmonyOS(鸿蒙)HarmonyOS(鸿蒙)是华为开发的一款面向未来的全场景分布式智慧操作系统,将逐步覆盖1+8+N全场景终端。对消费者而言,HarmonyOS用一个“统一的软件系统”从根本上解决消费者面对大量智能终端体验割裂的问题,为消费者带来统一、便利、安全的智慧化全场景体验。对开发者而言,HarmonyOS通过多种分布式技术,整合不同终端硬件能力,形成一个虚拟的“超级终端”。应用开发者可基于“超级终端”开发应用,聚焦上层业务逻辑,无需关注硬件差异。设备开发者可以按需调用其他终端能力,带来基于“超级终端”的创新服务体验。HarmonyOS作为一款面向未来的崭新分布式操作系统,在传统的单设备系统能力基础上,HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念,能够支持手机、平板、智能穿戴、智慧屏、车机等多种终端设备,提供全场景(移动办公、运动健康、社交通信、媒体娱乐等)业务能力。必将在万物互联万物智能的全联接世界中发挥至关重要的作用。二. HarmonyOS(鸿蒙)三大系统特性1. 搭载该操作系统的设备在系统层面融为一体、形成超级终端,让设备的硬件能力可以弹性扩展,实现设备之间硬件互助,资源共享。对消费者而言,HarmonyOS能够将生活场景中的各类终端进行能力整合,实现不同终端设备之间的快速连接、能力互助、资源共享,匹配合适的设备、提供流畅的全场景体验。2. 面向开发者,实现一次开发,多端部署。对应用开发者而言,HarmonyOS采用了多种分布式技术,使应用开发与不同终端设备的形态差异无关,从而让开发者能够聚焦上层业务逻辑,更加便捷、高效地开发应用。3. 一套操作系统可以满足不同能力的设备需求,实现统一OS,弹性部署。对设备开发者而言,HarmonyOS采用了组件化的设计方案,可根据设备的资源能力和业务特征灵活裁剪,满足不同形态终端设备对操作系统的要求。HarmonyOS提供了支持多种开发语言的API,供开发者进行应用开发。支持的开发语言包括Java、XML(Extensible Markup Language)、C/C++ 、 JS(JavaScript)、CSS(Cascading Style Sheets)和HML(HarmonyOS Markup Language)。三. HarmonyOS(鸿蒙)精品资源总结1. 官网地址名称描述地址HarmonyOS官网地址官网链接地址HarmonyOS开发者官网地址开发资源官网链接地址OpenHarmony Gitee开源代码地址OpenHarmony是由开放原子开源基金会(OpenAtom Foundation)孵化及运营的开源项目,目标是面向全场景、全连接、全智能时代,搭建一个智能终端设备操作系统的框架和平台,促进万物互联产业的繁荣发展。链接地址HarmonyOS开发文档地址学习 HarmonyOS 系统能力、开发指导、API参考等,利用 HUAWEI DevEco Studio 开发工具,开发不同设备的应用,为用户带来全场景体验。链接地址示例代码这些代码也是链接到Gitee,但是做了详细的分类,比如Ability、UI、Common、AI、Data、Device、Media、Network、Security、Thread等等链接地址2.论坛地址名称描述地址华为开发者联盟论坛论坛的规模建设,需要大家一起努力去壮大链接地址CSDN HarmonyOS技术社区CSDN官方运营的HarmonyOS技术社区链接地址电子发烧友论坛电子发烧友论坛与HarmonyOS官方战略合作共建的技术社区链接地址51CTO51CTO与HarmonyOS官方战略合作共建的技术社区链接地址3. 视频地址名称描述地址HarmonyOS系统定位系统定位描述视频链接地址HarmonyOS系统架构系统架构简述视频链接地址华为开发者学堂华为开发者学堂涉及HMS、HarmonyOS、前沿技术、AGC研习社、考试认证、人才计划等模块,其中对HarmonyOS有丰富的教学视频链接地址什么是HarmonyOS介绍HarmonyOS定义及特点。链接地址HarmonyOS系统架构介绍HarmonyOS系统架构以及FA/PA原理。链接地址HarmonyOS应用开发系列课(基础篇)介绍HarmonyOS整体架构和理念,关键技术(分布式关键技术/安全和隐私/UX),应用程序框架,以及开放能力和工具平台。链接地址HarmonyOS应用开发系列课(进阶篇)介绍HarmonyOS应用程序框架,HarmonyOS分布式软总线、任务调度,分布式数据管理、安全和隐私设和UX体验设计等内容。链接地址HarmonyOS应用开发系列课(高级篇)HarmonyOS系列课程,快速上手HarmonyOS应用开发。链接地址HarmonyOS应用开发系列课(案例篇)HarmonyOS开发者实战经验和案例分享。链接地址HarmonyOS 鸿蒙,华为全场景发布会HarmonyOS 鸿蒙,华为全场景发布会链接地址华为鸿蒙系统取代不了安卓,两者根本不在一个赛道华为鸿蒙系统取代不了安卓,两者根本不在一个赛道链接地址4. API手册名称描述地址HarmonyOS Java API手册开发手册链接地址HarmonyOS Native(C语言) API手册开发手册链接地址HarmonyOS JS API手册开发手册链接地址5. 开发工具地址名称描述地址DevEco Studio开发工具链接地址6. 超强官方资料名称描述地址资料下载涉及HarmonyOS应用开发、HarmonyOS智能硬件开发、HMS Core5.0:Smart Device链接地址官方开发指南和资源索引官方开发指南和资源索引内容非常丰富,涉及新手指引、HMS Core、AppGallert Connect、Developer Tools和非常多的资源索引,华为开发者联盟依托华为终端设备、全球平台服务和产业链资源,为开发者提供应用开发、测试、推广、变现等全方位支持。链接地址来源:华为云社区博客版块文章链接:https://bbs.huaweicloud.com/blogs/304628文章作者:李子捌
-
论文名称:Revisiting Pre-trained Models for Chinese Natural Language Processing论文作者:崔一鸣,车万翔,刘挺,秦兵,王士进,胡国平 原创作者:崔一鸣 论文链接:https://www.aclweb.org/anthology/2020.findings-emnlp.58 转载须标注出处:哈工大SCIR1. 简介以BERT为代表的预训练语言模型在众多自然语言处理任务中取得了显著性能提升,并且随后涌现出一批效果更优的预训练语言模型。在本文中,我们将经典的预训练语言模型应用在中文场景并使用相同的实验设置去验证它们在中文领域的性能表现。同时,我们创新地提出了一种基于文本纠错的预训练语言模型MacBERT,应用纠错型掩码语言模型(MLM as correction,Mac)解决了预训练模型中“预训练-精调”不一致的问题。为了验证实验效果,我们选择了8个经典的中文自然语言处理任务,包括阅读理解、单句文本分类、句对文本分类等。大量实验结果表明所提出的MacBERT能够在大多数任务上取得显著性能提升。我们已将所有本文涉及到的中文预训练资源进行开源,希望能够进一步促进中文信息处理的研究与发展。2. 构建中文预训练系列模型首先,我们提出了一整套的中文预训练系列模型,以构建较为完整的基线系统并为后续工作提供相对标准的参照数据。我们主要训练了以下几种预训练语言模型:BERT-wwm:我们在谷歌原版中文BERT-base[1]的基础上,将全词掩码技术(Whole Word Masking,wwm)应用在中文环境,即在掩码语言模型(Masked Language Model,MLM)中使用词粒度进行掩码。我们使用了LTP[2]作为中文分词工具。需要注意的是,虽然掩码粒度为词,但模型的输入仍然以字为粒度(使用WordPiece分词)进行切分,即与原版BERT并无差别。XLNet:Yang等人提出基于Transfromer-XL构建了XLNet模型[3],解决了BERT的“预训练-精调”不一致的问题,提出了Permutation Language Model。与BERT不同的是,XLNet采用了sentencepiece进行分词,因此分词粒度更大。RoBERTa-wwm:RoBERTa模型[4]由Liu等人提出,进一步挖掘了BERT的潜力。我们训练的RoBERTa-wwm与BERT-wwm类似,但从中删除了Next Sentence Prediction(NSP)预训练任务,并使用了全词掩码技术。需要注意的是,与英文RoBERTa不同,这里我们同样使用了WordPiece分词。通过后续实验发现WordPiece相比sentencepiece在中文预训练模型中更有效。ELECTRA:Clark等人提出一套全新的生成器-判别器架构的预训练模型ELECTRA[5],其中生成器是一个小型的MLM,用于替换输入文本。而判别器则是判断输入文本是否经过替换。由于判别器只需进行二分类,相比传统MLM来说效率更高。在下游任务精调中,我们只使用判别器。3. MacBERT为了解决预训练模型中的“预训练-精调”不一致的问题,我们巧妙地修改了掩码语言模型,并提出基于文本纠错的掩码语言模型(MLM as correction,Mac)。该方法不需要对现有结构进行任何改动,只需针对掩码方式进行改变,因此极大程度地保留了BERT的原始特性,并可以无缝迁移到任何使用BERT的下游任务精调代码中。 具体地,针对掩码语言模型任务,我们进行了如下修改:我们使用全词掩码技术以及N-gram掩码技术来选择待掩码的token,其中unigram至4-gram的概率分别为40%、30%、20%、10%。为了解决[MASK]标记在下游任务中不会出现的问题,我们提出使用相似词来替换[MASK]标记。我们使用Synonyms库[6]来获取待掩码单词的相似词。在N-gram掩码时,我们针对N-gram中的每个词均进行相似词替换。在少数情况下,当相似词不存在时,我们将使用词表中的随机词进行替换。与原版BERT类似,我们对输入序列总长度15%的token进行掩码,其中80%的情况下会替换为相似词,10%的情况下会替换为随机词,剩余10%则不进行任何替换(负样本)。下表给出了几种不同的掩码方式的对比示例。表1 不同掩码方式的对比除此之外,由于ALBERT模型[7]在众多自然语言处理任务上获得显著性能提升,我们采用了其中的Sentence Order Prediction(SOP)预训练任务来替换BERT中的Next Sentence Prediction(NSP)任务。在SOP任务中,正样本由相邻的两个片段构成,而负样本则是将两个片段的顺序进行倒置。4. 实验4.1. 预训练模型设置接下来简要介绍预训练模型的训练设置,详细内容请参考论文的4.1节。预训练数据:我们采用了中文维基百科数据(同时保留简体和繁体中文)以及额外爬取的中文数据(包括百科、问答、新闻等),总词数达到了5.4B。在模型中我们以ext标记采用扩展数据的BERT或RoBERTa模型。基本参数:我们对所有模型(除XLNet)采用了统一预训练词表,与原版中文BERT-base相同,包含21128个token。序列最大长度设置为512。训练设备:根据模型规模大小,我们采用了单个TPU v3或者TPU v3-32进行训练。4.2. 下游精调数据集我们选用了以下8个中文自然语言处理数据集:阅读理解:CMRC 2018[8],DRCD[9],CJRC[10] 单句文本分类:ChnSentiCorp[11],THUCNews[12] 句对文本分类:XNLI[13],LCQMC[14],BQ Corpus[15]为了保证结果的稳定性,对于每一组实验结果,我们均运行10次,并汇报其平均值和最大值。相关实验超参设置请参考论文的表2。4.3. 实验结果本文涉及的预训练模型的部分实验结果如下表所示(详细结果请参考论文4.3节)。可以看到MacBERT在多数任务上取得了显著性能提升,尤其在机器阅读理解的各项任务中的提升更为明显。表2 CMRC 2018中文阅读理解结果4.4. 消融实验为了进一步了解性能提升的来源,我们对MacBERT-large进行了消融实验。可以看到,整个模型中最重要的部分是纠错型掩码语言模型(Mac)和N-gram掩码语言模型(NM),而相对来说模型使用NSP还是SOP预训练任务并没有对模型性能造成很大影响,因此后续工作应进一步将重点放在掩码语言模型及其变种模型的设计上。表4 MacBERT模型上的消融实验结果5. 讨论前面提到MLM任务是这类预训练语言模型最重要的组成部分。MLM类任务包括两个方面:1)如何选择需要掩码的token;2)待掩码的token替换成什么。在前面的章节中,我们已经展示了不同的选择掩码token的方法,例如全词掩码、N-gram掩码等。现在我们将探索第二个方面,即探索“待掩码的token替换成什么”。我们在CMRC 2018和DRCD数据集上进行了验证。在15%的整体掩码比例下,其中的10%将保持不变(负样例),而剩余的90%将采取如下4类方案进行对比。MacBERT:80%的词替换成相似词,10%替换为随机词;随机替换:90%的词替换为随机词;部分MASK:(BERT原始MLM)80%替换为[MASK],10%替换为随机词;全部MASK:90%的词替换为[MASK]。实验结果如下图所示。可以看到依赖于替换成[MASK]的实验设置(例如部分MASK和全部MASK)下效果相对较差,说明“预训练-精调”不一致的确会为下游任务带来一定的性能下降。而简单地将所有待掩码的词替换为随机词后,其性能显著优于依赖[MASK]的MLM方法。最后,我们使用相似词进行进一步优化后,其性能还会得到显著提升,说明MacBERT设计是有效的。6. 结论在本文中,我们回顾了经典预训练语言模型在中文场景下的性能表现,以验证这些模型在非英文语种上的通用性。同时我们提出了一种基于文本纠错的预训练语言模型MacBERT,解决了预训练模型中的“预训练-精调”不一致的问题。大量实验结果表明所提出的MacBERT能够在多数任务上带来显著性能提升。我们已将所有与本文相关的中文预训练语言模型开源,并希望能够进一步促进中文信息处理的研究与发展。基于我们在文章最后的分析讨论,未来我们将探索一种有效调整掩码比例的方法以取代手工设置的方案,从而进一步提升预训练语言模型的性能表现。7. 参考文献[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019. [2] Wanxiang Che, Zhenghua Li, and Ting Liu. LTP: A chinese language technology platform. In COLING 2010. [3] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. arXiv preprint arXiv:1906.08237. [4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692. [5] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pretraining text encoders as discriminators rather than generators. In ICLR. [6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942. [7] Hailiang Wang and Yingxi Hu. 2017. Synonyms. https://github.com/huyingxi/Synonyms [8] Yiming Cui, Ting Liu, Wanxiang Che, Li Xiao, Zhipeng Chen, Wentao Ma, Shijin Wang, and Guoping Hu. A Span-Extraction Dataset for Chinese Machine Reading Comprehension. In EMNLP 2019. [8] Chih Chieh Shao, Trois Liu, Yuting Lai, Yiying Tseng, and Sam Tsai. Drcd: a chinese machine reading comprehension dataset. arXiv preprint arXiv:1806.00920. [9] Xingyi Duan, Baoxin Wang, Ziyue Wang, Wentao Ma, Yiming Cui, Dayong Wu, Shijin Wang, Ting Liu, Tianxiang Huo, Zhen Hu. Cjrc: A reliable human-annotated benchmark dataset for chinese judicial reading comprehension. In CCL 2019. [10] Songbo Tan and Jin Zhang. 2008. An empirical study of sentiment analysis for chinese documents. Expert Systems with applications, 34(4):2622–2629. [11] Jingyang Li and Maosong Sun. Scalable term selection for text categorization. In EMNLP 2007. [12] Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. Xnli: Evaluating crosslingual sentence representations. In EMNLP 2018. [13] Xin Liu, Qingcai Chen, Chong Deng, Huajun Zeng, Jing Chen, Dongfang Li, and Buzhou Tang. Lcqmc: A large-scale chinese question matching corpus. In COLING 2018. [14] Jing Chen, Qingcai Chen, Xin Liu, Haijun Yang, Daohe Lu, and Buzhou Tang. The BQ corpus: A large-scale domain-specific Chinese corpus for sentence semantic equivalence identification. In EMNLP 2018.
-
镜像文件大小:1506161字节路径:https://repo.huaweicloud.com/repository/nuget/v3-flatcontainer/microsoft.netcore.app.runtime.linux-x64/5.0.4/microsoft.netcore.app.runtime.linux-x64.5.0.4.nupkg源文件大小:33080597字节路径:https://api.nuget.org/v3-flatcontainer/microsoft.netcore.app.runtime.linux-x64/5.0.4/microsoft.netcore.app.runtime.linux-x64.5.0.4.nupkg
-
centos官方源有的
-
### 课程名称及链接 [openEuler操作系统及社区介绍](https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXK044+Self-paced/about) ### 课程大纲 1. 第1章 什么是openEuler 2. 第2章 openEuler优势 3. 第3章 共建开源生态 4. 第4章 参与openEuler社区 ### 备注 1. 感谢老师的教学与课件 2. 欢迎各位同学一起来交流学习心得^_^ 3. 沙箱实验、认证、博客和直播,其中包含了许多优质的内容,推荐了解与学习。
-
docker-ce的static包好像没有20.10.x版本的https://repo.huaweicloud.com/docker-ce/linux/static/stable/x86_64/https://download.docker.com/linux/static/stable/x86_64/
-
Cloud Native Days China由CNCF携手华为云联合主办,聚焦云原生领域,专注技术探讨和趋势挖掘。自2018年启动以来已走过北京、上海、广州、成都、杭州、武汉等10多个城市,覆盖线下与线上的云原生爱好者5万+,共同享悦云原生技术。 12月19日(星期六),Volcano社区联合CNCF、云原生产业联盟将在北京举办一场关于【云原生AI大数据】Meetup , 本场Meetup聚焦AI、大数据等高性能计算场景在云原生领域的落地实践。 诚挚邀请您届时参会!活动邀请了来自华为云、腾讯、中科类脑和华宇的技术大咖与大家面对面,共话高性能批量计算技术的现状和未来、CNCF首个批量计算平台Volcano的技术架构与落地、云原生在互联网与司法领域的实践经验分享等。时间:12月19日(星期六)13:00-18:00 地点:中国信息通信研究院 地址:北京市海淀区花园北路52号中国信息通信研究院科研楼2层工业互联网展厅 报名方式:识别下方二维码即可马上报名 立刻报名,现场有丰富奖品等你来拿 活动礼品 社区贡献者专属礼品(凭Github ID领取)打开下方链接,即可为社区做贡献:Github地址:https://github.com/volcano-sh/volcano官网地址:https://volcano.sh/zh/ 转发活动,也有神秘礼品相送规则:将活动文章转发到朋友圈,截图发给小助手,转发的第6位、第18位、第36位、第66位、第100位可获得神秘礼品 注意:参与时间截止12月18日18:00前 备注:小助手二维码见文末 交通指南按分享位置到达信通院北门——主会场的位置在正南方向黄色大楼(科研楼)二楼大厅 备注:报名用户直接在一楼前台提供姓名,审核后即可进入,若遇特殊情况,可联系小助手(小助手微信见文末) Q1:怎么确认报名是否成功?报名成功后,系统会自动发送报名成功提示信息,入场凭信息签到即可。Q2:门票是免费的吗?门票是免费领取的哦!Q3: Meetup有交流群吗?如何加入?长按下方二维码,添加小助手微信回复“活动报名”即可入群,优先获取抽奖资格。识别二维码添加小助手Q4:有线上直播吗?活动当天,我们会在B站同步直播,扫描下方二维码,关注Volcano云原生社区账号,即可预约观看。扫一扫,关注B站直播账号
-
Composer 镜像包不全,更新不及时。
-
安全与可信的代码质量社区对ONAP的代码质量进行衡量时主要是通过七个维度:鲁棒性、安全性、可伸缩性、性能、韧性、可管理性、可用性。各维度度量指标定义如下。1.鲁棒性鲁棒性又称可靠性,是软件系统最重要的质量指标。根据ISO9000国际质量标准的规定:鲁棒性是指在规定时间内及条件下,软件能维持其性能水平的能力。一般用在一段时间内密集强化输入的测试方式来验证,即输入比正常输入更恶劣(合理程度内的恶劣)的数据,同时尽可能多地覆盖调用的子模块。这种测试方式在软件领域也叫浸泡测试(soak test),即尽量贴近实际使用情况,在一个稳定的、有一定负载的环境上,持续长期测试并实时监控CPU、内存、磁盘IO等指标变化,以发现内存泄漏、频繁GC等性能问题。ONAP对鲁棒性的要求如下:Level 0(0级):在版本发布要求中,无鲁棒性内容。Level 1(1级):版本已执行过72小时组件级浸泡测试(稳定负载下的随机事务测试,且对主要代码分支,代码覆盖率达到80%以上)。Level 2(2级):版本已执行过72小时平台级浸泡测试(稳定负载下随机事务测试,且对主要代码分支,代码覆盖率达到80%以上)。Level 3(3级):在6个月以上长期测试中,出现缺陷率持续降低的测试跟踪记录。2.安全性ONAP采用核心基础设施倡议联盟(Core Infrastructure Initiative,CII)的勋章项目要求作为安全性度量标准。CII Badge(徽章)项目则给出开源软件的安全最佳实践要求及徽章认证。以帮助开源软件提升安全能力。认证分三级:基础认证、银牌认证、金牌认证。对项目的安全认证要求如下(0~3共4个级别):Level 0(0级):无要求。Level 1(1级):项目通过CII基础徽章认证,无业界已知的严重级别或高级别漏洞(>60天的)。Level 2(2级):项目通过CII银级徽章认证且所有内外部通信都是支持加密,且支持基于角色的访问控制与鉴权。Level 3(3级):项目通过CII金级徽章认证。ONAP对整个版本的安全需求定义如下:Level 1(1级):70%项目通过1级认证,剩下项目满足80%条款要求,且需要符合社区安全委员会制定的特定加密标准。Level 2(2级):70%项目通过2级(CII银级徽章认证),剩下项目都已通过CII基础徽章认证,且满足80% CII银级徽章认证的条款要求。Level 3(3级):70%通过3级(CII金级徽章认证),剩下项目都已通过CII银级徽章认证,且满足80% CII金级徽章认证的条款要求。Level 4:所有项目100%通过3级(CII金级徽章认证)。3.可伸缩性可伸缩性(又称可扩展性)是一种衡量软件系统计算处理能力的设计指标,高可伸缩性代表在系统扩展成长过程中(常见的是容量或工作负载增长),软件仍能持续对外提供正常服务的能力,即不出现性能急剧劣化等无法服务的瓶颈限制。ONAP对可伸缩性各级别的定义与要求如下:Level 0(0级):无可伸缩性。Level 1(1级):支持独立于其他组件的单点水平扩缩容能力。Level 2(2级):支持跨地理位置扩缩容能力(在独立于其他组件的条件下)。Level 3(3级):支持跨多ONAP实例间的组件扩缩容能力(包括提供相应的可操作性)。4.性能软件性能是指软件及时响应以满足用户要求的程度。常见性能指标通常包括响应时间、并发数、吞吐量及性能计数器等。狭义地讲,性能是指软件在尽可能少地占用系统资源的前提下,尽可能高地提高运行速度;广义地讲,软件性能关注的不是软件是否能够完成特定功能,而是在完成该功能时展示出来的及时性。在ONAP中对性能的理解是基于狭义定义的,其分为如下3级:Level 0(0级):没有专门的性能测试。Level 1(1级):定义了性能标准基线且有对应测试结果(如针对各组件定义响应时间、事务/消息速率、延迟、占用空间等)。Level 2(2级):针对1级中定义的性能基线,在1个版本中定义改进计划(基于等效功能&等效硬件)。Level 3(3级):对2个或以上连续版本实施性能改进计划。5.韧性韧性又称弹性,描述ONAP软件自身在故障场景下,继续对外服务的能力。ONAP对韧性的各级别定义与要求如下:Level 0(0级):无冗余能力。Level 1(1级):支持在单站点内手动故障检测、重路由或故障恢复;30分钟内完成测试。Level 2(2级):在单个地理站点内支持自动故障检测和重路由,包括定义相关基线(存在无状态组件与有状态组件,可分别定义基线)。Level 3(3级):跨地理站点支持自动故障检测和重路由,包括定义相关基线。6.可管理性可管理性又称易管理性,是指系统在运行过程中衡量便于管理的程度。良好的可管理性可以有效减少系统的管理和维护成本。ONAP对可管理性的定义主要关注在对ONAP进行维护运作时是否能达到方便影响范围控制等要求。Level 1(1级):所有ONAP组件统一使用单一的日志记录,实例化一个简单ONAP系统时,在满足最小资源要求的情况下,时间应小于1小时。Level 2(2级):组件可以独立升级,而不会影响操作交互组件,支持跨组件的分布式事务跟踪,各组件支持以通用方式实现对组件的统一配置。7.可用性易用性是指操作人员在学习或使用系统时的容易程度。易用性的设计重点在于让系统或产品符合使用者的习惯与需求。ONAP对易用性的要求集中在文档与用户界面设计的一致性与便利性上。Level 1:提供了用户指南、部署文档、API文档及代码遵从编码指南。Level 2:整个ONAP中的各个项目都提供一致的用户界面,且进行了可用性测试,提供辅助文档。各版本S3P(Security, Stability,Scalability, Performance)指标目标与满足情况如下:从ONAP R2(Beijing版本)开始,启动这套质量评估机制,各项目基本处于从0到1的过程。R3版本则要求多数指标都需达到2级要求(可伸缩性要求达到1级,部分设计态项目对韧性要求可降低)。R4(都柏林版本)重点在如下领域进行增强:ONAP自身容器镜像优化,包括大幅减少体积、增加对代码的文档说明、集成CNCF的ServiceMesh组件、支持升级、跨地理位置的灾备、统一日志记录等。
-
想做网站却不知道做一个什么样的网站?选择华为云云市场,云速建站 美橙定制,专业网站设计师为您量身定制,全程一对一服务,满意为止。关于美橙互联:14年品牌,7家分公司,300位服务精英,提供高端网站建设与制作。特点:定位+策划+设计+营销,高端大气,功能强,高效销售转化,灵活改版升级扩展,满足个性需求。可单独定制(PC网站、手机站、微信站、小程序、APP),或五站合一,匠心打造!PC站、微信站、商城店铺样样行,小程序、APP一键生成即刻拥有!云速建站 美橙定制的核心价值:核心价值一:帮您找到更多客户1.搜索引擎优化 SEO系统提供的有seo搜索引擎优化功能,通过对网站内部进行优化满足搜索引擎排名的需要,提高搜索结果的排名名次(比如百度搜索结果的排名)、把精准用户带到网站平台、实现在线购买或品牌宣传。2.百度分享访问者可以把网站页面分享至微博、QQ、微信等主流平台、带来更多免费流量,同时能提升网页被百度抓取机率和速度、提高百度排名。3.企业开展微信营销活动的重要性提供多种微信营销工具,帮助企业快速拓展粉丝,增加新客户,比如象:企业微信红包、微助力、微众筹、一元夺宝、朋友代付等。 核心价值二:赢得客户的充分信任1. 精美模板模板包含了pc和手机,是由专业设计师精心设计制作,高端、大气,覆盖了各个行业,能有效的打造企业完美形象,增强客户好感,为企业带来更多咨询客户。2. 产品展示可以运用多媒体方式,图片、声音、动画、视频等全方位展示企业产品和业务,让客户了解的更透彻,增加购买欲望。3.多语言平台系统支持无限语种,不但可以多语种展示,还可以多币种网上交易,让您的网站有能力拓展海外用户。核心价值三:在线咨询支持多种即时沟通工具,提供了客户留言板,以保障二十四小时不错过任何一个意向咨询客户。核心价值四:在线交易1. 强大的商品管理能够对商品添加、分类、编辑、删除、定义商品价格、库存等。2. 友好的购买体验3.多样化的支付方式4. 多币种结算5. 其它交易功能6. 营销活动工具核心价值五:客户维系1. 客户维系的必要性提供多项会员营销功能,能够增进企业与客户之间感情的桥梁,能够把两者紧紧绑定在一起。2. 会员管理功能企业能够根据会员资料和消费数据区分出潜力、普通、和优质会员,制定有针对性的营销方案、提升公司营收;还可以对会员进行级别设定,给予老客户优惠,这样可以增加老客户粘性,保证他能持续消费。3. 积分和优惠券4. 站内通知5. 微信贺卡6. 多种小游戏7. 摇一摇、微现场8. 调研、投票9. 统计报表核心价值六:网络分销提供网络分销功能,快速让企业拥有无限分店,没有任何风险。无限下级、三级返佣的体制能有效提升分销商积极性,有利于下级分销商快速拓展;分销平台还可以一键分享微博、微信 、QQ社交平台,快速传播带来访问流量,带来很好的经济效益。核心价值七:四站合一系统是属于四站合一的系统,即pc、手机、微信、app。覆盖所有客户智能终端平台,宣传价值最大化。同时也是跨平台的,所有平台数据全部同步,节省企业维护时间,高效、快捷! 文中提到的商品:云速建站 美橙定制(云市场严选商城在售)【华为云云市场,助您上云无忧】
-
【功能模块】华为云CentOS镜像源站,是我哪里设置不对?【操作步骤&问题现象】1、启动最新版本centos的容器docker run -d centos sleep 1000000000002、设置镜像源:curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.huaweicloud.com/repository/conf/CentOS-8-anon.reposed -i "s/#baseurl/baseurl/g" /etc/yum.repos.d/CentOS-AppStream.reposed -i "s/mirrorlist=http/#mirrorlist=http/g" /etc/yum.repos.d/CentOS-AppStream.reposed -i "s@http://mirror.centos.org@https://mirrors.huaweicloud.com@g" /etc/yum.repos.d/CentOS-AppStream.repoyum clean allyum makecache3、安装包:yum install -y openssh-server openssh-clients nfs-utils epel-release \ perl-XML-Simple sudo rpm-build openssl-devel \ ncurses-devel pam-devel libXmu-devel java-devel \ javacc ant-junit ant-nodeps swing-layout /usr/include/db.h \ /usr/include/Xm/Xm.h gcc /bin/csh tar4、报错:No match for argument: jemalloc-develAll matches were filtered out by modular filtering for argument: javaccAll matches were filtered out by modular filtering for argument: ant-junitNo match for argument: ant-nodepsNo match for argument: swing-layoutError: Unable to find a match: jemalloc-devel javacc ant-junit ant-nodeps swing-layout【截图信息】【日志信息】(可选,上传日志内容或者附件)
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签