• [公告] 【华为云 ModelArts-Lab AI实战营】第八期:自然语言处理(II)文本分类
    本期实战为自然语言处理第二期,我们将会接触到文本分类任务,学习ModelArts的文本分类数据标注功能,在Jupyter Notebook中使用BERT模型完成中文文本情感分析并进行在线预测。【本期实战内容】第八期案例:文本分类案例【加入实战微信群】欢迎您自由加入本期实战营的微信群,与 ModelArts 社区开发者一起交流请添加 “华为云 EI 微信小助手” 后,拉您入群(微信号:huaweisecretary)3、已经有很多开发者完成本期实践并提交案例截图啦~搬好小板凳一起来观摩!欢迎大家在本帖中发表对本期实践的感想,意见及建议哦~
  • [公告] 玩转华为云AI服务:做你企业产品内容的Superman!
    导言:当前互联网UGC内容处在浪潮的风口上,各大知名互联网企业都在UGC领域发力。要想站在风口上飞起来,企业最大的风险就是面对UGC内容增长的审核困难问题,特别是热点问题导致内容爆炸,仅依靠人力审核显然是不可能完成的任务。华为云文本内容检测API,针对用户UGC场景,采用NLP自然语言处理算法,有效识别**、涉政违规、辱骂等文本垃圾,帮助企业降低业务违规风险。内容垃圾为企业运营带来风险 一方面在内容上触碰法律法规红线,比如淫秽**、涉政违规、暴恐信息等等,给企业带来关闭的风险;另一方面很多UGC产品存在很多广告推送、人身攻击、谩骂,给用户体验造成不好的影响。那么,如何规避风险,提升体验呢?有人的地方,就有江湖。有UGC,就需要审核 由于政府的监管压力,过去大多数企业都是自己做审核,耗时耗财耗力。如今,华为云文本内容检测API采用人工智能,调用几个接口,将文本内容传送给华为云就可以实时返回结果,有效识别涉黄、涉政文本内容,并且为企业提供定制化的文本敏感内容检测方案,为企业提供可靠的内容安全保障同时,减少企业的人工审核,降低人工运营成本。核心竞争力:人工智能算法+海量特征库 毛主席说:实践出真知。华为十多年前就开始进行人工智能技术的基础研发,并广泛应用在自身业务和企业实践中。华为云自研的文本内容检测算法,除了通过关键词匹配进行内容审核,还通过规则引擎,自然语言处理等多方面的技术,来保证识别的准确率。汉语博大精深,很多场景比较复杂,采用自然语言处理可以提高准确率。速度方面,文本内容检测本身速度很快,毫秒级返回结果,依托于华为云的计算资源,可以支持单日亿级别的调用。同时,作为SaaS级产品,服务使用门槛低。除了通用的文本内容检测服务,华为云还可以提供定制化服务,按照企业要求提供针对性的文本敏感词内容审核方案。 哪些企业需要文本内容检测呢?只要企业存在UGC场景,都可能产生涉黄、涉政等垃圾文本内容。例如直播视频弹幕,论坛发帖,产品评论留言,头像昵称签名,游戏频道聊天等。华为云文本内容检测已经上线,免费公测中,感兴趣的同学快来开通服务吧!https://www.huaweicloud.com/product/moderation.html
  • [公告] 【华为云 ModelArts-Lab AI实战营】第七期:自然语言处理(I)命名实体识别
    本期实战为自然语言处理第一期,我们将会接触到命名实体识别任务,学习ModelArts的命名实体数据标注功能,在Jupyter Notebook中使用BERT模型完成命名实体识别并进行在线预测。1、【本期实战内容】第七期案例:命名实体识别案例2、【加入实战微信群】欢迎您自由加入本期实战营的微信群,与 ModelArts 社区开发者一起交流请添加 “华为云 EI 微信小助手” 后,拉您入群(微信号:huaweisecretary)3、本期开发者实践案例截图欢迎大家在本帖中发表对本期实践的感想,意见及建议哦~
  • [用户故事] JCJC错别字检测-华为的选择
    JCJC错别字检测-华为的选择昨天去华为某研发中心做技术支持,看到JCJC错别字检测引擎集成在华为内部的工作流平台中的界面,心里还是挺激动的.创业三年以来,字根科技拒绝诱惑,聚精会神投入资源在一个点上:错别字检测的攻关研发.1000多个日日夜夜的努力中,伴随着枯燥和烦闷;1000多个与合作伙伴交流的日子中,伴随着喜悦和成长;公司创业开始,我们把公司名称选择为"字根",就是表明我们要把精力投入到"自然语言处理" NLP 中,以处理文字为根本,踏踏实实走好每一步.1000多天过去了,1000多个奋斗的过程凝聚成了"JCJC错别字检测"这款核心产品.这是一款"能打"的产品,资源消耗低,处理能力强,行业适用领域广泛.华为,浪潮,招商证券,荣之联,长沙晚报等知名企业的选择是对这款产品的认可,也是对我们鼓足勇气再战下一个1000天的支持.感谢每一个客户,感谢每一个 http://CuoBieZi.net 的用户,感谢过去1000个日日夜夜奋斗在一起的同事们.为梦想,一起加油!田春峰
  • 自然语言处理迎来风口,华为云对话机器人为企业降本增效
    随着智能助理、对话机器人、智能音箱等产品的兴起,自然语言处理(NLP)的风口正在到来。最近一段时间,NLP领域出现了各种突破,预训练模型发布后不断刷榜,迁移学习和多模态等被越来越多的普遍使用,企业市场也涌现丰富的应用场景。语言理解是人工智能皇冠上的明珠,NLP和对话机器人有哪些典型落地场景和未来趋势呢? 语音语义技术发展历程人类使用自然语言沟通的逻辑是:听到——>理解——>生成回答--->表达,而从计算机的角度,要想实现同样的沟通,需要4项技术与之对应:语音识别ASR、语言理解NLU、语言生成NLG和语音合成TTS。语音识别和语音合成技术发展相对比较成熟,业界已经有较多应用场景,而语言理解和语言生成技术的发展相对滞后。当然,最近几年我们也看到了学术界和工业界里语言理解和语言生成技术的快速发展。在消费者领域,手机上的虚拟个人助手以及智能音箱的使用场景越来越多,用户体验也比3年前更好。在企业领域,智能客服和NLP文本处理的应用帮助很多企业提升了运营效率和客户体验。越来越多的商业应用场景必将带动NLP语言理解和语言生成技术取得更多突破。智能语言语义的应用场景华为云EI语音语义团队提供三大类的线上服务,一是自然语言处理服务,包括NLP基础能力如分词,文本相似度等,也包括情感分析、文本分类、关键词提取、文本摘要、语言生成、知识图谱、机器翻译等高阶能力;二是语音交互服务,包括语音识别,语音合成、实时流语音识别、语音扩展能力等;三是更智能的人机交互能力,包括智能问答机器人 、智能话务机器人等。智能话务机器人谷歌在其2018年I/O大会上演示了Duplex技术,让机器人使用几乎和真人无异的声音打电话到餐馆订位,和电话另一端的人类进行多轮互动。这个很吓人的技术在会后被广为传播。有人曾经想象,当这一技术成熟落地的时候,我们在见面聊天之后,可能会和对方说:“今天我们说的那个想法很棒,让我的机器人和你的机器人晚一点打个电话讨论具体的细节吧”。这样科幻的想法,消费者可能还需要再多等一段时间。但是,对于企业来说,华为云2018年上线的智能话务机器人,已经在多个企业场景中,实现了机器人自动打电话和人类进行多轮互动。典型的使用场景包括,自动外呼核实用户身份信息,回访客户满意度,了解候选人求职意向、查询订单状态物流信息、营销筛选意向客户以及各种类型的预约或预订服务等。华为云对话机器人服务使用自研的智能话务机器人引擎,可以根据客户的外呼使用场景和话术要求来定制人机通话的流程。智能电话机器人每天可以拨打至少800通电话,对不断重复的工作也不会有情绪,其工作效率显著高于人类;而且,当企业业务增长时无需花时间培训新员工,只需一键增加机器人个数,机器人客服团队即可处理更多客户需求。智能问答机器人对话式智能在企业中的应用,还包括智能问答机器人,可以用来构建智能客服解决方案,满足企业在客服领域的需求。在售前咨询和售后服务的场景中,智能问答机器人可以快速实现机器人自动应答用户问询。当用户通过不同的渠道,如PC端网页,App聊天窗口,微信公众号和小程序等,发起问询时,问答机器人使用语义匹配、排序模型等智能算法找到最匹配的答案,自动答复客户的问题。当问题超出机器人知识范畴而无法回答的时候,可以将用户无缝转接到人工客服处理。智能问答机器人可以帮助企业提升运营效率,但也不会丢失宝贵的销售线索或客户反馈。华为云智能问答机器人能持续自主优化,自动归类相似的客户问题,发掘热点问题和趋势,帮助企业实现对客户反馈的全量全角度分析。自然语言处理自然语言处理能力也可以服务于智能客服,实现对客户反馈的多维度分析。对于很多企业来说,互联网上存在大量和其产品相关的UGC用户评论。但由于这些评论比较分散且人力成本高,企业无法做及时和有效的分析。举例而言,手机生产商出了新品,需要第一时间响应客户的吐槽,并且需要知道用户的反馈和手机的哪个属性相关,才能迅速调整和优化产品;而连锁酒店企业需要搜集和聚集多个渠道的用户评论,并对大量的用户评论在多个维度上自动分类,以确保服务品质和品牌口碑。华为云自然语言处理服务可以对大量用户评论进行自动分析,提供舆情分析、属性级别的情感分析,以及评论分类标签等能力,辅助企业第一时间对用户反馈做出响应,并实现细粒度的商业分析和决策。语音语义未来发展趋势自然语言处理领域将迎来黄金10年。华为云致力于把学术界最前沿的技术应用到商业场景里面,解决客户的具体问题。在此,我们大胆设想:语音交互(Voice UI)会成为人机交互的下一个趋势,聊天机器人和电话机器人将无处不在。在各个不同的垂直领域都会有聊天机器人辅助或帮助人类做一些工作,无论是售前咨询、下单或售后服务,都有机器人去引导你,辅助走完整个流程。未来五到十年,机器人会具备分析大量文本的能力。从阅读、分析、理解到生成摘要总结,都可以由机器人完成。个性化的定制成为流行。不管是服务消费者的虚拟助手,还是服务企业的机器人,都会具备自己独有的能力和个性,以满足不同场景的应用需求,或体现企业的业务竞争力。习惯与机器人互动,将会是未来几年我们每个消费者要做的事。而对于企业来说,利用AI技术为企业降本增效,在这个寒冬里显得尤其重要。积蓄能量等待爆发,现在就开始吧。  
  • [教程] 华为云 AI 精选课程
    本文首先带你了解 AI 开发领域的基本概念和开发流程,让你对AI开发有一个全局理解,再通过接下来精心设计的课程,让你掌握 AI 开发的基本技能,最后从理论到实践,基于华为云 ModelArts 动手实践 AI 开发,大家可以自身情况选择不同的难度进行实践。 目录AI 开发基础入门AI开发基本流程介绍AI开发基本概念入门篇:人工智能开启新时代Python语言基础Python语言进阶华为企业智能:EI初体验人工智能概述及ModelArts详解初级 AI 开发实践使用ModelArts自动学习快速构建花卉识别应用猫狗图像识别实践图像分类综合应用中级 AI 开发实践物体检测Yolo V3实践物体检测Faster R-CNN实践图像分割Mask R-CNN实践自然语言处理 —— 命名实体识别自然语言处理 —— 文本分类自然语言处理 —— 文本相似度分析自然语言处理 —— 问答系统人脸区域及关键点检测人脸年龄预测人脸表情识别人脸识别——通过FaceNet进行人脸相似性计算文字区域识别字符序列检测高级 AI 开发实践图像分类模型参数&网络调优 
  • 华为云NLP算法专家:全面解读文本情感分析任务
    基本概念为什么:随着移动互联网的普及,网民已经习惯于在网络上表达意见和建议,比如电商网站上对商品的评价、社交媒体中对品牌、产品、政策的评价等等。这些评价中都蕴含着巨大的商业价值。比如某品牌公司可以分析社交媒体上广大民众对该品牌的评价,如果负面评价忽然增多,就可以快速采取相应的行动。而这种正负面评价的分析就是情感分析的主要应用场景。是什么:文本情感分析旨在分析出文本中针对某个对象的评价的正负面,比如「华为手机非常好」就是一个正面评价。情感分析主要有五个要素,(entity/实体,aspect/属性,opinion/观点,holder/观点持有者,time/时间),其中实体和属性合并称为评价对象 (target)。情感分析的目标就是从非结构化的文本评论中抽取出这五个要素。 图 1 情感分析五要素举例如下图: 图 2 情感分析五要素例子上例中左侧为非结构化的评论文本,右侧为情感分析模型分析出的五个要素中的四个(不包括时间)。其中实体「华为手机」和属性「拍照」合并起来可以作为评价对象。评价对象又可细分为评价对象词抽取和评价对象类别识别。如实体可以是实体词和实体类别,实体词可以是「餐馆」、「饭店」、「路边摊」,而实体类别是「饭店」;属性可以是属性词和属性类别,如属性词可以是「水煮牛肉」、「三文鱼」等,都对应了属性类别「食物」。实体类别和属性类别相当于是对实体词和属性词的一层抽象和归类,是一对多的关系。词和类别分别对应了不同的任务。观点的取值范围一般是 {正面,负面,中性}。类似的,可以把观点看做是对描述词的抽象和归类,如「好看」归为「正面」。任务类型当前研究中一般都不考虑情感分析五要素中的观点持有者和时间,故后文中的讨论都不考虑这两个因素。根据对剩下三个要素的简化,当前情感分析的主要任务包括可按照图 3 所示:词级别情感分析、句子/文档级情感分析、目标级情感分析。 图 3 情感分析任务体系其中词级别和句子级别的分析对象分别是一个词和整个句子的情感正负向,不区分句子中具体的目标,如实体或属性,相当于忽略了五要素中的实体和属性这两个要素。词级别情感分析,即情感词典构建,研究的是如何给词赋予情感信息,如「生日」对应的情感标签是「正面」。句子级/篇章级情感分析研究的是如何给整个句子或篇章打情感标签,如「今天天气非常好」对应的情感标签是「正面」。而目标级情感分析是考虑了具体的目标,该目标可以是实体、某个实体的属性或实体加属性的组合。具体可分为三种:Target-grounded aspect based sentiment analysis (TG-ABSA), Target no aspect based sentiment analysis (TN-ABSA), Target aspect based sentiment analysis (T-ABSA). 其中 TG-ABSA 的分析对象是给定某一个实体的情况下该实体给定属性集合下的各个属性的情感分析,如图 4 中的实体是汽车,属性集合是动力、外观、空间和油耗。 图 4 TG-ABSA 例子TN-ABSA 的分析对象是文本中出现的实体的情感正负向,如图 5 中,实体华为和 XX 的情感正负向分别为正面和负面。这种情况下没有属性的概念,只有实体。 图 5 TN-ABSA 例子T-ABSA 的分析对象是文本中出现的实体和属性组合,如图 6 所示,评价对象是实体+属性的组合,如华为+拍照和 XX+性价比。 图 6 TG-ABSA 例子在清楚了目标级情感分析的分类之后,每个类别又都可以包含为两大类任务:第一个是评价对象的识别,第二个是情感识别。评价对象识别包括评价对象词抽取和评价对象词分类,情感识别包括评价词抽取和评价正负面分类。具体例子如图 7 所示。之所以要识别出对象词和评价词,是为了能够基于属性正负面过滤的时候可以高亮相应的评价文本片段。图 7 评价对象和评价词和类别识别例子本文主要介绍词级别情感分析、句子级情感分析和目标级情感分析中的 T-ABSA 的内容、方法和华为云语音语义团队在该领域实践中的一些成果。这里首先区分一些概念,本文所说的情感,包括 emotion 和 sentiment 两种。严格意义上来说 sentiment 属于 emotion 的一种,但是本文中不做区分。词级文本情感分析任务介绍词级别的情感分析,即构建情感词典(sentiment lexicon),旨在给词赋予情感信息。这里首先要确定的是情感怎么表示,常见的表示方法有离散表示法和多维度表示法。离散表示法如情感分析领域常用的 {正面,负面,中性} 的表示方法,或者如表 图 8 离散情感模型,引用自 「1」用离散表示法表示的情感词典如:高兴-正面,生日-正面,车祸-负面,灾难-负面多维度表示法也有多种,如 Valence-Arousal-Dominance(VAD)模型,Evaluation-Potency-Activity(EPA)模型等。Valence 和 Evaluation 表示好坏,arousal 和 activity 表示人的唤起度,dominance 和 potency 表示控制力。 图 9 Valence-Arousal 模型用连续多维表示方法的情感词典例子如:VAD 模型在 [1,9] 取值范围下:车祸可表示为 (2.05, 6.26, 3.76)常见的方法构建情感词典常见的方法如图 10 所示: 图 10 常见情感词典构建方法人工标注优点是准确,缺点是成本太高。自动化方法中,都是先有人工标注一些种子词,然后通过不同的方法把种子词的标签信息扩展到其他词。基于点互信息的方法会基于大规模语料库统计新词和种子词之间的统计信息,然后基于该信息对种子词做加权求和得到信息的情感标签。基于标签传播的方法会先构建词和种子词的一个图,图上的边是基于词和词之间的统计信息获得。然后用标签传播的算法获得新词的情感信息。基于回归的方法先构建词的特征向量表示,然后基于种子词的标签信息训练一个回归或分类模型,得到该模型后再对新词做预测,获得新词的情感标签信息。我们的进展我们团队基于已经标注的情感词典,通过自动化的方法,构建了当前业界最大规模的多维度情感词典。 图 11 情感词典构建流程基于该方法,我们构建了业界最大规模的情感词典库,采用了 Valence-Arousal 的二维情感表示模型,情感值取值范围为 [-1,.1](-1 表示不好(对应 Valence 维度)或无唤醒(对应 Arousal 维度),1 表示好或高唤醒度), 词典包含六百万词,例子如下:图 12 构建的情感词典例子句子文本情感分析任务介绍句子级和篇章级文本情感分析旨在整个句子或文章表达的情感倾向性,如下例子:买没几天就降价一点都不开心,闪存跑分就五百多点点 --- 外观漂亮音质不错,现在电子产品基本上都是华为的了 --- 汽车不错,省油,性价比高 --- 这个政策好啊,利国利民 --- 当前各友商推出的情感分析服务大部分都是这种整体文本的正负向预测。句子级情感分析服务在互联网时代的电商评论、政策评价中有着广泛的应用价值。句子级情感分析是一个典型的文本分类任务,我们团队也采用了当前比较有效的预训练模型+微调的方案,如下图所示: 图 13 句子级情感分析方案我们的进展当前我们已经上线了电商、汽车和社交领域的情感分析模型,主要支持中文语言,标签是正面和负面,带有标签置信度。如下图的例子所示,分别是手机、汽车和社交领域。 图 14 EI 体验空间电商领域、汽车领域和社交领域例子目标级文本情感分析任务介绍前面介绍的句子级或篇章级的情感分析只关注整个文本的正负面,没有区分文本中具体的评价对象。所以就处理不了如下的例子: 该例子对汽车的各个属性的评价正负面是不一样的,如对动力和外观来说是正面,对空间和油耗来说是负面,所以就不能简单的分析整体文本的正负面。本节介绍的目标情感分析中的 TG-ABSA 任务,即固定实体下的给定属性集合的评价正负面的预测。我们的进展传统的属性级情感分析可以采用每个属性训练一个情感分类模型。但是这种方法需要训练多个分类模型,成本比较高。我们提出了基于单模型多属性标签输出的方法,即一个模型同时输出 N 个属性的情感标签。图 15 是当前在汽车领域结果,其中 Attribute Hit Rate 是属性的命中率,即预测出的属性占评论中实际出现的比率。Hit Attribute Accuracy 是命中的属性标签预测的准确率,即在所有命中的属性中,标签预测正确属性的占比。因为我们的模型可以输出每个属性标签的置信度,所以可以基于置信度过滤来调节模型最终的输出标签,图中是个曲线。图 16 是汽车领域属性级情感分析的例子,可以同时预测出评论中出现的动力和外观两个属性对应的正负面。该功能支持汽车领域的八个属性的评价预测,包括:内饰、动力、外观、性价比、操控、能耗、空间、舒适性。 图 15 属性级情感分析的效果 图 16 汽车领域属性情感分析例子最后,打个小广告。本文前面主要介绍了情感分析的概念以及华为云在情感分析方面的实践和进展,部分服务已经可以在我们的「EI 体验空间」小程序体验,欢迎大家体验并提出宝贵的意见。情感分析服务可以用于商品评价智能化分析、智能评分等,欢迎大家体验。 关于作者 李明磊,华为云 NLP 算法专家,博士毕业于香港理工大学,从事文本情感分析和情绪识别的研究,在 TAC 发表论文多篇,多次获得最佳论文奖。目前在华为云主要负责华为云文本分类、情感分析、舆情监控平台等业务。主导的文本分类平台在汽车、电商、社交等领域的情感分析达到了业界领先的水平。汽车领域属性级细粒度情感分析 8 属性准确率均达到 90% 以上
  • 是否有现成的NLP神经网络?
    ModelArts是否可以提供一个具备一般常识的机器人,供开发者在此基础上将其训练成自己的专属机器人?
  • [Atlas300] 有自然语言处理相关的例子吗?
    目前只看了CV相关的例子,https://github.com/huaweiatlas/samples https://gitee.com/HuaweiAscend/models软件开发指导书中的例子也都是CV相关的。所以,请问有自然语言处理的相关的例子吗?
  • [技术干货] 什么是自然语言
    什么是自然语言?以语音为物质外壳,由词汇和语法两部分组成的符号系统。文字和声音是语言的两种属性。语言是人类交际的工具,是人类思维的载体;人类历史上以语言文字形式记载和流传的知识占人类知识总量的80%以上。是约定俗成的,有别于人工语言,比如Java、C++等程序设计语言。什么是自然语言处理(Natural Language Processing, NLP)?自然语言处理就是,利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息,进行各种类型处理和加工的技术。---冯志伟自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术。---Bill Manaris
  • [技术干货] 自然语言处理的基本方法
    自然语言处理的基本方法(1)能力模型通常是基于语言学规则的模型,建立在人脑中先天存在语法通则这一假设的基础上,认为语言是人脑的语言能力推导出来的,建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型,代表人物有Chomsky、Minsky。建模步骤:语言学知识形式化形式化规则算法化算法实现自然语言处理的基本方法(2)应用模型根据不同的语言处理应用而建立的特定语言模型,通常是通过建立特定的数学模型来学习复杂的、广泛的语言结构,然后利用统计学、模式识别和机器学习等方法来训练模型的参数,以扩大语言使用的规模。又称“经验主义的”语言模型,代表人物有Shannon、Skinner。建模步骤大规模真实语料库中获得不同层级语言单位上的统计信息。依据较低级语言单位上的统计信息运用相关的统计推理技术,来计算较高级语言单位上的统计信息。自然语言处理的基本方法(3)在NLP的发展过程中,其方法大致分为以下几类:基于规则的方法基于统计的方法基于深度学习的方法
  • [技术干货] 回顾2019年对话策略学习在NLP顶会上的一些进展
    回顾2019年对话策略学习在NLP顶会上的一些进展对话系统在最近几年发展非常迅速,特别在NLP顶会上的论文数量在逐步增多。通常,对话系统包含语言理解、对话状态跟踪、对话策略学习、语言生成等四个模块。之前很多的文章在对话系统中的语言理解和生成的工作有较多的分享,本文主要关注点在对话策略学习,因而梳理了2019年对话策略学习在NLP顶会上的工作。我们从ACL/EMNLP/NAACL/CoNLL等2019年会议上的论文中筛选出对话策略学习相关的工作并进行介绍,总共有5篇论文。Budgeted Policy Learning for Task-Oriented Dialogue Systems团队:微软Jianfeng Gao团队和中科大、华盛顿大学论文地址:https://www.aclweb.org/anthology/P19-1364.pdf发表:ACL2019 解决的问题:能够利用固定、更少量的用户交互来学习对话策略。主要是在之前Deep Dyna-Q基础上扩展了Budget-Conscious Scheduling (BCS)。BCS主要包括:(1)基于Poisson的全局调度程序Scheduler,用于在不同阶段的训练进行分配;(2)一个用户目标抽样模块User Goal Sampling Module,用来选择之前失败的或者没有探索过的用户目标,以生成对策略学习最有效的经验样本。(3)一个控制器,决定(基于预分配的预算、在取样的用户目标上智能体的效果)在每个训练步骤中是收集人与人之间的交互数据、进行与人的互动以获得高质量的真实体验数据、还是通过与世界模型交互生成仿真的体验数据。在对话策略学习过程中,真实的体验数据用来训练世界模型,同时又能直接通过强化学习提升对话策略;仿真的体验数据通过间接强化学习(规划)来增强对话策略。最终,在电影票预定任务的实验结果表明本文提出的方法相交于最好的方法大大提高了成功率。本文所提的“budget”是通过真实用户交互的次数来衡量。那么,BCS-DDQ的对话系统主要由以下6个模块组成:(1)     基于LSTM的NLU模块:识别用户的意图和提取相关的槽位。(2)     对话状态跟踪器:跟踪对话状态,比如意图、每个槽位的值等。(3)     对话策略学习模块:根据对话状态和数据库的结果选择下一步的行为。(4)     自然语言生成:根据对话行为生成自然语言描述。(5)     世界模型:用来生成仿真的用户行为和仿真的奖励(reward)。(6)     BCS模块:全局的调度程序、用户目标采样模块、控制器。 总结:本文提出了一个任务型对话策略学习新框架BCS-DDQ,通过成功率的阈值来决定使用仿真数据还是使用真实数据,结合主动采样策略来充分利用“budget”生成强化学习所需要的经验数据。最终的结果也表明,该方法在固定的更少量预算的数据下有更好的表现,比如在仿真和真实与人交互的实验中。Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog团队:清华大学黄民列老师团队 论文地址:https://www.aclweb.org/anthology/D19-1010.pdf源码:https://github.com/truthless11/GDPL发表:EMNLP2019 解决的问题:主要侧重在对话策略学习,之前的工作通常是基于强化学习去训练一个对话策略,这样需要精心设计奖励函数和预先定义好的用户目标。随着多领域对话任务越来越复杂,手动设计奖励函数不可行,作者因此提出基于对抗逆强化学习的GDPL去联合奖励估算和策略优化。具体做法是在对话会话中去估计奖励信号和推断用户的目标,奖励评估器评估<状态-动作>对,以便于在每轮对话中指导对话策略。奖励评估器是基于逆强化学习,与常规逆强化学习不同的是本文除了学习奖励函数,还需要训练策略。所以,本文集成了对抗学习以便能够同时学习策略和奖励评估器。整个框架流程如下图,包含三个模块:多领域对话状态跟踪,对话策略,奖励评估器。对话策略π根据状态跟踪器提供的对话状态s决定对话动作a,而奖励估算器f通过将生成的状态动作对(s,a)与人工对话进行比较来评估对话策略。本文reward estimator包含session级别和state-action级别的奖励评估器,引入state-action评估器主要因为session级别的奖励比较稀疏以及会有很高的方差。实验结果:本文实验采用的数据是MultiWOZ,一个多领域多意图的任务型对话数据。仿真器使用agenda-based方法和VHUS(神经网络模型)构建出来的。评价指标包括对话损失,任务成功率(inform F1:是否所有槽被填充完;匹配率:填充完的槽值是否都匹配所有约束)。最终在用户满意度和对话成功率上都比现有的方法要好。 Modeling Multi-Action Policy for Task-Oriented Dialogues团队:伊利诺伊大学liubing和uber ai团队 论文地址:https://www.aclweb.org/anthology/D19-1130.pdf源码: https://github.com/leishu02/EMNLP2019_gCAS发表:EMNLP2019 解决的问题:目前对话管理方法,通常在每轮中只预测一个策略行为。这样限制了对话智能体的表达能力,可能会引入不必要的交互行为。同时轮数太多了也会导致对话出错。本文主要比较了一些现有模型在预测每轮多行为的任务中的效果,并提出了新的对话策略模型gCAS(gated Continue-Act-Slots)解决目前多行为预测的问题。实验也表明该方法确实比其他方法要好。整体结构如下,这里把kb搜索的结果输入隐掉了。首先,输入当前轮的对话状态(包含前一轮的系统行为、用户当前轮的行为、用户询问的槽、用户确认的槽、系统询问的槽、系统确认的槽等等),编码器采用GRU,视为对话状态为一个序列,输出是一个向量序列和最后一层的隐状态;解码器是本文提出的CAS结构,循环生成三元组,直到停止输出。gCAS包含三个单元:continue unit, act unit, slots unit。三个单元都是用门机制和循环嵌套。Continue unit输出循环是否结束,act unit输出行为类型,slots unit输出对应的槽位和值。最后总的损失函数是三个单元的损失累加。 总结:本文使用的数据集是微软的对话挑战数据集(https://github.com/xiul-msr/e2e_dialog_challenge),包含电影、出租、餐馆三个领域。其中大概有23%的数据标注的行为有多个。论文比较了一些分类、序列标注的经典方法,最终结果都比现有方法好。在多行为预测的任务中,本文提出的gated CAS主要作用是在解码过程中允许输出多个行为,也可以用在编码器中。目前该模型是基于监督学习训练完成,未来也可以扩展成强化学习训练方式。Building Task-Oriented Visual Dialog Systems Through Alternative Optimization Between Dialog Policy and Language Generation团队:加利福利亚大学的Zhou Yu团队 论文地址:https://www.aclweb.org/anthology/D19-1014.pdf发表:EMNLP2019 解决的问题:本文关注任务型视觉对话系统的策略学习问题,将强化学习应用到端到端的模型框架中。问题是比较难设计能够在学习到有效策略的同时又能生成自然对话回复的一种奖励函数,本文提出可替代训练用户图像猜测的强化学习模型和有监督的seq2seq模型的框架,最终在Guess-Which数据集上实验效果在任务完成率和对话质量上都比现有方法都要好。问题描述:在GuessWhich问题上,本文的目标是建立一个智能体(Q-Bot)通过向另一个机器人(A-Bot)询问一系列的问题去猜测一个图片a同时A-Bot是知道这个图片的。如下图框架主要包括三个模块:Response Encoder, Question Decoder, Image Guesser。(1)     Response Encoder:图片采用VGG16编码,文本采用LSTM编码。(2)     Question Decoder:双层的LSTM编码。(3)     Image Guesser:通过向量欧式距离计算得到。本文首先使用监督目标对对话框架进行预训练,然后应用强化学习来学习检索目标图像的最佳策略。监督学习的联合损失函数如下,同时将整个对话过程中图片的猜测序列当作POMDP,通过强化学习训练策略网络以获得目标图像的最佳策略。奖励信号是使用目标图片在对话历史向量中的排名百分位。总体来说,本文主要提出了新的联合优化(图片猜测)策略和问题生成。在每个epoch,通过交替应用强化学习来获取更好的图片猜测策略,同时又利用监督学习来提高问题生成的质量。本文也构建了两个评价任务:AI-AI图片猜测游戏(通过与其他的bot交互)以及Human-AI图片猜测游戏(通过与人交互)。最终在AI-AI图片猜测游戏中对比了图片检索和语言生成等指标。在Human-AI图片猜测游戏中,对比了语言回复的流畅性、相关性等指标。在这几个实验中,本文提出的方法都达到最好。Rethinking Action Spaces for Reinforcement Learning in End-to-end Dialog Agents with Latent Variable Models团队:CMU和上海交通大学团队 论文地址:https://www.aclweb.org/anthology/N19-1123.pdf源码:https://github.com/snakeztc/NeuralDialog-LaRL发表:NAACL2019 解决的问题:对话行为空间的定义以及对话策略优化问题,之前的经验要么使用手工编写的对话行为要么就是输出的词汇。本文提出一种隐行为框架,将端到端对话系统的行为空间视为隐变量,并开发无监督方法从数据中得出自己的行为空间。结果表明在DealOrNoDeal和MultiWoz对话数据上隐行为方法比之前的词级别的策略梯度方法有更好的效果。目前的e2e方法如下图,基于词级别的强化学习,认为每个输出的词汇都是一个行为步骤,对每个词汇都有一个reward。 本文提出的隐行为强化学习LaRL,在生成过程中引入了一个隐变量z,然后在z上应用REINFORCE算法。对比第一种方法,该方法有以下几个优势:(1)     在计算策略梯度的时候,缩短了优化范围,之前每个单词都要计算一次。(2)     隐行为空间维度远比单词级别的空间要小得多(3)     策略梯度只需要优化编码器参数,解码器保持。本文的隐行为类型主要采用了之前方法提出的连续各向同性高斯分布(continuous isotropic Gaussian distribution)以及多元分类分布(multivariate categorical distribution)。 总结:本文实验采用的是DealOrNoDeal数据,包含在2236个场景中5805个对话;MultiWoz数据,包含6个领域10438个对话。对比的方法是各自数据所采用的baseline方法,本文提出的论文模型都有较好的效果,并在MultiWoz上取得最好的成功率。
  • 请问,华为NLP领域,有哪些成熟AI服务,对比其他厂商,有哪些优劣势?
    如题。
  • 如何访问自然语言处理服务
    NLP提供了Web化的服务管理平台,即管理控制台,以及基于HTTPS请求的API管理方式。管理控制台:您可以在管理控制台开通自然语言处理服务。API:NLP以开放API的方式提供给用户,用户可以将NLP集成到第三方系统调用API。商用服务暂时无需申请,可参考API直接调用接口。公测服务通过管理控制台申请服务公测。
  • [其他] batch_norm 和 layer norm
    老师好,     我在NLP实验中发现batch_norm更适合在CNN后使用,layer_norm更适合在LSTM后使用.请问老师能帮我分析一下其中的原因么,或者说没有固定原因,NLP中不同任务和超参下表现都会不同.谢谢
总条数:125 到第
上滑加载中