论文 10：Neural Markov Logic Networks链接：https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_18.pdf        论文 10 介绍了一个神经马尔科夫逻辑网络的超类，它不需要显式的一阶逻辑规则，但它带有一个神经势能函数，可以在向量空间中编码固有的规则。作者还用最大最小熵方法来优化模型，这招很聪明（但是很少见到有人用）。但缺点就是拓展性不好，作者只在很小的数据集上做了实验，然后他表示后续研究要解决的一大挑战就是拓展性问题。               转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

大家看剧吃瓜是不是有这种烦恼，追几十集却一直懵逼复杂的人物关系？人物间隐藏的某种关系，让你觉得出乎意料又好像在情理之中，暗搓搓的关系线其实早已埋下 **如何用AI的方法快速理清人物关系？** 例如当看到这行内容： 东汉末年，孙权、刘备联军，曾在赤壁一带以火攻敌船之计大破曹军 当把各阵营之间的关系抽象一下，就会得到这样一张图  我们把这种存储实体和实体之间关系的数据结构称为图（Graph） 看到这里，好学的同学们会问， 用什么工具去处理图这种数据结构呢？欢迎华为云EI图引擎专家：Ray博士为大家讲解今天的课程内容： **图数据库：存储图这种数据结构的数据库** 戳这里观看课程： https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_1751503979789811721 我们在【华为云AI】公众号内嵌入了简易版的图引擎小程序（仅适用于搜索三国人物关系） 点击华为云AI公众号首页的EI体验空间-发现关系体验这项技术点击图片直达EI体验空间 今天的课程到这里结束啦 往期课程回顾请看公众号文章底部https://mp.weixin.qq.com/s/ceOmp1SLf8IxVXLyroXUEA 关注华为云AI公众号 我们将会持续推送相关硬核课程！ 

论文11：Can Graph Neural Networks Help Logic Reasoning?链接：https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_22.pdf    论文 11 研究了GNN和马尔科夫逻辑网络在逻辑推理、概率推理方面的表现孰强孰弱。作者们的分析表明，原始的GNN嵌入就有能力编码知识图中的隐含信息，但是无法建模谓词之间的依赖关系，也就是无法处理马尔科夫逻辑网络的后向参数化。为了解决这个问题，作者们设计了ExpressGNN架构，其中有额外的几层可调节的嵌入，作用是对知识图中的实体做层次化的编码。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

任务越来越难做，然后有意思的任务少啊，希望能多来一些类似于开发者训练营的活动

    论文：Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering    链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/51.pdf    这篇论文提出了一个通过问答追踪对话进度（Dialogue State Tracking via Question Answering (DSTQA)）的模型，用来在MultiWOZ环境中实现任务导向的对话系统，更具体地，就是通过对话帮助用户完成某个任务，任务一共分为5个大类、30个模版和超过4500个值。    它基于的是问答（Question Answering ）这个大的框架，系统问的每个问题都要先有一个预设模版和一组预设的值，用户通过回答问题确认或者更改模版中的预设值。有个相关的假说提出，同一段对话中的多个模版、多组值之间并不是完全独立的，比如，你刚刚订好五星级酒店的房间，然后你紧接着问附近有什么餐馆，那很有可能你想找的餐馆也是中高档的。论文中设计的整个架构流程很繁琐，我们就只讲讲他们的核心创新点吧：首先，作者们把对话状态建模为一个根据对话内容逐渐扩充的动态知识图。图中的节点由大类、模版和值构成，建立节点之间关系的过程也利用了上面那个假说，就是因为不同的模版之间有一些值可以是相同的、部分重叠或者是有关联的。其次，用一个图注意力网络（Graph Attention Net）学习为图中的节点分配权重，网络的输出也会被送入一个门机制，用来决定要在问题文本中表现出图的多大的一部分。作者们也使用了角色嵌入，这样模型可以由系统的话语和用户的话语共同训练最后，作者们同时使用了CharCNN和ELMO嵌入来做对话文本内容的编码    DSTQA 在 MultiWOZ 2.0 和 MultiWOZ 2.0 上都刷新了最好成绩，在 WOZ 2.0 上也和当前的最好方法不相上下。根据作者们的误差分析，主要的丢分点来自于真实值的标注有一些不准确。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 13：Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/32.pdf    论文 介绍了一个神经网络助理模型，这个对话系统架构不仅能考虑到对话历史，也能利用到知识库中的事实信息。系统架构可以看作是Transformer架构的拓展，它会编码对话历史中的文本；知识库中的内容是简单的单词三元组比如（餐馆A，价格，便宜）（没有 Wikidata 那种花哨的知识图模式），这些三元组也会被Transformer编码。最后，解码器会同时处理历史文本编码和知识图编码，用来生成输出语句，以及决定是否要进行下一步动作。    之前的论文中有很多人在所有的知识库三元组上计算softmax（只要知识库稍微大一点，这种做法就非常低效），这篇论文就没这么做，他们根据知识库中的实体是否在真实值回答中出现的情况做弱监督学习。他们的架构在 MultiWOZ 设置下比原本的Transformer架构得到更好的表现，预测动作以及实体出现的F1分数超过90%。不过，他们的进一步分析显示出，知识库中的条目超过一万条之后准确率就会开始快速下降。所以，嗯，如果你有心思把整个Wikidata的70亿条三元组都搬过来的话，目前还是不行的。     转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

现在的活动越来越难，豆子越来越少，有没有同感

Putting an End to End-to-End: Gradient-Isolated Learning of Representations给端到端学习画上句号：表征的梯度隔离学习这篇论文提出了一种全新的自学习方法，它采用的并不是深度学习中惯用的端到端梯度下降，而是把贪婪 InfoNCE 作为目标，分别独立地训练网络中的各个模块。它的学习方式更接近于自监督学习，是把各种不同的小块之间的共同信息作为每个小块的训练的监督信号，把时间维度上临近的表征之间的共同信息最大化。之所以这种做法能奏效，是因为数据中符合这种设想的「慢特征」对下游任务非常有帮助。这种方法大幅节省了训练时间，也避开了大规模模型遇到的内存空间瓶颈。这种方法很大程度上是从生物学现象得到启发的，也就是，整个大脑并不针对同一个唯一的目标进行优化，而是有模块化的功能分区，然后每个区域都优化自己的局部信息。目前看起来，这种方法可以方便地快速训练更深的模型，利用局部信息的设定也避免了传统神经网络中梯度消失的问题。这是一种有潜力的方法，不过是否能像论文标题中说的那样「给端到端学习画上句号」还需要等待时间验证。这篇论文获得 NeurIPS 2019 杰出新方向论文提名奖。论文地址：https://arxiv.org/abs/1905.11786v2代码开源：https://github.com/loeweX/Greedy_InfoMax       转自，杨晓凡，https://www.leiphone.com/news/201912/TK9EEFIUdjdbAC4J.html

论文 ：A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization链接：https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_8.pdf当你设计面向任务的系统的时候，往往有很多内容是无法长期留在内存里的，你需要把它们存在外部存储中，然后需要的时候去检索。如果是图数据，你可以用SPARQL或者Cypher建立图数据库来操作；或者用经典的SQL数据库也行。对于后一种情况，最近出现了很多新任务（https://medium.com/@mgalkin/knowledge-graphs-nlp-emnlp-2019-part-i-e4e69fd7957c），其中WikiSQL 是第一批引起了学术研究人员兴趣的。如今，只经过了不到两年的时间，我们就已经可以说这个数据集已经基本被解决了，基于神经网络的方法也获得了超过人类的表现。这篇论文中提出了语义解析模型 SQLova ，它通过BERT编码问题和表头、用基于注意力的编码器生成SQL查询（比如 SELECT 命令、WHERE 条件、聚合函数等等）  、然后还能对生成的查询语句进行排序和评价。作者们在论文中指出，不使用语义解析、只使用BERT的暴力编码的话，效果要差得多，所以语言模型还是不能乱用。模型的测试准确率达到了90%（顺便说一句，还有一个叫  X-SQL 的模型拿到了接近92%的准确率，https://arxiv.org/pdf/1908.08113.pdf  ），而人类的准确率只有88%；根据错误分析来看，系统表现的最大瓶颈基本就是数据标注错误了（和上面那个MulitWOZ的例子类似）。除此之外我还有几篇NLP相关的论文想推荐给大家：Relational Graph Representation Learning for Open-Domain Question Answering用于开放领域问答的关系图表征学习https://grlearning.github.io/papers/123.pdf这篇论文提出了一个带有注意力的关系GNN，能够解决基于普通文本的以及把WebQuestionsSP外挂数据集作为知识图的问答任务。Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation通过远距离有监督关系提取和验证，制作大规模网络知识图https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_11.pdf这篇论文解决了如何同时提取文本中的关系并立即通过预训练的知识图嵌入对候选的知识图做实事检查。这个方法可以拓展到包含百万级三元组的知识图上（比如 Common Crawl — DBpedia 语料库有超过六百万个三元组）Incorporating rules into end-to-end dialog systems在端到端对话系统中集成规则http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/43.pdf作者们研究了如何把规则集成到端到端的对话系统以及上下文中，目的是让生成的文本更多样化，比如，如果用户已经要求查询某个数据了，系统就不会重新和用户打招呼、重新让用户选任务模版。其中表现最好的一种配置会把对话上下文和规则编码到一起。他们的方法通用性很好，可以和各种生成回答的网络架构共同使用。转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

本文是北京大学&华为诺亚等联合提出的一种图像处理Transformer。Transformer自提出之日起即引起极大的轰动，BERT、GPT-3等模型迅速占用NLP各大榜单；后来Transformer被用于图像分类中同样引起了轰动；再后来，Transformer在目标检测任务中同样引起了轰动。现在Transformer再出手，占领了low-level多个任务的榜首，甚至它在去雨任务上以1.6dB超越了已有最佳方案。论文链接: https://arxiv.org/abs/2012.00364Abstract随机硬件水平的提升，在大数据集上预训练的深度学习模型(比如BERT，GPT-3)表现出了优于传统方法的有效性。transformer的巨大进展主要源自其强大的特征表达能力与各式各样的架构。在这篇论文中，作者对low-level计算机视觉任务（比如降噪、超分、去雨）进行了研究并提出了一种新的预训练模型：IPT(image processing transformer)。为最大挖掘transformer的能力，作者采用知名的ImageNet制作了大量的退化图像数据对，然后采用这些训练数据对对所提IPT(它具有多头、多尾以适配多种退化降质模型)模型进行训练。此外，作者还引入了对比学习以更好的适配不同的图像处理任务。经过微调后，预训练模型可以有效的应用不到的任务中。仅仅需要一个预训练模型，IPT即可在多个low-level基准上取得优于SOTA方案的性能。

职业认证训练营走起啊，20W码豆直接走向改革开放

学习积分/结营测试成绩/学习之星/邀请数据/论坛获奖等数据已公布在活动帖留言区（置顶），点击链接查看https://bbs.huaweicloud.com/forum/thread-101458-1-1.html

Uniform convergence may be unable to explain generalization in deep learning收敛一致性可能解释不了深度学习中的泛化现象推荐理由：为了探究深度学习泛化能力背后的原理，学术界提出了泛化边界的概念，然后尝试用「收敛一致性」理论推导、设计出了各种各样的泛化边界描述方法，似乎已经取得了不少成果。但这篇论文中作者们通过大量实验发现，虽然其中的许多泛化边界从数值角度看起来挺大，但随着训练数据集大小变大，这些泛化边界也会跟着变大。在此基础上，作者们用过参数化的线性分类器和梯度下降训练的神经网络为例，证明了收敛一致性并不能解释模型的泛化性，即便完全考虑了梯度下降可能带来的隐式偏倚也解释不了。更严谨地说，作者们实验表明，根据收敛一致性得到的泛化边界要比根据梯度下降得到的泛化边界大得多。根据这一系列结果，作者们对「用基于收敛的方法解释泛化能力」的做法提出严重的质疑。虽然这篇论文并没能解决（也没打算解决）深度神经网络中的泛化性问题，但它显然为整个领域指出「此路不通，考虑重来」。这篇论文获得 NeurIPS 2019 杰出新方向论文奖。论文地址：https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning    转自，杨晓凡，https://www.leiphone.com/news/201912/TK9EEFIUdjdbAC4J.html

机器学习和深度学习的未来蕴含着无穷的可能！越来越多的机器人不仅用在制造业，而且在一些其他方面可以改善我们的日常生活方式。医疗行业也可能会发生变化，因为深度学习有助于医生更早地预测或发现癌症，从而挽救生命。在金融领域，机器学习和深度学习可以帮助公司甚至个人节省资金，更聪明地投资，更有效地分配资源。而这三个领域仅仅是机器学习和深度学习未来趋势的开始。许多需要改进的领域，现在仍然只是我们想象中的一个火花。

机器学习利用 机器学习技术， 计算机 可学会分析数据，识别 隐藏的模式，进行分类，并预测未来的结果。我们的调查 显示，67 的受访者目前正在使用 机器学习，且有 97% 正在 使用或计划在明年使用机器学习 。深度学习深度学习是机器学习的一个子集，它基于一 个名为“神经网络” 的人脑概念 模型。之所以被 称为深度 学习，是因为这种神经网络 有多个相互连接的层 。我们 的受访者中 ，有 54% 表示他们使用了深度学习技术， 95 正在 使用或计划在明年使用 。自然语言处理自然语言处理是 一种从可读的、风格自然的、语法正确的文本中提取或生成意义和意图的 能力 。 58 的全球受访者已采用 自然语言处理技术，有 94%正在 或计划在明年使用自然语言处理技术。计算机视觉是 一种从视觉元素中提取意义和意图的能力，包括字符识别（针对数字化文档）和图像（如人脸、物体、场景和活动）内容分类。 在 我们的受访者中有 56% 声称他们使用了计算机视觉 94表示正在 使用或计划在明年 使用。