论文5：Quaternion Knowledge Graph Embeddings链接：https://papers.nips.cc/paper/8541-quaternion-knowledge-graph-embeddings.pdf        在这次NeurIPS' 19上，这个问题被 Zhang et al. 解决了。他们提出了QuatE，一个四元数KG嵌入模型。什么是四元数？这个需要说清楚。简单来说，复数有一个实部，一个虚部，例如a+ib；而四元数，有三个虚部，例如 a+ib+jc+kd。相比复数会多出两个自由度，且在计算上更为稳定。QuatE将关系建模为4维空间（hypercomplex space）上的旋转，从而将complEx 和 RotatE统一起来。在RotatE中，你有一个旋转平面；而在QuatE中，你会有两个。此外，对称、反对称和逆的功能都保留了下来。与RotatE相比，QuatE在 FB15k-237上训练所需的自由参数减少了 80%。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 ：Quantum Embedding of Knowledge for Reasoning链接：https://papers.nips.cc/paper/8797-quantum-embedding-of-knowledge-for-reasoning.pdf论文 提出了 Embed2Reason（E2R）的模型，这是一种受量子逻辑启发的量子KG嵌入方法。该方法可以嵌入类（概念）、关系和实例。不要激动，这里面没有量子计算。量子逻辑理论（QL）最初是由伯克霍夫和冯诺依曼于1936年提出，用于描述亚原子过程。E2R的作者把它借用过来保存KG的逻辑结构。在QL中（因此也是E2R中），所有一元、二元以及复合谓词实际上都是某些复杂向量空间的子空间，因此，实体及其按某种关系的组合都落在了特定的子空间内。本来，分布定律a AND（b OR c）=（a AND b）OR（a AND c）在QL中是不起作用的。但作者用了一个巧妙的技巧绕开了这个问题。作者在论文中还介绍了如何使用QL对来自描述逻辑（DL）的术语（例如包含、否定和量词）进行建模！实验结果非常有趣：在FB15K上，E2R产生的Hits @ 1高达96.4％（因此H@10也能达到）；不过在WN18上效果不佳。事实证明，E2R会将正确的事实排在首位或排在top10以下，这就是为什么在所有实验中H @ 1等于H @ 10的原因。补充一点，作者使用LUBM作为演绎推理的基准，该演绎推理包含了具有类及其层次结构的本体。实际上，这也是我关注的焦点之一，因为标准基准数据集FB15K（-237）和WN18（RR）仅包含实例和关系，而没有任何类归因。显然，大型知识图谱具有数千种类型，处理该信息可以潜在地改善链接预测和推理性能。我还是很高兴看到有越来越多的方法（如E2R）提倡将符号信息包含在嵌入中。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

课程链接：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD048+Self-paced/courseware/fb989107b5ea4f368fb11447ea2d8b63/a75cf56dbace4384993b27d81160bd92/ 华为云 · 7天实战营系列活动2021年 -- 7天玩转PostgreSQL基础实战营让你7天轻松掌握PG！完成打卡任务，将有机会获得三合一数据线、神秘潮酷盲盒、旅行五件套等多重豪礼哦~限额免费招募，快来报名吧！活动参与流程  Step1. 请点击链接，先报名活动活动报名链接：https://developer.huaweicloud.com/activity/PostgreSQL.html（本次活动涉及代金券发放，请务必填写，数量有限，先到先得）Step2. 添加群助手好友并回复“PostgreSQL”或“PG”，免费入群！Step3. 入群后，群助手会通知开课时间；Step3. 开课后，请按照节奏学习视频课程，完成每日打卡任务（打卡任务完成后，请在本帖回复截图） 活动时间  招募期：2021.03.23-2021.04.07培训期：2021.04.08-2021.04.16课程大纲  专家介绍活动奖励活动规则1.活动参与方式：招募期流程：(1)注册华为云中国站账号并登录；(2)点击活动页中的“立即报名”按钮先填写报名表；(3)扫描二维码，添加社群助手微信（18209232786 ），回复“PostgreSQL”或“PG”，小助手拉您入群。训练期流程：(1)微信社群助手每日发布当日课程内容及规则，学员完成任务并打卡成功，获得阶段性奖励。 训练期内打卡规则：(1) 打卡时间：每日0:00~23:59；(2) 打卡方式：Step1：请打开当天的“打卡作业”（每一章的第3小节）；Step2：按照要求完成作业；Step3：按以下格式在打卡贴内回复完成后的打卡截图：第一行：DayX（X=1到7）+华为云账号+微信昵称            （打卡作业截图）eg：Day1+grandmaster+华为云1号小助手      （打卡作业截图）(3) 打卡须知：① 打卡需按照打卡方式要求操作；② 如当天打卡任务有打卡示例，学员所回复打卡截图中必须需显示华为云中国站账号，且为当日操作截图；③ 采用闯关打卡模式，每日只计算一次有效打卡；④ 若当日未进行打卡，训练期内设置3次补打卡机会，超过3次不可再补打卡；⑤ 社群助手将对每日的打卡内容进行审核，审核周期为3~5个工作日，未按照要求上传打卡任务，将被视为无效打卡，不计入打卡天数。2.训练期内评奖方式：(1)完成第1天打卡完成第1天打卡任务，可获得抽奖机会，奖品为三合一数据线1个 ；奖品数量上限为80份，中奖概率（≤100%）为“80/完成连续打卡1天任务的总人数”；兑奖时间不可超过训练期第二天，过期无效。(2)连续打卡3天连续完成3天打卡可获得抽奖机会，奖品为精美盲盒奖励1份，奖品数量上限为50份，中奖概率（≤100%）为“50/完成连续打卡3天任务的总人数”；兑奖时间不可超过训练期第四天，过期无效。(3)连续打卡7天连续完成7天打卡可直接获得华为云云享专家直通车机会，奖品为旅行5件套1个，奖品数量上限为30份，中奖概率（≤100%）为“30/完成连续打卡7天任务的总人数”；兑奖时间不可超过训练期第八天，过期无效。3.奖品发放说明：每位参加活动的用户理解并同意，为联系获奖用户以及奖品发放的需要，用户须在参与活动之时提供诸如姓名、联系方式、电子邮箱、通讯地址等真实个人信息，活动主办方将仅为前述目的以及适用法律规定的最小限度内收集和使用用户的个人信息,本次活动所收集的个人信息将在活动结束后删除。（用户在向华为云提交个人信息之前，应阅读、了解华为云《隐私政策声明》；用户参加本活动视为理解并同意华为云《隐私政策声明》，华为云《隐私政策声明》网页地址如下：https://www.huaweicloud.com/declaration/sa_prp.html）。获奖用户在领奖界面填写获奖信息，活动结束且用户填写完整领奖信息后14个工作日内，将统一发出奖品，所有实物奖品包邮，不额外收取任何费用。由于获奖用户自身原因（包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过30天未领取等）造成奖品无法发送的，视为获奖用户放弃领奖。为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格。本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。云服务协议链接的网址：http://www.huaweicloud.com/declaration/sa_cua.html如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。

论文 ：Logical Expressiveness of Graph Neural Networks链接：https://grlearning.github.io/papers/92.pdf让我们继续来考察图神经网络的逻辑表达。论文 7 中对哪些GNN架构能够捕获哪个逻辑级别进行了大量的研究。目前为止，这个研究还仅限于一阶逻辑的两变量片段FOC_2，因为FOC_2连接到用于检查图同构的Weisfeiler-Lehman（WL）测试上。作者证明，聚合组合神经网络（AC-GNN）的表达方式对应于描述逻辑ALCQ，它是FOC_2的子集。作者还进一步证明，如果我们添加一个独处成分，将GNN转换为聚合组合读出GNN（ACR-GNN），则FOC_2中的每个公式都可以由ACR-GNN分类器捕获。这个工作怎么说呢？简直是不能再棒了！    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 ：Embedding Symbolic Knowledge into Deep Networks链接：https://papers.nips.cc/paper/8676-embedding-symbolic-knowledge-into-deep-networks.pdf        论文  提出了模型LENSR，这是一个具有语义正则化的逻辑嵌入网络，它可以通过图卷积网（GCN）将逻辑规则嵌入到d-DNNF（决策确定性否定范式）当中。在这篇文章中，作者专注于命题逻辑（与上述论文中更具表现力的描述逻辑相反），并且表明将AND和OR的两个正则化组件添加到损失函数就足够了，而不用嵌入此类规则。这个框架可以应用在视觉关系预测任务中，当给定一张图片，你需要去预测两个objects之间的正确关系。在这篇文章中，Top-5的准确率直接将原有84.3%的SOTA提升到92.77%。          转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

hw77872661 程序员的好助手-Python 468394468395468396

    Probabilistic Logic Neural Networks for Reasoning    链接：https://papers.nips.cc/paper/8987-probabilistic-logic-neural-networks-for-reasoning.pdf    论文 提出了 pLogicNet，这个模型是用来做知识图推理的，而且知识图嵌入和逻辑规则相结合。模型通过变差EM算法训练（实际上，这几年用EM做训练&模型优化的论文也有增加的趋势，这事可以之后单独开一篇文章细说）。论文的重点是，用一个马尔科夫逻辑网络定义知识图中的三元组上的联合分布（当然了，这种做法要对未观察到的三元组做一些限制，因为枚举出所有实体和关系上的所有三元组是做不到的），并给逻辑规则设定一个权重；你可以再自己选择一个预训练知识图嵌入（可以选TransE或者ComplEx，实际上随便选一个都行）。在推理步骤中只能怪，模型会根据规则和知识图嵌入找到缺失的三元组，然后在学习步骤中，规则的权重会根据已见到的、已推理的三元组进行更新。pLogicNet 在标准的连接预测测试中展现出了强有力的表现。我很好奇如果你在模型里选用了 GNN 之类的很厉害的知识图嵌入会发生什么。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 10：Neural Markov Logic Networks链接：https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_18.pdf        论文 10 介绍了一个神经马尔科夫逻辑网络的超类，它不需要显式的一阶逻辑规则，但它带有一个神经势能函数，可以在向量空间中编码固有的规则。作者还用最大最小熵方法来优化模型，这招很聪明（但是很少见到有人用）。但缺点就是拓展性不好，作者只在很小的数据集上做了实验，然后他表示后续研究要解决的一大挑战就是拓展性问题。               转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

大家看剧吃瓜是不是有这种烦恼，追几十集却一直懵逼复杂的人物关系？人物间隐藏的某种关系，让你觉得出乎意料又好像在情理之中，暗搓搓的关系线其实早已埋下 **如何用AI的方法快速理清人物关系？** 例如当看到这行内容： 东汉末年，孙权、刘备联军，曾在赤壁一带以火攻敌船之计大破曹军 当把各阵营之间的关系抽象一下，就会得到这样一张图  我们把这种存储实体和实体之间关系的数据结构称为图（Graph） 看到这里，好学的同学们会问， 用什么工具去处理图这种数据结构呢？欢迎华为云EI图引擎专家：Ray博士为大家讲解今天的课程内容： **图数据库：存储图这种数据结构的数据库** 戳这里观看课程： https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_1751503979789811721 我们在【华为云AI】公众号内嵌入了简易版的图引擎小程序（仅适用于搜索三国人物关系） 点击华为云AI公众号首页的EI体验空间-发现关系体验这项技术点击图片直达EI体验空间 今天的课程到这里结束啦 往期课程回顾请看公众号文章底部https://mp.weixin.qq.com/s/ceOmp1SLf8IxVXLyroXUEA 关注华为云AI公众号 我们将会持续推送相关硬核课程！ 

论文11：Can Graph Neural Networks Help Logic Reasoning?链接：https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_22.pdf    论文 11 研究了GNN和马尔科夫逻辑网络在逻辑推理、概率推理方面的表现孰强孰弱。作者们的分析表明，原始的GNN嵌入就有能力编码知识图中的隐含信息，但是无法建模谓词之间的依赖关系，也就是无法处理马尔科夫逻辑网络的后向参数化。为了解决这个问题，作者们设计了ExpressGNN架构，其中有额外的几层可调节的嵌入，作用是对知识图中的实体做层次化的编码。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

任务越来越难做，然后有意思的任务少啊，希望能多来一些类似于开发者训练营的活动

    论文：Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering    链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/51.pdf    这篇论文提出了一个通过问答追踪对话进度（Dialogue State Tracking via Question Answering (DSTQA)）的模型，用来在MultiWOZ环境中实现任务导向的对话系统，更具体地，就是通过对话帮助用户完成某个任务，任务一共分为5个大类、30个模版和超过4500个值。    它基于的是问答（Question Answering ）这个大的框架，系统问的每个问题都要先有一个预设模版和一组预设的值，用户通过回答问题确认或者更改模版中的预设值。有个相关的假说提出，同一段对话中的多个模版、多组值之间并不是完全独立的，比如，你刚刚订好五星级酒店的房间，然后你紧接着问附近有什么餐馆，那很有可能你想找的餐馆也是中高档的。论文中设计的整个架构流程很繁琐，我们就只讲讲他们的核心创新点吧：首先，作者们把对话状态建模为一个根据对话内容逐渐扩充的动态知识图。图中的节点由大类、模版和值构成，建立节点之间关系的过程也利用了上面那个假说，就是因为不同的模版之间有一些值可以是相同的、部分重叠或者是有关联的。其次，用一个图注意力网络（Graph Attention Net）学习为图中的节点分配权重，网络的输出也会被送入一个门机制，用来决定要在问题文本中表现出图的多大的一部分。作者们也使用了角色嵌入，这样模型可以由系统的话语和用户的话语共同训练最后，作者们同时使用了CharCNN和ELMO嵌入来做对话文本内容的编码    DSTQA 在 MultiWOZ 2.0 和 MultiWOZ 2.0 上都刷新了最好成绩，在 WOZ 2.0 上也和当前的最好方法不相上下。根据作者们的误差分析，主要的丢分点来自于真实值的标注有一些不准确。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 13：Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/32.pdf    论文 介绍了一个神经网络助理模型，这个对话系统架构不仅能考虑到对话历史，也能利用到知识库中的事实信息。系统架构可以看作是Transformer架构的拓展，它会编码对话历史中的文本；知识库中的内容是简单的单词三元组比如（餐馆A，价格，便宜）（没有 Wikidata 那种花哨的知识图模式），这些三元组也会被Transformer编码。最后，解码器会同时处理历史文本编码和知识图编码，用来生成输出语句，以及决定是否要进行下一步动作。    之前的论文中有很多人在所有的知识库三元组上计算softmax（只要知识库稍微大一点，这种做法就非常低效），这篇论文就没这么做，他们根据知识库中的实体是否在真实值回答中出现的情况做弱监督学习。他们的架构在 MultiWOZ 设置下比原本的Transformer架构得到更好的表现，预测动作以及实体出现的F1分数超过90%。不过，他们的进一步分析显示出，知识库中的条目超过一万条之后准确率就会开始快速下降。所以，嗯，如果你有心思把整个Wikidata的70亿条三元组都搬过来的话，目前还是不行的。     转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

现在的活动越来越难，豆子越来越少，有没有同感

Putting an End to End-to-End: Gradient-Isolated Learning of Representations给端到端学习画上句号：表征的梯度隔离学习这篇论文提出了一种全新的自学习方法，它采用的并不是深度学习中惯用的端到端梯度下降，而是把贪婪 InfoNCE 作为目标，分别独立地训练网络中的各个模块。它的学习方式更接近于自监督学习，是把各种不同的小块之间的共同信息作为每个小块的训练的监督信号，把时间维度上临近的表征之间的共同信息最大化。之所以这种做法能奏效，是因为数据中符合这种设想的「慢特征」对下游任务非常有帮助。这种方法大幅节省了训练时间，也避开了大规模模型遇到的内存空间瓶颈。这种方法很大程度上是从生物学现象得到启发的，也就是，整个大脑并不针对同一个唯一的目标进行优化，而是有模块化的功能分区，然后每个区域都优化自己的局部信息。目前看起来，这种方法可以方便地快速训练更深的模型，利用局部信息的设定也避免了传统神经网络中梯度消失的问题。这是一种有潜力的方法，不过是否能像论文标题中说的那样「给端到端学习画上句号」还需要等待时间验证。这篇论文获得 NeurIPS 2019 杰出新方向论文提名奖。论文地址：https://arxiv.org/abs/1905.11786v2代码开源：https://github.com/loeweX/Greedy_InfoMax       转自，杨晓凡，https://www.leiphone.com/news/201912/TK9EEFIUdjdbAC4J.html