IMPALA：大规模强化学习算法论文名称：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu发表时间：2018/6/28论文链接：https://arxiv.org/abs/1802.01561推荐原因这是并行RL算法领域引用最为高的一篇文章。文章和以往做的工作不同，不仅仅有工程上实验效果的大幅提升，还做了理论的分析解决了on-policy与off-policy的训练差异问题，整体工作是相当solid的。作者同时启动了多个Actor和一个Learner，每个Actor都是包含整个policy参数的，负责和环境交互产生数据，Learner是负责训练参数还有同步参数给Actor的。这就有个问题了，参数同步会有无法避免的延迟，那这个就违背了On-policy算法的更新原则，作者提出了一种很好的方式解决这个问题，对有延迟的数据进行修正使得on-policy的训练方式可以继续进行。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

理论 如何基于元学习方法进行有效的模型训练？四篇论文详细剖析元模型的学习原理和过程本文以四篇最新论文为例，详细剖析了元模型的学习原理和过程。2021/04/05 20:46原文链接修图动口不动手，有人把StyleGAN和CLIP组了个CP，能听懂修图指令那种「求帮忙把背景 P 成五彩斑斓的黑，可以吗？」2021/04/05 20:43原文链接其他硅谷亚裔一直在经历职场PUA：勤奋聪明赚钱多，但永远升不上管理岗多份报告显示，亚裔美国人是最不可能被提升到管理职位的2021-04-05 13:08:58原文链接 

    联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。谷歌在2016年提出了针对手机终端的联邦学习,微众银行AI团队则从金融行业实践出发,关注跨机构跨组织的大数据合作场景，首次提出“联邦迁移学习”的解决方案，将迁移学习和联邦学习结合起来。据杨强教授在“联邦学习研讨会”上介绍,联邦迁移学习让联邦学习更加通用化,可以在不同数据结构、不同机构间发挥作用，没有领域和算法限制,同时具有模型质量无损、保护隐私、确保数据安全的优势。    联邦学习定义了机器学习框架，在此框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。虚拟模型是各方将数据聚合在一起的最优模型，各自区域依据模型为本地目标服务。联邦学习要求此建模结果应当无限接近传统模式，即将多个数据拥有方的数据汇聚到一处进行建模的结果。在联邦机制下，各参与者的身份和地位相同，可建立共享数据策略。由于数据不发生转移，因此不会泄露用户隐私或影响数据规范。为了保护数据隐私、满足合法合规的要求。联邦学习有三大构成要素：数据源、联邦学习系统、用户。三者间关系如图所示，在联邦学习系统下，各个数据源方进行数据预处理，共同建立及其学习模型，并将输出结果反馈给用户。联邦学习的分类根据参与各方数据源分布的情况不同，联邦学习可以被分为三类：横向联邦学习、纵向联邦学习、联邦迁移学习。横向联邦学习在两个数据集的用户特征重叠较多而用户重叠较少的情况下，我们把数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。比如业务相同但是分布在不同地区的两家企业，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是，它们的业务很相似，因此，记录的用户特征是相同的。此时，就可以使用横向联邦学习来构建联合模型。横向联邦学习中多方联合训练的方式与分布式机器学习（Distributed Machine Learning）有部分相似的地方。分布式机器学习涵盖了多个方面，包括把机器学习中的训练数据分布式存储、计算任务分布式运行、模型结果分布式发布等，参数服务器是分布式机器学习中一个典型的例子。参数服务器作为加速机器学习模型训练过程的一种工具，它将数据存储在分布式的工作节点上，通过一个中心式的调度节点调配数据分布和分配计算资源，以便更高效的获得最终的训练模型。而对于联邦学习而言，首先在于横向联邦学习中的工作节点代表的是模型训练的数据拥有方，其对本地的数据具有完全的自治权限，可以自主决定何时加入联邦学习进行建模，相对地在参数服务器中，中心节点始终占据着主导地位，因此联邦学习面对的是一个更复杂的学习环境；其次，联邦学习则强调模型训练过程中对数据拥有方的数据隐私保护，是一种应对数据隐私保护的有效措施，能够更好地应对未来愈加严格的数据隐私和数据安全监管环境。纵向联邦学习在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。比如有两个不同机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，因此用户的交集较大。但是，由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力的联邦学习。目前机器学习模型如逻辑回归、决策树等均是建立在纵向联邦学习系统框架之下的。联邦迁移学习在两个数据集的用户与用户特征重叠都较少的情况下，我们不对数据进行切分，而可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。比如有两个不同机构，一家是位于中国的银行，另一家是位于美国的电商。由于受到地域限制，这两家机构的用户群体交集很小。同时，由于机构类型的不同，二者的数据特征也只有小部分重合。在这种情况下，要想进行有效的联邦学习，就必须引入迁移学习，来解决单边数据规模小和标签样本少的问题，从而提升模型的效果。

近日，第一届DataFunSummit知识图谱在线峰会正式举行，40多位知名学者和技术专家出席本次峰会，共议“知识图谱的核心技术与前沿应用”。会上，华为云3位专家介绍了华为云知识计算解决方案的具体行业实践。“新一代人工智能技术要解决如何与各行各业深度融合的问题，要做到真正的落地，就需要把知识驱动和数据驱动结合起来，实现AI与行业知识的高效结合，同时利用知识、数据、算法和算力四个要素。这是AI未来发展的必然方向。华为云知识计算解决方案是业界首个全生命周期知识计算解决方案，是解决行业知识与AI结合的一条全新而且有效的路径。”华为算法专家段博士在《基于知识图谱的企业知识计算与应用》主题演讲中指出，华为云600多个AI项目的实践经验表明，AI进入企业核心业务系统后，平均能够带来18%的盈利能力提升。AI在行业落地的关键要素之一即知识与数据的双重驱动。基于华为云知识计算解决方案打造的企业级知识计算平台，可以一站式完成行业知识的获取、建模与管理，推动AI进入企业核心业务系统，使得机器的控制更加精准，辅助人高效分析和决策，辅助知识实现高效传承，释放行业专家的精力华为技术专家吴博士在《知识表征在测井综合解释中的应用》介绍了华为云知识计算解决方案在油气领域的具体实践。吴博士表示，储层预测是一个跨学科领域，这导致油气勘探开发流程复杂且漫长。在整个过程中，测井是发现油气田的重要一环，但测井专家人数稀缺、传统测井资料解释耗时耗力，常规的找油找气方法面临着严峻的挑战。当前油气勘探要实现“降本增效，增储上产”的目标，需要借助人工智能新技术实现智能勘探。华为云的知识计算解决方案不仅构建勘探开发领域的知识图谱，而且利用深度学习与图嵌入融合算法，训练油气层识别模型。此外，为解决跨区块、跨油田测井曲线不一致的问题，华为云知识计算解决方案还开发了知识迁移技术。借助华为云认知计算平台，大港油田对900口油井实施了油气水层的智能识别，平均解释时间缩短了70%，识别准确率达到测井解释专家水平。通过知识图谱的建设与应用，从业门槛显著降低，专家知识得到有效传承在知识图谱与智能部作分论坛中，华为诺亚方舟实验室研究员廖博士发表了《乐府：预训练语言模型在诗词对联生成中的应用》主题演讲。廖博士指出，中文传统诗歌对联的生成有着严格的要求，具体体现在格律、平仄、押韵等方面。华为云基于GPT训练的“乐府作诗机”不仅达成了上述作诗要求，同时词句组合多样性高、意境氛围感强，甚至能够达到专业诗人的水平，让人“难辨真假”。此外，华为团队用PMLM技术，在只有少量数据的情况下，完成了比近体诗生成难度更大的宋词生成任务。知识图谱成是人工智能迈向认知智能的强大技术助力。知识计算则是将各种形态的知识，通过包含知识图谱在内的一系列AI技术进行综合运用，实现对知识的抽取、表达、并协同大量数据进行计算，进而产生更为精准的模型，再次赋能给机器和人的一种全新方法。通过应用知识计算解决方案，企业将可以打造自己的知识计算平台，整合分散在不同介质、多种形态的企业数据，形成带有建议性的知识，有效用于预测分析和辅助决策，提高企业的经营效率。华为云知识计算解决方案已在油气、汽车、电力、金融等多个领域进行了成功实践，助力企业更好地完成数字化升级、智能化转型。华为云也将继续携手行业客户、伙伴一同构建行业知识计算解决方案，共建全场景智慧、践行普惠AI理念，创造行业新价值！

模态（Modality），虽然不是我们的日常用语，但却十分容易理解。我们每一天都会接触到各种不同来源和形式的信息。正如我们有视觉、听觉、嗅觉和触觉等，那么我们接触的信息就有视频、图像、文字、语音、味道、软硬度等，这每一种信息的形式就可以称作一种模态。模态的范围要比我们的感知能力更宽泛。除了视觉、听觉获得的模态信息，我们也可以利用传感器获得诸如雷达、红外线等不同感应数据的模态信息。此外，模态的类型定义也可以非常宽泛，比如我们可以把两种不同的语言当做是两种模态，把不同结构下采集的数据，也可以当做两种模态。比如，仅仅一个视频内容数据，就是一个高维度、多模态的数据信息，其中包含了标题、简介、评论、字幕等文本信息，也有视频帧的图像、声音，以及连贯动作视频片段的视觉、声音信息。多模态学习，从上世纪70年代就已经起步，几经发展，现在正进入到机器学习特别是深度学习的阶段。通常称为多模态机器学习（Multi-Modal Machine Learning ，MMML），试图通过机器学习的方法实现对多源模态信息进行分析和理解。当前主要热门的研究方向自然是对图像、视频、音频、语义之间的多模态学习。当前，多模态学习主要研究方向有多模态表示学习、模态间映射，多模态对齐、融合、协同学习等。多模态表示学习，研究如何将多个模态数据所蕴含的语义信息数值化为实值向量，通俗理解就是对多个模态的数据进行相关性编码，让不同模态建立起映射关系。按多模态表示共享的方式，主要分为公共表示学习和特异性表示学习，后者由于是分别学习不同模态的特征，可以应用于诸如零次学习、模态间映射、跨模态检索等任务中。模态间映射，研究如何将某一特定模态数据中的信息映射至另一模态。例如，给定一幅图像，通过机器学习得到这副图像的描述，或者给定一段文字，生成一幅匹配的图像。类似于我们学习中遇到的“看图说话”和“以题作画”的问题。模态间映射早已可以应用于语音合成、图像视频描述以及跨模态检索等应用中。此外，多模态对齐，主要研究如何识别不同模态之间的部件、元素的对应关系，以促进学习到的多模态表示更加精确，例如将电影画面、口型、语音、字幕的自动对齐；多模态融合，主要致力于不同模态间的模型与特征的整合，以获得更全面的特征，提高模型鲁棒性，并且保证模型在某些模态缺失时仍能有效工作；而多模态协同学习，主要考虑如何从信息丰富模态上学习的知识迁移到信息匮乏的模态，使各个模态的学习互相辅助。典型的方法包括多模态的零样本学习、领域自适应等。近两年，随着机器学习的模型的飞速进展，多模态学习中出现的映射质量问题、对齐的匹配度量以及融合噪声干扰等问题，都在实现很好的优化解决，为多模态的落地应用做好了准备。

P2Net：无监督的室内深度估计的块匹配和平面正则化论文名称：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation作者：Yu Zehao /Jin Lei /Gao Shenghua发表时间：2020/7/15论文链接：https://arxiv.org/abs/2007.07696开源地址：https://github.com/svip-lab/Indoor-SfMLearner推荐原因这篇论文提出了一个新的无监督室内场景下的深度估计网络P2Net，其创新点在于提出了两种新式无监督损失函数，论文发表在ECCV2020上。传统的无监督损失函数是以像素点为单位的图像重构损失，以及边缘敏感的梯度平滑损失。作者发现只在每个像素点处计算图像重构损失得到的特征表示并不够鲁棒，由此提出采用基于图像块表示的重构损失。具体地，采用已有的特征描述子算法DSO提取特征关键点，以关键点为中心构建局部窗口，计算整个窗口内的重构损失更具有鲁棒性。另外，考虑到无监督训练时的崩塌来源于室内场景下的无纹理区域，作者认为无纹理区域可以看做是一个平面，通过对图像提取超像素点从而构造平面区域，在同一平面上的像素点的深度信息应当具有一致性，由此提出平面一致性损失。作者提出的P2Net在NYU Depth V2和ScanNet两个公开数据集上取得了SOTA的效果。转自，AI科技评论，https://www.leiphone.com/news/202008/SUjAO0ZQwOFFm2Lq.html

一年一度的计算机视觉顶会IEEE计算机视觉及模式识别大会CVPR录用结果最近公布。据悉，今年CVPR投稿量与论文接收量相对往年继续上升，有效投搞量达7015篇，接收论文1663篇，接收率23.7%，与往年相比略有上升。华为诺亚方舟实验室此次有30篇论文被接收，包括两篇Oral，其中主要由正式或者实习员工完成的工作有24篇，主要由高校合作方完成的工作有6篇。研究方向涵盖模型压缩和能耗高效、神经网络搜索、语义理解、底层视觉、自动驾驶、无损数据压缩、可解释AI等多个方面。诺亚方舟实验室的这些文章，体现出工业界需求与学术前沿的紧密结合，围绕业务中的迫切需求，结合最新学术进展提出创新性解决方案，也让学术研究能够有具体落地。如这些文章中包含了去年AdderNet算法的继续演进AdderSR，以及最近广为流传的IPT网络等。下面挑选一些本次CVPR接收的代表性论文进行介绍。CVPR 2021代表性工作介绍AdderSR: Towards Energy Efficient Image Super-Resolution本论文研究使用加法网络解决图像超分的问题，降低超分网络的能耗。由于任务的属性不同，直接将加法网络应用到超分任务上损失严重，本文对该问题进行了深入分析。首先，加法算子难以学到恒等映射；除此之外，加法算子难以学到有效的高通滤波器，但是这两个特性对于图像处理任务非常重要。在此基础上，本文继而提出自连接加法单元和可学习的幂激活函数来调整特征分布、增强细节，有效解决该问题。实验表明，本文提出的加法超分网络可以有效减少2.5x能耗，并达到与原模型非常接近的效果。ReNAS: Relativistic Evaluation of Neural Architecture Search (Oral)一个有效的神经网络结构性能评估方案是神经网络结构搜索(NAS)成功的关键。现有NAS算法通常在训练时间有限的小型数据集上训练和评估神经结构。但这样一种粗糙的评估方式很难对神经网络结构进行准确评估。本文提出一种新的神经网络结构评价方案，旨在确定哪个神经网络结构的性能更好，而不是精确地预测性能绝对值。因此，我们提出了一个结构相对性能预测NAS (ReNAS)。我们将神经结构编码为特征张量，并利用预测器进一步细化表示。本方法可用于离散搜索，无需额外评估。在NASBench101数据集上抽样424个(搜索空间的0.1%)神经架构及其标签已经足够学习一个准确的架构性能预测器。在NAS-Bench-101和NAS-Bench-201数据集上，我们搜索的神经结构的准确性高于最新的方法，显示了本方法的优先性。Transformation Invariant Few-Shot Object Detection不同于以往基于元学习的小样本物体检测框架，本文从样本扩增的角度解决这一问题。本文提出了一种简单而有效的变换不变原则，它可以灵活地应用于各种元学习模型，以提高新类物体的检测性能。该方法通过对变换后图像的预测结果引入一致性正则，增强小样本物体检测模型的泛化能力。重要的是，这一方法可以处理未标记数据，从而解决半监督小样本物体检测问题。实验表明，本文提出的方法在标准小样本物体检测和半监督小样本物体检测上均有效。Joint-DetNAS: Upgrade Your Detector with NAS,Pruning and Dynamic DistillationJoint-DetNAS是一个融合了NAS、剪枝以及蒸馏的目标检测模型优化算法，由两个主要部分组成：a) 构建弹性教师模型池：通过一次渐进式收缩训练获得大量高质量模型，用于支撑教师模型搜索b)学生-教师网络联合优化：通过交迭搜索，动态寻找最优蒸馏组合。学生网络采用Network Morphism策略， 有效融合模型结构演化和剪枝技术。算法直接输出学生模型作为结果，无需额外训练。Joint-DetNAS搜索高效且优化效果显著：如对于R101-FPN模型，在FPS及FLOPS优化 50%的情况下，仍能有2.5%的AP提升。TransNAS-Bench-101: Improving Transferrability and Generalizability of Cross-Task Neural Architecture Search神经网络架构搜索（NAS）的最新突破将该领域的研究范围扩展到了更广泛的视觉任务和更多样化的搜索空间。现有的NAS方法大多是在单个任务上进行搜索，而跨任务搜索的算法正在涌现。为了降低计算成本和实验复杂性对跨任务算法研究的阻碍，本论文提出了TransNAS-Bench-101基准测试数据集。该数据集涵盖了图像分类、语义分割、自编码器等七个不同的视觉任务，并探索了两类不同的搜索空间：Cell-based搜索空间和Macro-based搜索空间。通过7,352个backbone在七个任务上的训练，我们提供了51,464个模型的详细训练数据。我们希望借助TransNAS-Bench-101来鼓励跨任务的NAS算法的出现，从而将跨任务搜索的效率和通用性提高到新的水平。Pre-Trained Image Processing Transformer随着现代硬件计算能力的快速增强，在大规模数据集上预训练的Transformer模型（例如BERT，GPT-3）表现出了巨大的潜力和超越传统模型的效果。我们提出了一种可用于底层视觉任务（例如，去噪，超分辨率和去雨）的预训练Transformer模型（IPT）。为了最大程度地挖掘Transformer的能力，我们利用具有大量自然图像的ImageNet数据集生成大量降质图像对，并在这些图像上使用多头和多尾机制对IPT模型进行预训练。另外，我们还引入了对比学习以来提升模型的泛化性能。我们提出的IPT模型可以在迅速微调后有效地用于不同的底层视觉任务中，并在多项任务上取得了SOTA的结果。Efficient Multi-Stage Video Denoising with Recurrent Spatio-Temporal Fusion论文提出了极简的视频去噪网络EMVD，旨在通过结合传统图像处理和深度学习构造高能效的像素级视频处理框架。基于时序融合、空间去噪和时空精细化等多阶段设计，结合可逆可学习变换，既递归地利用视频中自然固有的时空相关性渐进改善视频质量，又大大降低模型的复杂度。通过业界公开数据集和真实数据集评测，计算量仅5.38GFLOPS的EMVD精度和视觉效果超过300多倍计算量的SOTA网络模型，在硬件资源有限的终端设备上处理1080P视频可达50FPS，业界首次在终端设备上实现实时的高分辨率视频AI降噪算法。深度学习领域的图像降噪方法往往需要噪声图像和相应的干净图像配对来训练，然而在真实场景中构造训练配对是十分困难的。我们提出Neighbor2Neighbor：通过近邻采样，从含噪图像采样出两张“相似但不相同”的子图以构成配对数据来训练降噪网络，其中两张子图每个位置对应的像素在原噪声图像中都是近邻像素；同时，在损失函数中引入正则项来修正两张近邻子图“相似但不相同”导致的过度平滑问题。本方法仅需噪声图像数据集即可训练任意降噪网络，在RGB域合成数据和RAW域真实含噪图像数据集上均表现出优秀的降噪效果，性能接近基于“噪声-干净”图像配对进行训练的模型。相比于现有的自监督图像降噪方法，本方法既不需要构造配对数据的采集过程，也不需要改造网络结构，同时无需额外的噪声模型信息，在暗光人脸拍照、夜间户外拍照、医学图像降噪等场景具有较高的应用潜力。Focus on Local: Detecting Lane Marker from Bottom Up via Key Point当前车道线检测的主流方向分为基于分割和基于检测的方法两大类。前者生成像素级的语义类别并通过聚类生成不同实例的曲线，后者由每个锚点预测整根曲线，这两种方法都直接建模全局信息，存在聚类容易产生误差以及远端预测不准的问题。受到人体位姿估计方法的启发，我们首次将车道线检测转化为局部关键点估计及其关联问题，用距离信息建模局部关联关系。车道线局部建模相对于全局建模更加简单，复杂度更低，泛化性能更好。我们采用两个轻量化的模型，在车道线检测公开数据集CULane和TuSimple上取得了新的SOTA结果，另外在跨数据集的泛化性能上也展现出了相当大的优越性。综上，我们的方法证明了位姿估计方法在车道线检测中的应用潜力，为解决这一问题开辟了新的方向。AF2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network激光雷达点云的语义分割可视为自动驾驶的基石功能之一，精确的分割结果可以辅助物体检测、定位等核心感知任务。针对LiDAR语义分割问题，AF2S3Net以3D稀疏神经网络为框架，通过多分支、多层级主动特征融合实现了全局空间语义与局部细节的动态叠加，在单个网络中实现了单点网络与3D卷积网络的有机统一。同时为了降低特征融合后产生的梯度噪声，各分支原始特征被投票后送入特征选择模块，该模块通过压缩赋权过滤了部分噪声特征列向量，从而进一步提升了网络稳定性和泛化能力。在SemanticKITTI和nuScenes两大重量级LiDAR数据集语义分割竞赛排行榜上，AF2S3Net斩获双料冠军。QPP: Real-Time Quantization Parameter Prediction for Deep Neural Networks深度神经网络的权重和特征的量化可以降低能耗，提升计算效率，有助于促进其在手机等设备上的应用。量化感知训练的方法通常可以达到较好的效果，但是需要完整的数据集，但是这一点很多情况下难以满足。非训练量化的方法通常需要一个比较耗时的量化参数计算过程，否则量化精度损失比较严重。本文提出一种量化参数预测的算法，称为QPP。通过部分训练数据或者无标签数据的学习，QPP预测器在给定网络输入的情况下可以准确预测激活值的量化参数。预测器在避免复杂计算的同时有效保持了原始模型的精度。因此，本文的方法结合了动态量化和静态量化的优点。本文将QPP算法用在两个标准的动态量化算法上，并在分类、分割、超分等视觉任务上进行了广泛的验证。iVPF: Numerical Invertible Volume Preserving Flows for Lossless Compression在存储领域，高效无损压缩由于可以有效降低存储介质成本，故被广泛研究。AI算法通过学习数据分布规律并根据数据规律进行压缩，具有压缩率高等有点，具备良好的研究和应用前景。可逆流模型（Flow model）能准确拟合概率分布，理论压缩比高，但由于浮点误差问题，不能直接用于无损压缩任务。本方案第一次提出基于保体积流模型（volume preserving flow）的无损压缩方法吗，具有压缩率高，压缩吞吐率大的优点。首先，设计保体积流算子的数值计算方法，消除数据和待压缩隐变量的误差，保证无损压缩正确性；其次，设计基于保体积流模型的压缩和解压算法，它能达到最优的理论压缩率上界，压缩比高，压缩吞吐率高。本方法在图像数据集取得了最优的压缩率性能。CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models解耦表征学习旨在寻找低维的、由多个可解释因子组成的观测数据的隐表征。常用的变分自动编码器（VAE）的框架假设因子是独立的。然而，在实际场景中，具有语义的因素并不是必然独立的。相反，可能有一个潜在的描述这些因素相互依赖的因果结构。因此，我们提出了一个新的基于VAE的框架，名为因果VAE，其中包括带有因果结构的神经层，以此找到数据中的因果相关概念。在华为解耦数据集和真实数据集CelebA的实验表明，因果VAE学习的是语义上可解释的隐表征。我们可以控制某些语义因子，他们之间的信息可以通过表征之间的因果关系正确传递，生成反事实图片。

论文 1：Hyperbolic Graph Convolutional Neural Networks双曲图卷积神经网络论文地址：https://papers.nips.cc/paper/8733-hyperbolic-graph-convolutional-neural-networks.pdf开源地址：https://github.com/HazyResearch/hgcn论文 2：Hyperbolic Graph Neural Networks双曲图神经网络论文地址：https://papers.nips.cc/paper/9033-hyperbolic-graph-neural-networks.pdf开源：https://github.com/facebookresearch/hgnn论文 1 和论文 2 两者的思想是相似的，都希望把双曲空间的好处和图神经网络的表达能力结合起来，只不过具体的模型设计有所区别。前一篇论文主要研究了节点分类和连接预测任务，相比于欧氏空间中的方法大大降低了错误率，在Gromov双曲性分数较低（图和树结构的相似度）的数据集上表现尤其好。后一篇论文关注的重点是图分类任务。转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

面对千亿、亿量级的数据，如何保证系统稳定运行，如何快速落地、如何加快处理速度、如何节省成本？最近大火的云原生遇上GIS会产生怎样的火花呢？别着急！ 全球第三大、亚洲最大的地理信息系统（GIS）软件厂商超图软件来了！▼ 直播预告：时间：4月1日（周四）19:00 -20:00主题：《超图-场景+应用，带你“硬核”解析云原生GIS》直播码豆链接（点我赢海量码豆）▼ 看直播，参与论坛活动，赢海量码豆&GIS课程券&3999元SuperMap GIS开发者训练营入场券！！！（顶级专家线下小班授课）(小云不会告诉你说这是小云见过最“硬核”的直播礼物，距离踏入超图工作成为大神只差这一步！）（往期训练营精彩课程回顾，戳我）▼ ROUND1:提问GET码豆+3999元超图开发者训练营入场券在本帖回复#超图云原生GIS#+你最想提问专家的问题，便可获得200码豆(一个id仅为一个提问可获得码豆，但可提多个问题参与优秀问题评选，限前500名）。（例：#超图云原生GIS# 云原生GIS能做什么，SuperMap云原生GIS价值何在?）并且超图专家将挑选出6个问题论坛和社群回答，4名优秀问题赠送3000码豆，2名最佳问题赠送价值3999元超图软件开发者训练营入场券！！！                                               （ *小云碎碎念：大家一定要好好提问，抓住这次机会哦~） （扫我加入社群）本次活动所有奖励领取，必须加入社群并收看直播,否则无效！！！ROUND2:完成云原生GIS实操Demo送码豆***本实验旨在让用户了解超图云原生GIS技术，学会如何快速构建应用，实验完成度决定你所获码豆的数量。一、青铜，500码豆：提供一张安装iManager for Kubernetes的界面截图（进度条100%）二、白银，1000码豆：提供一张iManager for Kuberetes的管理界面截图（配置许可后）三、铂金，5000码豆：提供一张GIS云套件管理界面截图1、实验文档请参见附件文件，如果有问题需要咨询，请在本次活动专属群内获得帮助。2、为了方便码豆奖励计算，每一个奖励任务的完成均需截图发帖，格式为#青铜（白银、铂金）任务，已完成#+截图，（例：小云完成了铂金任务，则需要将青铜、白银、铂金奖励任务完成的截图按照格式要求回帖3次，否则只可得到对应回帖码豆礼品奖励。）3、所有截图必须包括【1、上述各任务的完成、2、华为云账号、3、本地时间】，严禁偷图、盗图。                                                                                                                                                                           （截图示例） （扫我加入社群）本次活动所有奖励领取，必须加入社群并收看直播,否则无效！ROUND3:看直播，签到得500码豆，赢3999元超图开发者训练营入场券+200元917GIS学院课程券1、直播期间（4月1日，周四19：00-20：00）。将任意时间段的收看截图回帖至本帖，即可获得加码500码豆。（限前1000名）直播链接（点我GET码豆和直播礼物）（观看直播请截图回帖，这样才可以把码豆发到你的账户哦~） 2、整场直播60分钟，共进行4轮抽奖，奖品如下超图917大学GIS学院网址：http://edu.supermap.com/#/Index  （扫我加入社群）本次活动所有奖励领取，必须加入社群并收看直播,否则无效！4月1日（周四）19:00-20:00一定要来看直播！和小云一起探索如何部署云原生GIS，解析云原生GIS技术和应用解决方案吧！说不定获得超图917大学GIS学院开发者训练营入场券，变大神的就是你！温馨提示： 1）请务必使用个人账号参与活动（IAM、企业账号等账号参与无效）；2）本次活动所有奖励将于活动结束后5个工作日内发放，所有奖励领取，必须加入社群并且观看直播，否则无效。3）所有获得华为奖品的用户，请于获奖后3个工作日内完成实名认证，否则视为放弃奖励；4）本次活动一个实名认证账号只能对应一个获奖人，如同一账号填写多个不同获奖人，不予发放奖励；5）活动参与需遵守《华为社区常规活动规则》.6）本活动最终解释权归华为云所有。本期活动已结束，现将获奖用户公布如下：一、最佳问题——超图gis开发者训练营入场券1、16层+busyfan+寒六先生 #目前的主要应用场景有哪些？客户对使用云原生GIS有哪些前置条件？2、33层+hw28810968+路遥知马力，云原生GIS能做什么，是否需要专业的知识，是否需要一定的软硬件支持，运行环境是什么？二、优秀问题——3000 码豆1、3层 +hw626725 想赚钱的洋洋子 #超图云原生GIS#+很想了解超图云原生GIS的价值都有哪些？2、17 层+hw84740751 花溪  云原生GIS中SuperMap做国土资源一张图是否还是和以前一样？还是单单把一些功能云化了？3、43层 +ZhangXingYu0401 ZXY  #超图云原生GIS#SuperMap云原生GIS技术体系四个层面：GIS数据云原生存储与分布式计算、GIS微服务架构与服务治理、基于容器的多节点部署与弹性伸缩、一体化智能运维与管理，分别各有什么优势？4、77层+ ice18855953528 望闻问切ice  #超图云原生GIS#＋差异化优势在哪里呢？主要是针对什么场景解决了哪些痛点问题？三、完成云原生GIS部署——码豆大礼包序号楼层华为云id论坛名码豆114a565855829超级蛋蛋6500256zhenyuxu十年树木6500369hw57984361笨笨20206500466hwstaff_wwx883698skywalkerwty500593wWX883698skywalkerwty!6500687fjqsun小小20186500750hw11326648Drawn-rays6500四、码豆奖励汇总表华为云ID码豆华为云ID码豆a5658558297200kaiwen231500hw113266487200chenxi2111500zhenyuxu7200maoning2019500hw579843617200hw23597877500fjqsun6700hw65491762500wWX8836986700cai_hy500hw847407513700sunshine_huawei500ZhangXingYu04013700bigdata1500hw6267253200hw98541549500ice188559535283200hw02116591500hw05669415700hw27878554200zhangyibaluobo700linghz666200hw36946664700hw56444785200busyfan700zhangpaodan200hw78999453700BY_FireFlyFlower200hw35128823700lyzml1991200hw63492350700lml-smlie200zy6501700A1ice_Coo200zy1586700hw78949957200hw86105405700hw26536804200py6840700hw46433192200hw55101971700zhengxx6688200hw84074913700hw28810968200hw36175659700coolanimals200hw52825744700hw46425134200liuxifeng700franco52576200hw17383096700Ethins200hw09974076700khg305387543200hwstaff_wwx883698700csdn_zeke200yizhangl700oznar119200xj120141121700hw75771608200listen2you700hw73261881200bruce20700hw94545161200hw45873041700east119200hw12320743700hw05593987200canfen500beyondalan200qiushu2020500huohaohao200hw31711871500linxiaohao200hw35544043500suchao444200hw51364135500Gaojifeng123200hw63991709500hw46969185200qimiao2111500meet00200hw79926743500hw71255899200qimiao2112500hw87971254200qimiao2113500changgaogong200heiyouyoubaluobo500DouDou_200mi_mic500huang_guoqing200hw73501220500sunxiaobei200momingqimiao2111500hw25373680200hw37344076200sz5989200hw57269863200hjh15003396976200注：1、所有中奖用户在申诉时间结束前必须完成实名认证并确定华为云账号是否正确，否则码豆无法发放，视为放弃领奖。2、本次活动申诉时间：2021年4月9日12：00前

初识：第一次接触华为认证是在大三的暑假，当时报名参加了华为云云计算夏令营，第一次认识到HCIA、HCIP和HCIE，通过一个暑假的学习，很遗憾没有去考HCIA。认知：时隔一年后，快毕业的时候接触到了华为云，通过Java全栈课程、求职暑假训练营、7天训练营以及其他活动，慢慢的接触华为云课程，完成了人生的第一个微认证：公众号后台消息回复，当时激动的心情，感觉自己突然有用了，接着又慢慢接触到其他微认证，鲲鹏、软开等等。相伴：今年由于工作的原因还没有继续完成微认证，列表里已经购买了十几个微认证，将在接下去的时间完成它们，目的是学习更多的知识，也将在5月12日之前完成第一个HCIA认证！送自己及学习路上的同伴，加油，向着美好的未来以及憧憬着的希望去奔跑，他们就在你眼前！

论文：Multi-relational Poincaré Graph Embeddings多关系庞加莱图嵌入论文地址：https://papers.nips.cc/paper/8696-multi-relational-poincare-graph-embeddings.pdf    论文在它们的多关系庞加莱模型（MuRP）的知识图嵌入中用上了双曲几何。直觉上，正确的三元组客体应该落在主体附近的某个超球面中，相关的这些决策边界是由学习到的参数描绘的。作者用来优化模型的是黎曼几何SGD（大量数学警告）。在两个标准的评测数据集 WN18RR 和 FB15k-237 上，MuRP 的效果比对比模型更好，因为它“更具备双曲几何”而且也更适用于树结构（如果能像上面的论文一样计算一下Gromov双曲性分数就更好了）。更有趣的是，MuRP只需要40维，得到的准确率就和欧氏空间模型用100维甚至200维向量的结果差不多！明显可以看到，双曲空间的模型可以节省空间维度和存储容量，同时还不需要有任何精度的牺牲。    还有一个双曲知识图嵌入比赛，获奖方法名为 RotationH，论文见 https://grlearning.github.io/papers/101.pdf  ，其实和上面的双曲图卷积神经网络论文的作者是同一个人。这个模型使用了双曲空间的旋转（思路上和RotatE https://arxiv.org/abs/1902.10197 模型相似，不过RotatE是复数空间的模型），也使用了可学习的曲率。RotationH 在WN18RR上刷新了最好成绩，而且在低维的设定下也有很好的表现，比如，32维的RotationH就能得到和500维RotatE差不多的表现。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文：Group Representation Theory for Knowledge Graph Embedding链接：https://grlearning.github.io/papers/15.pdf    论文从群论的角度来研究KG嵌入。结果表明，在复空间中可以对阿贝尔群进行建模，且证明了RotatE（在复空间中进行旋转）可以表示任何有限阿贝尔群。有没有被“群论”、“阿贝尔群”这些数学名词吓到？不过没关系，这篇文章里有对相关的群论知识做简要介绍。不过这个工作在如何将这个工作拓展到1-N或N-N的关系上，还有很大的gap。作者提出一个假设，即或许我们可以用四元数域H来代替复数空间C。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文5：Quaternion Knowledge Graph Embeddings链接：https://papers.nips.cc/paper/8541-quaternion-knowledge-graph-embeddings.pdf        在这次NeurIPS' 19上，这个问题被 Zhang et al. 解决了。他们提出了QuatE，一个四元数KG嵌入模型。什么是四元数？这个需要说清楚。简单来说，复数有一个实部，一个虚部，例如a+ib；而四元数，有三个虚部，例如 a+ib+jc+kd。相比复数会多出两个自由度，且在计算上更为稳定。QuatE将关系建模为4维空间（hypercomplex space）上的旋转，从而将complEx 和 RotatE统一起来。在RotatE中，你有一个旋转平面；而在QuatE中，你会有两个。此外，对称、反对称和逆的功能都保留了下来。与RotatE相比，QuatE在 FB15k-237上训练所需的自由参数减少了 80%。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

论文 ：Quantum Embedding of Knowledge for Reasoning链接：https://papers.nips.cc/paper/8797-quantum-embedding-of-knowledge-for-reasoning.pdf论文 提出了 Embed2Reason（E2R）的模型，这是一种受量子逻辑启发的量子KG嵌入方法。该方法可以嵌入类（概念）、关系和实例。不要激动，这里面没有量子计算。量子逻辑理论（QL）最初是由伯克霍夫和冯诺依曼于1936年提出，用于描述亚原子过程。E2R的作者把它借用过来保存KG的逻辑结构。在QL中（因此也是E2R中），所有一元、二元以及复合谓词实际上都是某些复杂向量空间的子空间，因此，实体及其按某种关系的组合都落在了特定的子空间内。本来，分布定律a AND（b OR c）=（a AND b）OR（a AND c）在QL中是不起作用的。但作者用了一个巧妙的技巧绕开了这个问题。作者在论文中还介绍了如何使用QL对来自描述逻辑（DL）的术语（例如包含、否定和量词）进行建模！实验结果非常有趣：在FB15K上，E2R产生的Hits @ 1高达96.4％（因此H@10也能达到）；不过在WN18上效果不佳。事实证明，E2R会将正确的事实排在首位或排在top10以下，这就是为什么在所有实验中H @ 1等于H @ 10的原因。补充一点，作者使用LUBM作为演绎推理的基准，该演绎推理包含了具有类及其层次结构的本体。实际上，这也是我关注的焦点之一，因为标准基准数据集FB15K（-237）和WN18（RR）仅包含实例和关系，而没有任何类归因。显然，大型知识图谱具有数千种类型，处理该信息可以潜在地改善链接预测和推理性能。我还是很高兴看到有越来越多的方法（如E2R）提倡将符号信息包含在嵌入中。    转自，杨晓凡，https://www.leiphone.com/news/201912/GsRSElsUReef0z7o.html

课程链接：https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD048+Self-paced/courseware/fb989107b5ea4f368fb11447ea2d8b63/a75cf56dbace4384993b27d81160bd92/ 华为云 · 7天实战营系列活动2021年 -- 7天玩转PostgreSQL基础实战营让你7天轻松掌握PG！完成打卡任务，将有机会获得三合一数据线、神秘潮酷盲盒、旅行五件套等多重豪礼哦~限额免费招募，快来报名吧！活动参与流程  Step1. 请点击链接，先报名活动活动报名链接：https://developer.huaweicloud.com/activity/PostgreSQL.html（本次活动涉及代金券发放，请务必填写，数量有限，先到先得）Step2. 添加群助手好友并回复“PostgreSQL”或“PG”，免费入群！Step3. 入群后，群助手会通知开课时间；Step3. 开课后，请按照节奏学习视频课程，完成每日打卡任务（打卡任务完成后，请在本帖回复截图） 活动时间  招募期：2021.03.23-2021.04.07培训期：2021.04.08-2021.04.16课程大纲  专家介绍活动奖励活动规则1.活动参与方式：招募期流程：(1)注册华为云中国站账号并登录；(2)点击活动页中的“立即报名”按钮先填写报名表；(3)扫描二维码，添加社群助手微信（18209232786 ），回复“PostgreSQL”或“PG”，小助手拉您入群。训练期流程：(1)微信社群助手每日发布当日课程内容及规则，学员完成任务并打卡成功，获得阶段性奖励。 训练期内打卡规则：(1) 打卡时间：每日0:00~23:59；(2) 打卡方式：Step1：请打开当天的“打卡作业”（每一章的第3小节）；Step2：按照要求完成作业；Step3：按以下格式在打卡贴内回复完成后的打卡截图：第一行：DayX（X=1到7）+华为云账号+微信昵称            （打卡作业截图）eg：Day1+grandmaster+华为云1号小助手      （打卡作业截图）(3) 打卡须知：① 打卡需按照打卡方式要求操作；② 如当天打卡任务有打卡示例，学员所回复打卡截图中必须需显示华为云中国站账号，且为当日操作截图；③ 采用闯关打卡模式，每日只计算一次有效打卡；④ 若当日未进行打卡，训练期内设置3次补打卡机会，超过3次不可再补打卡；⑤ 社群助手将对每日的打卡内容进行审核，审核周期为3~5个工作日，未按照要求上传打卡任务，将被视为无效打卡，不计入打卡天数。2.训练期内评奖方式：(1)完成第1天打卡完成第1天打卡任务，可获得抽奖机会，奖品为三合一数据线1个 ；奖品数量上限为80份，中奖概率（≤100%）为“80/完成连续打卡1天任务的总人数”；兑奖时间不可超过训练期第二天，过期无效。(2)连续打卡3天连续完成3天打卡可获得抽奖机会，奖品为精美盲盒奖励1份，奖品数量上限为50份，中奖概率（≤100%）为“50/完成连续打卡3天任务的总人数”；兑奖时间不可超过训练期第四天，过期无效。(3)连续打卡7天连续完成7天打卡可直接获得华为云云享专家直通车机会，奖品为旅行5件套1个，奖品数量上限为30份，中奖概率（≤100%）为“30/完成连续打卡7天任务的总人数”；兑奖时间不可超过训练期第八天，过期无效。3.奖品发放说明：每位参加活动的用户理解并同意，为联系获奖用户以及奖品发放的需要，用户须在参与活动之时提供诸如姓名、联系方式、电子邮箱、通讯地址等真实个人信息，活动主办方将仅为前述目的以及适用法律规定的最小限度内收集和使用用户的个人信息,本次活动所收集的个人信息将在活动结束后删除。（用户在向华为云提交个人信息之前，应阅读、了解华为云《隐私政策声明》；用户参加本活动视为理解并同意华为云《隐私政策声明》，华为云《隐私政策声明》网页地址如下：https://www.huaweicloud.com/declaration/sa_prp.html）。获奖用户在领奖界面填写获奖信息，活动结束且用户填写完整领奖信息后14个工作日内，将统一发出奖品，所有实物奖品包邮，不额外收取任何费用。由于获奖用户自身原因（包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过30天未领取等）造成奖品无法发送的，视为获奖用户放弃领奖。为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格。本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。云服务协议链接的网址：http://www.huaweicloud.com/declaration/sa_cua.html如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。