• [技术干货] NOVA-BERT:在Transformer框架下“非侵入地”融入序列旁信息
    华为诺亚方舟实验室语音语义团队联合推荐搜索团队提出一种序列推荐模型NOVA-BERT《Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation》,已被AAAI 2021接收。(论文地址:http://arxiv.org/abs/2103.03578)。该工作研究如何在Transformer框架下高效地融入推荐问题中的各类序列旁信息,并提出一种不侵入主信息表示空间的旁信息融合机制:Non-invasive Self-attention。作者在两个公开数据集与产品数据集上进行验证,实验结果表明,非侵入式的旁信息融合方式相比传统的旁信息融合方式,有更加稳定的融合收益。研究背景序列推荐是根据用户与系统的历史交互行为预测用户未来兴趣点的推荐任务。除了建模主信息(Item ID,即预测对象)外,如何利用丰富的序列旁信息(例如item类别,用户行为发生时间等)提升预测效果,是一个非常重要的研究课题。目前已有工作BERT4Rec [1]基于BERT预训练任务验证了推荐任务中Transformer强大的序列建模能力,然而Transformer模型最初的设计并未专门考虑多序列建模(每个序列点都有丰富旁信息)的情况。一种自然的做法是直接在Embedding层将同一个位置点的所有旁信息连同主信息进行融合,得到融合表示后再进行序列建模,如图1 (a)所示。我们通过试点试验发现,直接在Embedding层将所有信息融合后再进行序列建模,相比只使用主信息建模,效果提升收益较小,甚至可能损坏模型预测效果。因此,本文提出一种不侵入主信息表示空间的旁信息融合方式,希望能更加安全鲁棒地使用各类序列旁信息。具体地,两种不同的旁信息融合方式定义如下:序列推荐是根据用户与系统的历史交互行为预测用户未来兴趣点的推荐任务。除了建模主信息(Item ID,即预测对象)外,如何利用丰富的序列旁信息(例如item类别,用户行为发生时间等)提升预测效果,是一个非常重要的研究课题。目前已有工作BERT4Rec [1]基于BERT预训练任务验证了推荐任务中Transformer强大的序列建模能力,然而Transformer模型最初的设计并未专门考虑多序列建模(每个序列点都有丰富旁信息)的情况。一种自然的做法是直接在Embedding层将同一个位置点的所有旁信息连同主信息进行融合,得到融合表示后再进行序列建模,如图1 (a)所示。我们通过试点试验发现,直接在Embedding层将所有信息融合后再进行序列建模,相比只使用主信息建模,效果提升收益较小,甚至可能损坏模型预测效果。因此,本文提出一种不侵入主信息表示空间的旁信息融合方式,希望能更加安全鲁棒地使用各类序列旁信息。具体地,两种不同的旁信息融合方式定义如下:(1)侵入式的旁信息融合:所有旁信息和主信息在Embedding层进行融合,序列建模对象为融合后的向量表示;(2)非侵入式的旁信息融合:如图1(b)所示,旁信息并至始至终不和主信息进行融合,而是在Self-attention机制中通过影响不同位置点的主信息之间的关联强度,来发挥旁信息作用。方法概述上图2为BERT4Rec [1]框架,是推荐领域第一个使用BERT预训练任务进行序列建模的框架。在BERT4Rec框架下,最直接的旁信息融合方式是将同一个位置点的所有信息通过融合器F进行融合,得到融合表示上式中ID表示Item ID主信息,也是最终模型预测的信息类型,和分别表示该位置的Item旁信息(例如Item类别)和用户行为旁信息(例如用户评分)。以融合表示作为最底层输入,模型通过多层Transformer block建模序列,从而预测特定时刻的主信息。上述建模过程中,融合表示空间不再是独立的主信息表示空间,因此我们称该旁信息融合方式为“侵入式”旁信息融合。与之相反,我们提出的Non-invasive Self-attention机制希望能够在保证主信息空间独立的情况下,旁信息仍能发挥作用。在Embedding层,除了生成上述融合信息对应的序列外,还生成一个仅包含主信息的序列:如图3所示,在Transformer block中,包含了旁信息的融合表示序列被建模在Query,Key向量中,而Value向量仅建模主信息序列:上述机制保证了Value向量始终为不同位置主信息的线性加权,从而保证了每一层Transformer block的输出始终维持在主信息空间,这和最终要预测的对象空间保持了一致。我们称上述旁信息融合机制为Non-invasiveSelf-attention,并基于此构建了NOVA-BERT框架,如下图4所示。在NOVA-BERT框架中,旁信息在每一层都需要通过Non-invasive Self-attention机制进行融合。实验验证我们在公开数据集Movie-Lens以及工业级产品数据集上验证NOVA-BERT算法,对比基线模型有不使用旁信息的BERT4Rec及其侵入式旁信息融合版本。准确性从上图实验结果可以看出,相比于原始的只用ID建模的原始方法,通过非侵入式的旁信息融合,包括加和、拼接和门控,NOVA-BERT算法在不同数据集上均取得最优表现。可以看到,直接地侵入式地信息融合方法对精度带来有限,甚至可能带来负向的提升。另外,NOVA方式在不同数据集上带来的提升不同,这主要与数据集的样本量大小相关。旁信息消融分析上图展示了在ML-1m数据集上物品属性旁信息(出版年份等)与用户行为旁信息(评分)对模型的贡献度,None表示不加入额外信息,All表示加入全部信息。从结果可见,融合用户行为信息旁信息比融合物品属性旁信息更有效。模型可视化我们可视化了NOVA-BERT最底层的注意力得分分布,考察模型的可解释性。上图中左右两个4行6列分布图分别来自BERT4Rec以及NOVA-BERT算法在随机选出的6个物品上4个头的注意力得分,颜色越深代表相关性越高。由于是物品与物品间注意力得分,对角线上表示物品与其本身的注意力。时序上接近的Item往往可能共享相同的Item旁信息,可以看到NOVA-BERT沿对角线周边呈现出更强的局部注意趋势,说明NOVA-BERT有效建模了序列中的旁信息。总结本工作提出了一种用于序列旁信息融合的非侵入式自注意力机制,并以此为基础构建了NOVA-BERT序列推荐模型。和传统的旁信息融合思路不同,NOVA-BERT并不将旁信息直接融合到主信息(Item ID)表示中,而是将旁信息作为辅助信号引导主信息之间进行更好的相互关联,这样可以保持序列建模中主信息表示空间和旁信息空间的独立性,避免过多旁信息带来的主信息淹没。NOVA-BERT在两个公开数据集和商业数据集上均呈现出比传统的“侵入式”方式更好的融合收益,同时,线上A/B测试也表明NOBA-BERT在序列建模上优于基线算法。参考文献[1] Sun, F.; Liu, J.; Wu, J.; Pei, C.; Lin, X.; Ou,W.; and Jiang, P. 2019. BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 1441–1450.原创 诺亚方舟实验室
  • [技术干货] 表现优于ViT和DeiT,华为利用内外Transformer块构建新型视觉骨干模型TNT
    华为诺亚实验室的研究者提出了一种新型视觉 Transformer 网络架构 Transformer in Transformer,它的表现优于谷歌的 ViT 和 Facebook 的 DeiT。论文提出了一个全新的 TNT 模块(Transformer iN Transformer),旨在通过内外两个 transformer 联合提取图像局部和全局特征。通过堆叠 TNT 模块,研究者搭建了全新的纯 Transformer 网络架构——TNT。值得注意的是,TNT 还暗合了 Geoffrey Hinton 最新提出的 part-whole hierarchies 思想。在 ImageNet 图像识别任务上,TNT 在相似计算量情况下的 Top-1 正确率达到 81.3%,高于 DeiT 的 79.8% 和 ViT 的 77.9%。Transformer 网络推动了诸多自然语言处理任务的进步,而近期 transformer 开始在计算机视觉领域崭露头角。例如,DETR 将目标检测视为一个直接集预测问题,并使用 transformer 编码器 - 解码器架构来解决它;IPT 利用 transformer 在单个模型中处理多个底层视觉任务。与现有主流 CNN 模型(如 ResNet)相比,这些基于 transformer 的模型在视觉任务上也显示出了良好的性能。谷歌 ViT(Vision Transformer)模型是一个用于视觉任务的纯 transformer 经典技术方案。它将输入图片切分为若干个图像块(patch),然后将 patch 用向量来表示,用 transformer 来处理图像 patch 序列,最终的输出做图像识别。但是 ViT 的缺点也十分明显,它将图像切块输入 Transformer,图像块拉直成向量进行处理,因此,图像块内部结构信息被破坏,忽略了图像的特有性质。图 1:谷歌 ViT 网络架构。在这篇论文中,来自华为诺亚实验室的研究者提出一种用于基于结构嵌套的 Transformer 结构,被称为 Transformer-iN-Transformer (TNT) 架构。同样地,TNT 将图像切块,构成 Patch 序列。不过,TNT 不把 Patch 拉直为向量,而是将 Patch 看作像素(组)的序列。论文链接:https://arxiv.org/pdf/2103.00112.pdf具体而言,新提出的 TNT block 使用一个外 Transformer block 来对 patch 之间的关系进行建模,用一个内 Transformer block 来对像素之间的关系进行建模。通过 TNT 结构,研究者既保留了 patch 层面的信息提取,又做到了像素层面的信息提取,从而能够显著提升模型对局部结构的建模能力,提升模型的识别效果。在 ImageNet 基准测试和下游任务上的实验均表明了该方法在精度和计算复杂度方面的优越性。例如, TNT-S 仅用 5.2B FLOPs 就达到了 81.3% 的 ImageNet top-1 正确率,这比计算量相近的 DeiT 高出了 1.5%。方法图像预处理图像预处理主要是将 2D 图像转化为 transformer 能够处理的 1D 序列。这里将图像转化成 patch embedding 序列和 pixel embedding 序列。图像首先被均匀切分成若干个 patch,每个 patch 通过 im2col 操作转化成像素向量序列,像素向量通过线性层映射为 pixel embedding。而 patch embedding(包括一个 class token)是一组初始化为零的向量。具体地,对于一张图像,研究者将其均匀切分为 n 个 patch:其中是 patch 的尺寸。Pixel embedding 生成:对于每个 patch,进一步通过 pytorch unfold 操作将其转化成 m 个像素向量,然后用一个全连接层将 m 个像素向量映射为 m 个 pixel embedding:其中和,c 是 pixel embedding 的长度。N 个 patch 就有 n 个 pixel embedding 组: Patch embedding 生成:初始化 n+1 个 patch embedding 来存储模型的特征,它们都初始化为零:其中第一个 patch embedding 又叫 class token。Position encoding:对每个 patch embedding 加一个 patch position encoding:  对每个 pixel embedding 加一个 pixel position encoding: 两种 Position encoding 在训练过程中都是可学习的参数。图 2:位置编码。Transformer in Transformer 架构TNT 网络主要由若干个 TNT block 堆叠构成,这里首先介绍 TNT block。TNT block 有 2 个输入,一个是 pixel embedding,一个是 patch embedding。对应地, TNT block 包含 2 个标准的 transformer block。如下图 3 所示,研究者只展示了一个 patch 对应的 TNT block,其他 patch 是一样的操作。首先,该 patch 对应的 m 个 pixel embedding 输入到内 transformer block 进行特征处理,输出处理过的 m 个 pixel embedding。Patch embedding 输入到外 transformer block 进行特征处理。其中,这 m 个 pixel embedding 拼接起来构成一个长向量,通过一个全连接层映射到 patch embedding 所在的空间,加到 patch embedding 上。最终,TNT block 输出处理过后的 pixel embedding 和 patch embedding。图 3:Transformer in Transformer 架构。通过堆叠 L 个 TNT block,构成了 TNT 网络结构,如下表 1 所示,其中 depth 是 block 个数,#heads 是 Multi-head attention 的头个数。表 1:TNT 网络结构参数。实验ImageNet 实验研究者在 ImageNet 2012 数据集上训练和验证 TNT 模型。从下表 2 可以看出,在纯 transformer 的模型中,TNT 优于所有其他的纯 transformer 模型。TNT-S 达到 81.3% 的 top-1 精度,比基线模型 DeiT-S 高 1.5%,这表明引入 TNT 框架有利于在 patch 中保留局部结构信息。通过添加 SE 模块,进一步改进 TNT-S 模型,得到 81.6% 的 top-1 精度。与 CNNs 相比,TNT 的性能优于广泛使用的 ResNet 和 RegNet。不过,所有基于 transformer 的模型仍然低于使用特殊 depthwise 卷积的 EfficientNet,因此如何使用纯 transformer 打败 EfficientNet 仍然是一个挑战。表 2:TNT 与其他 SOTA 模型在 ImageNet 数据集上的对比。在精度和 FLOPS、参数量的 trade-off 上,TNT 同样优于纯 transformer 模型 DeiT 和 ViT,并超越了 ResNet 和 RegNet 代表的 CNN 模型。具体表现如下图 4 所示:图 4:TNT 与其他 SOTA 模型在精度、FLOPS 和参数量指标上的变化曲线。特征图可视化研究者将学习到的 DeiT 和 TNT 特征可视化,以进一步探究该方法的工作机制。为了更好地可视化,输入图像的大小被调整为 1024x1024。此外,根据空间位置对 patch embedding 进行重排,形成特征图。第 1、6 和 12 个 block 的特征图如下图 5(a) 所示,其中每个块随机抽取 12 个特征图。与 DeiT 相比,TNT 能更好地保留局部信息。研究者还使用 t-SNE 对输出特征进行可视化(图 5(b))。由此可见,TNT 的特征比 DeiT 的特征更为多样,所包含的信息也更为丰富。这要归功于内部 transformer block 的引入,能够建模局部特征。图 5:DeiT 和 TNT 特征图可视化。迁移学习实验为了证明 TNT 具有很强的泛化能力,研究者在 ImageNet 上训练的 TNT-S、TNT-B 模型迁移到其他数据集。更具体地说,他们在 4 个图像分类数据集上评估 TNT 模型,包括 CIFAR-10、CIFAR-100、Oxford IIIT Pets 和 Oxford 102 Flowers。所有模型微调的图像分辨率为 384x384。下表 3 对比了 TNT 与 ViT、DeiT 和其他网络的迁移学习结果。研究者发现,TNT 在大多数数据集上都优于 DeiT,这表明在获得更好的特征时,对像素级关系进行建模具有优越性。表 3:TNT 在下游任务的表现。总结该研究提出了一种用于视觉任务的 transformer in transformer(TNT)网络结构。TNT 将图像均匀分割为图像块序列,并将每个图像块视为像素序列。本文还提出了一种 TNT block,其中外 transformer block 用于处理 patch embedding,内 transformer block 用于建模像素嵌入之间的关系。在线性层投影后,将像素嵌入信息加入到图像块嵌入向量中。通过堆叠 TNT block,构建全新 TNT 架构。与传统的视觉 transformer(ViT)相比,TNT 能更好地保存和建模局部信息,用于视觉识别。在 ImageNet 和下游任务上的大量实验都证明了所提出的 TNT 架构的优越性。 
  • [技术干货] 深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点
    作者:Sukanya Bag激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开(1)或关(0)输出的数字电路激活函数。因此,激活函数是确定神经网络输出的数学方程式,本文概述了深度学习中常见的十种激活函数及其优缺点。 首先我们来了解一下人工神经元的工作原理,大致如下:上述过程的数学可视化过程如下图所示:1. Sigmoid 激活函数 Sigmoid 函数的图像看起来像一个 S 形曲线。 函数表达式如下:在什么情况下适合使用 Sigmoid 激活函数呢?Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化;用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1,因此 Sigmoid 函数非常合适;梯度平滑,避免「跳跃」的输出值;函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率;明确的预测,即非常接近 1 或 0。Sigmoid 激活函数有哪些缺点?倾向于梯度消失;函数输出不是以 0 为中心的,这会降低权重更新的效率;Sigmoid 函数执行指数运算,计算机运行得较慢。2. Tanh / 双曲正切激活函数tanh 激活函数的图像也是 S 形,表达式如下:tanh 是一个双曲正切函数。tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。首先,当输入较大或较小时,输出几乎是平滑的并且梯度较小,这不利于权重更新。二者的区别在于输出间隔,tanh 的输出间隔为 1,并且整个函数以 0 为中心,比 sigmoid 函数更好;在 tanh 图中,负输入将被强映射为负,而零输入被映射为接近零。注意:在一般的二元分类问题中,tanh 函数用于隐藏层,而 sigmoid 函数用于输出层,但这并不是固定的,需要根据特定问题进行调整。3. ReLU 激活函数ReLU 激活函数图像如上图所示,函数表达式如下:ReLU 函数是深度学习中较为流行的一种激活函数,相比于 sigmoid 函数和 tanh 函数,它具有如下优点:当输入为正时,不存在梯度饱和问题。计算速度快得多。ReLU 函数中只存在线性关系,因此它的计算速度比 sigmoid 和 tanh 更快。当然,它也有缺点:Dead ReLU 问题。当输入为负时,ReLU 完全失效,在正向传播过程中,这不是问题。有些区域很敏感,有些则不敏感。但是在反向传播过程中,如果输入负数,则梯度将完全为零,sigmoid 函数和 tanh 函数也具有相同的问题;我们发现 ReLU 函数的输出为 0 或正数,这意味着 ReLU 函数不是以 0 为中心的函数。4. Leaky ReLU它是一种专门设计用于解决 Dead ReLU 问题的激活函数:ReLU vs Leaky ReLU为什么 Leaky ReLU 比 ReLU 更好?Leaky ReLU 通过把 x 的非常小的线性分量给予负输入(0.01x)来调整负值的零梯度(zero gradients)问题;leak 有助于扩大 ReLU 函数的范围,通常 a 的值为 0.01 左右;Leaky ReLU 的函数范围是(负无穷到正无穷)。注意:从理论上讲,Leaky ReLU 具有 ReLU 的所有优点,而且 Dead ReLU 不会有任何问题,但在实际操作中,尚未完全证明 Leaky ReLU 总是比 ReLU 更好。5. ELU ELU vs Leaky ReLU vs ReLUELU 的提出也解决了 ReLU 的问题。与 ReLU 相比,ELU 有负值,这会使激活的平均值接近零。均值激活接近于零可以使学习更快,因为它们使梯度更接近自然梯度。显然,ELU 具有 ReLU 的所有优点,并且:没有 Dead ReLU 问题,输出的平均值接近 0,以 0 为中心;ELU 通过减少偏置偏移的影响,使正常梯度更接近于单位自然梯度,从而使均值向零加速学习;ELU 在较小的输入下会饱和至负值,从而减少前向传播的变异和信息。一个小问题是它的计算强度更高。与 Leaky ReLU 类似,尽管理论上比 ReLU 要好,但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。 6. PReLU(Parametric ReLU)PReLU 也是 ReLU 的改进版本:看一下 PReLU 的公式:参数α通常为 0 到 1 之间的数字,并且通常相对较小。如果 a_i= 0,则 f 变为 ReLU如果 a_i> 0,则 f 变为 leaky ReLU如果 a_i 是可学习的参数,则 f 变为 PReLUPReLU 的优点如下:在负值域,PReLU 的斜率较小,这也可以避免 Dead ReLU 问题。与 ELU 相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于 0。7. SoftmaxSoftmax 是用于多类分类问题的激活函数,在多类分类问题中,超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量,Softmax 可以将其压缩为长度为 K,值在(0,1)范围内,并且向量中元素的总和为 1 的实向量。Softmax 与正常的 max 函数不同:max 函数仅输出最大值,但 Softmax 确保较小的值具有较小的概率,并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。Softmax 函数的分母结合了原始输出值的所有因子,这意味着 Softmax 函数获得的各种概率彼此相关。 Softmax 激活函数的主要缺点是: 在零点不可微;负输入的梯度为零,这意味着对于该区域的激活,权重不会在反向传播期间更新,因此会产生永不激活的死亡神经元。8. Swish 函数表达式:y = x * sigmoid (x)Swish 的设计受到了 LSTM 和高速网络中 gating 的 sigmoid 函数使用的启发。我们使用相同的 gating 值来简化 gating 机制,这称为 self-gating。self-gating 的优点在于它只需要简单的标量输入,而普通的 gating 则需要多个标量输入。这使得诸如 Swish 之类的 self-gated 激活函数能够轻松替换以单个标量为输入的激活函数(例如 ReLU),而无需更改隐藏容量或参数数量。 Swish 激活函数的主要优点如下:「无界性」有助于防止慢速训练期间,梯度逐渐接近 0 并导致饱和;(同时,有界性也是有优势的,因为有界激活函数可以具有很强的正则化,并且较大的负输入问题也能解决);导数恒 > 0;平滑度在优化和泛化中起了重要作用。9. Maxout在 Maxout 层,激活函数是输入的最大值,因此只有 2 个 maxout 节点的多层感知机就可以拟合任意的凸函数。单个 Maxout 节点可以解释为对一个实值函数进行分段线性近似 (PWL) ,其中函数图上任意两点之间的线段位于图(凸函数)的上方。Maxout 也可以对 d 维向量(V)实现:假设两个凸函数 h_1(x) 和 h_2(x),由两个 Maxout 节点近似化,函数 g(x) 是连续的 PWL 函数。因此,由两个 Maxout 节点组成的 Maxout 层可以很好地近似任何连续函数。10. SoftplusSoftplus 函数:f(x)= ln(1 + exp x)Softplus 的导数为 f ′(x)=exp(x) / ( 1+exp⁡ x ) = 1/ (1 +exp(−x )) ,也称为 logistic / sigmoid 函数。 Softplus 函数类似于 ReLU 函数,但是相对较平滑,像 ReLU 一样是单侧抑制。它的接受范围很广:(0, + inf)。 原文链接:https://sukanyabag.medium.com/activation-functions-all-you-need-to-know-355a850d025e本文来源:https://www.jiqizhixin.com/articles/2021-02-24-7
  • [技术干货] 让GBDT和GNN结合起来:Criteo AI Lab提出全新架构BGNN
    作者:Sergei Ivanov等机器之心编译GBDT 和 GNN 方法各有各的优势,现在,来自法国、俄罗斯两家机构的研究者将二者的优势结合起来,探索使用 GBDT 模型处理图结构数据。论文地址:https://openreview.net/pdf?id=ebS5NUfoMKL图神经网络(GNN)已经在学习图结构方面取得了巨大成功,应用于分子设计、计算机视觉、组合优化、推荐系统等多个方面。该领域的进展依靠于规范的 GNN 架构的存在,该架构将原始输入数据有效地编码为表达型表征,从而在新的数据集和任务上获得高质量的结果。最近的一些研究主要集中于具有稀疏数据的 GNN 上,这些数据代表同质节点嵌入(例如 one-hot 编码的图统计)或者词袋表征。但是在许多情况下,具有详细信息和丰富语义的表格数据更为自然,现实世界的人工智能也更丰富。例如在社交网络中,每个人都有社会人口统计学特征(例如年龄、性别、毕业日期),这些特征在数据类型、规模和缺失值上有很大差异。带有表格数据图形的 GNN 的研究是缺少的,梯度提升决策树(GBDT)在具有此类异构数据的应用程序中占主导地位。 GBDT 非常适用于表格数据,因为它们具有以下特性: 能够有效地学习表格数据中常见的具有超平面边界的决策空间;非常适合处理基数高、值缺失且比例不同的变量;它们为决策树或通过事后分析阶段的集合提供定性解释;在实际应用中,对于大量数据,它们收敛速度更快。相反,GNN 的关键特征使它们同时考虑节点的邻域信息和节点特征来进行预测,这与 GBDT 不同,GBDT 需要额外的预处理分析才能为算法提供图摘要(例如通过无监督图嵌入)。此外,理论上已经证明,通过消息传递的 GNN 可以在其图输入上计算任何可由图灵机器计算的函数,即 GNN 是唯一在图上具有通用性的学习架构(近似化和可计算性)。此外,与基于树的方法相比,基于梯度的神经网络学习具有多种优势: GNN 中含有的关系归纳偏差减轻了手动设计捕获网络拓扑特征的需求;训练神经网络的端到端属性允许在依赖于应用程序的解决方案中将 GNN 进行多阶段或多组件集成;采用图网络的预训练表征丰富了迁移学习中的许多重要任务,例如无监督领域自适应、自监督学习和主动学习机制。显然,GBDT 和 GNN 方法都有着明显的优势,可以将二者的优势结合起来吗?此前所有尝试将梯度提升和神经网络结合起来的方法在计算上都很繁琐,没有考虑图结构化数据,并且缺乏 GNN 架构中包含的关系偏向。 本研究是第一个探索使用 GBDT 模型处理图结构数据的研究。在这篇论文中,研究者提出了一种针对含表格数据的图的新型学习架构 BGNN,该架构将 GBDT 对表格节点特征的学习与 GNN 相结合,从而利用图的拓扑优化预测。这使 BGNN 可以继承梯度提升方法(异构学习和可解释性)和图网络(表征学习和端到端训练)的优势。 总体而言,该研究的贡献有: 设计了一种新的通用体系架构,将 GBDT 和 GNN 组合为一个 pipeline;通过迭代添加适合 GNN 梯度更新的新树,该研究克服了 GBDT 的端到端训练的挑战,使得错误信号可从网络拓扑反向传播到 GBDT;研究者针对节点预测任务中的强基准对方法进行了广泛的评估,实验结果表明,在各种现实表格数据中,异构节点回归和节点分类任务的性能显著提高;由于训练过程中的损失收敛速度更快,该方法比其他 GNN SOTA 模型更有效。此外,学习到的表征在潜在空间中展现出可辨别的结构,这进一步证明了该方法的表达能力。方法介绍GBDT 和 GNN 的优化遵循不同的方法:GNN 的参数通过梯度下降进行优化,而 GBDT 则是迭代构建的,并且决策树在构建之后仍然保持固定(决策树基于特征空间的硬拆分,因此不可微分)。 一种简单的方法是仅在节点特征上训练 GBDT 模型,然后将得到的 GBDT 预测与原始输入一起用作 GNN 的新节点特征。在这种情况下,将通过图神经网络进一步完善 GBDT 对图不敏感的预测。这种方法(被称为 Res-GNN)已经可以提高某些任务的 GNN 性能,但 GBDT 模型将完全忽略图的结构,并可能会丢失图的描述性特征,从而向 GNN 提供不准确的输入数据。 相反,该研究提出对 GBDT 和 GNN 进行端到端的训练,称为 BGNN(Boost-GNN)。该研究首先应用 GBDT,然后再应用 GNN。但考虑到最终预测的质量,该研究对它们进行了优化,BGNN 的训练如图 1 所示。已经构建好的决策树由于其离散的结构而无法正确调整,因此该研究通过添加新的树来迭代地更新 GBDT 模型,使其近似于 GNN 损失函数。图 1:BGNN 的训练过程,计算每一个 epoch 的步数。下图算法 1 展示了 BGNN 模型的训练算法,它可用于半监督节点回归与分类这样的任意节点级别的预热问题。更多实验结果读者可以查看原论文。本文来源:https://mp.weixin.qq.com/s/wIUVN9L5nnBgR_JSXY9OfA
  • [技术干货] 知识+AI融合新突破,华为云论文被人工智能顶刊IEEE TPAMI接收
    近日,人工智能领域国际顶级学术刊物IEEE Transactions on Pattern Analysis and Machine Intelligence(即IEEE TPAMI,影响因子17.861)接收了华为云员工博士论文期间的研究成果。近日,人工智能领域国际顶级学术刊物IEEE Transactions on Pattern Analysis and Machine Intelligence(即IEEE TPAMI,影响因子17.861)接收了华为云员工博士论文期间的研究成果——论文“What is a Tabby? Interpretable Model Decisions by Learning Attribute-based Classification Criteria”。华为云已进一步联合中国科学院计算技术研究所将该成果应用于华为云EI故障检测平台,并支撑铁路、电网等客户的实际故障检测业务,未来计划应用于华为云一站式AI开发平台ModelArts训练服务,向模型中引入人工先验知识,提升模型精度;并计划应用于ModelArts推理服务,帮助定位当前模型存在的问题,确定后续进一步优化的思路。受益于深度学习技术的突破,图像分类、物体检测等传统计算机视觉任务的精度也得到了大幅度的提升,但是由于深度学习模型的复杂性,目前关于深度学习的理论并不完善。可解释的深度学习模型,以及深度学习模型与人工先验的结合是当前学术界重点研究的前沿方向,对于提升深度学习模型的可靠性和泛化能力具有重要的意义。方法框架示意图通过利用物体类别之间存在的层级关系约束,自动学习从数据中抽取识别不同类别的规则,该论文同时在这两个方向上迈出了坚实的一步:在可解释深度学习模型方面,相比于现有方法,不仅能够给出图像中的关键区域,还能给出规则化的解释,对使用者更友好,更符合人对于解释结果的期望;在引入人工先验知识方面,走通了一条基本可行的技术路线。为了更好地赋能产业升级,华为云持续深耕AI基础研究和落地应用。2020年以来,华为云人工智能研究团队已在图像分类、弱标注场景下的图像分类、图像检测,多模态数据处理、语音语义等领域取得多项世界第一,研究成果多次被顶级期刊及学术会议接受。未来,华为云将持续把AI前沿算法产品化,并开放给各行业的AI开发者使用,通过技术创新驱动产业智能升级。
  • [技术干货] 谷歌研究院出品:高效 Transformer 模型最新综述
    近年来,基于自注意力机制的 Transformer 模型在自然语言处理、计算机视觉、强化学习等领域的学术研究中取得了巨大进展。例如,在自然语言处理领域,Transformer 已经成为了现代深度学习技术体系中不可或缺的重要组件。然而,由于自注意力机制本身的计算复杂度与存储复杂度较高,想要将其应用于真实的生产环境还需要进一步提升模型的效率。 最近,研究人员在原始 Transformer 架构的基础上进行改进,提出了各种各样的「X-former」模型(例如,Reformer、Linformer、Performer、Longformer 等等)。其中,许多模型围绕计算效率和存储效率进行了改进。 为了帮助对这一领域感兴趣的研究者在繁多的模型中梳理出一条脉络,谷歌研究院撰写了最新高效 Transformer 模型研究综述,介绍了近年来该领域的最新进展。链接:https://arxiv.org/pdf/2009.06732.pdf一、研究背景Transformer 是现代深度学习技术体系中的一股强大的力量。Transformer 的应用十分广泛,它在语言理解、图像处理等诸多领域中都产生了巨大的影响。因此,在过去的几年中,自然而然地有大量的研究工作致力于对该模型进行基础性的改进。这种广泛的研究兴趣也催生了对更加高效的 Transformer 模型变体的研究。最近出现了浩如烟海的新提出的 Transformer 模型变体,研究者和从业者们都会发现很难跟上该领域创新的步伐。仅在 2020 年 2 月-8 月的时间里,人们就提出了近 12 种新的高效 Transformer 模型。自注意力机制是 Transformer 模型的一个关键特性。这种机制可以被看做是一种类似于图的归纳偏置,它通过一种基于相关性的池化操作将序列中所有的token联系起来。众所周知,自注意机制存在平方阶的时间与存储复杂度,这在许多情况下都阻碍了模型的可扩展性。近期,为了解决该问题,出现了各种各样的模型变体。在下文中,我们将这类模型称为「高效 Transformer」。在不同的语境下,我们可以对模型的效率有不同的理解。「效率」可能指的是模型的内存占用,在运行模型的加速器(如 GPU)的内存时,考虑内存占用是十分重要的。「效率」还可能指的是计算开销(例如,训练和推理阶段的 FLOP——每秒浮点数运算数)。具体而言,对于机载应用来说,我们期望模型可以使用有限的计算资源预算的情况下运行。在本文中,当我们提到 Transformer 的「效率」时,同时指的是它们被用于对大型输入进行建模时的存储和计算效率。 在对长序列进行建模的应用中,高效的自注意力模型至关重要。例如,文档、图像、视频往往都是由数量较大的像素或词例组成的。因此,处理长序列的效率对于 Transformer 的广泛应用十分重要。 本文旨在提供一种对这类模型最新进展的全面概述。我们主要关注的是通过解决自注意力机制的「平方阶复杂度」问题来提升 Transformer 模型效率方面的建模进展与架构创新,本文还简要讨论了一般的改进以及其它的效率提升。二、高效Transformer模型综述首先,我们将展示不同模型的特质。表 1 列举出了截至 2020 年 8 月发表的一些高效 Transformer 模型,图 2 则展示了一些关键的 Transformer 模型的图形化概览。 表 1:按照首次公开发表时间的先后顺序列举出的高效 Transormer 模型。标题后带有 † 的论文经过了同行评审。其中,Class 列中的缩写分别代表:(1)FP,固定模式或固定模式的组合(2)M:记忆(3)LP:可学习的模式(4)LR:低秩(5)KR:核方法(6)RC:递归。此外,n 一般代表序列长度,b 则为局部窗口(或模块)的尺寸。n 后的下表 g 代表全局记忆长度,n_c 代表卷积压缩后的序列长度。除了那些基于片段递归的方法之外,大多数模型都旨在队具有平方阶开销的注意力矩阵进行近似。每种方法都将一些稀疏性的概念应用到了一些稠密注意力机制上。1、固定模式 最早修改自注意力的方式是直接通过将感受野限制到固定长度对注意力矩阵进行了稀疏化处理,预先定义了一些诸如「局部窗口」、「固定步长的模块模式」的模式。 1)Blockwise Pattern: 这类技术最简单的实践示例是模块化范式(又称「分块范式」),它通过将输入序列分块为一些固定的模块,考虑局部感受野模块。采用了此类做法的模型包括:Qiu 等人于 2019 年发表的「Blockwise Attention」,以及 Parmar 等人于 2018 年发表的「Local Attention」。对输入序列进行分类将复杂度从 N^2 降低到了 B^2(模块尺寸),其中 B 远小于 N,从而显著降低了开销。这些模块化的方法成为了许多更加复杂的模型的基础。 2)Stided Pattern: 考虑间隔一定步长的注意力机制(例如,仅仅在固定的间隔上应用注意力)。例如,由 Child 等人于 2019 年提出的「Sparse Transformer」和 Beltagy 等人于 2020 年提出的「Longformer」采用了「步长化」(或称「空洞化」)的窗口。 3)Compressed Pattern: 使用一些池化操作,将序列长度下采样为某种固定模式。例如,Liu 等人于 2018 发表的「Compressed Attention」使用了步长化的卷积,有效地降低了序列长度。 2、模式组合 组合式方法的核心思想是,通过将两种或多种不同的访问模式提升覆盖率。 例如,Sparse Transformer 通过将其一半的注意力头应用到模式上组合了步长化注意力机制和局部注意力机制。类似地,Ho 等人于 2019 年提出的「Axial Transformer」在给定一个输入的高维张量的情况下应用了一系列的自注意力计算,每一种计算都沿着输入张量的某个轴进行。 从本质上说,模式组合降低存储复杂度的方式与固定模式相同。然而,其不同之处在于,对于多种模式的聚合和组合提高了自注意力机制整体的覆盖率。 3、可学习的模式 这是对于固定、预定义模式的扩展。使用可学习模式的模型旨在以一种数据驱动的方式学习访问模式。可学习模式的关键特质在于,它需要确定词例相关性的概念,然后将词例划分到不同的聚类中。 值得注意的是,Kitaev 等人于 2020 年提出的 「Reformer」 引入了一种基于哈希的相似度度量方法,从而高效地对词例进行聚类。类似地,Roy 等人于 2020 年提出的「Routing Transformer」对词例采用了在线的 K-均值聚类。同时,Tay 等人于 2020 年提出的「Sinkhorn Sorting Network」通过学着对输入序列的块进行排序,揭示了注意力权重的稀疏性。 在左右这些模型中,相似度函数都是与网络中的其余部分端到端地联合训练你的。可学习模式的核心思想仍然是利用固定模式(分块模式)。然而,这类方法会学着对输入词例进行排序/分类——在保持固定模式方法的效率优势的同时,使我们可以对序列有更优的全局视角。 1)记忆:利用一个附属的记忆模块,它可以一次访问多个词例。 全局记忆是该模块的一种常见形式,它可以访问整个序列。全局词例可以作为一种记忆的形式,它学着从输入序列词例中整合信息。Lee 等人于 2019 年发表的「Set Transformer」首次引入了「inducing point」方法。这些参数通常被看做「记忆」,并且被用来作为进一步处理的临时上下文。Sukhbaatar 与 2019 年指出,这可以被认为是一种参数注意力机制。Ainslie 等人于 2020 年提出的 ETC 方法与 Beltagy 等人于 2020 年提出的 Longformer 也都使用了全局记忆。在有限的记忆中,我们可以对输入序列执行一种类似于池化的初始操作,从而压缩输入序列,这是一种在设计高效的自注意力模块时用到的巧妙的技巧。 2)低秩方法:通过利用自注意力矩阵的低秩近似提升效率。其核心思想在于假设 N × N 的矩阵中存在低秩结构。Wang 等人于 2020 年提出的「Linformer」是此类技术的经典示例,它将键和值的长度维度投影到了一个低维的表征上(N → k)。很容易看出,由于 N × N 的矩阵被分解为 N × k 的矩阵,自注意力的复杂度问题得到了缓解。 4、核方法 通过核化(Kernelization)看待注意力机制,从而提升 Transformer 的效率。 Katharopoulos 等人和 Choromanski 等人都于 2020 年运用核方法,十分巧妙地数学上重写了注意力机制,从而避免计算 N × N 矩阵。Choromanski 等人认为,由于核是对注意力矩阵的一种近似方法,它们也可以被看做一种低秩方法。 5、递归 通过递归的方法将模块连接起来是对于模块化方法的一种自然延伸。 Transformer-XL提出了以一种片段级的递归机制,它将多个片段和模块连接了起来。从某种程度上来说,这种模型也可以被看做固定模式模型。然而,由于它使用了与其它模块/局部方法不同的递归机制,本文将其另做一类看待。 我们注意到,聚类构建「bucket」是不同高效 Transformer 模型的广泛特征。实际上,在这些聚类簇之间并没有明显的界限,模型可能由多种不同的技术创新组合而成。例如,Roy 等人于 2020 年提出的「Routing Transformer」中的 K 均值聚类也可以被看做一种全局记忆方法,这是由于我们可以将聚类中心看做参数化的记忆。然而,在「Reformer」中,它被用于学习注意力权值的系数模式。此外,池化也可以被解释为一种记忆模型。三、观点3.1 模型对比的难度尽管该领域有很多新型的 Transformer 模型,但是我们很难找到一种简单的方式对这些模型一同进行对比。 为了展现新提出的模型的能力,许多研究论文都自行选取了一些对比基准。这同时也意味着他们会选取不同的超参数设置(例如,模型的大小)和设置,使得我们很难归结出模型性能提升的原因。 此外,一些论文也融入了预训练,这使得我们更难区分这些模型的相对性能。因此,应该使用哪种基本的高效 Transformer 模块,仍然是一个未解之谜。 一方面,有许多模型都关注生成式建模,在序列的自回归建模任务上展现出他们提出的 Transformer 单元的能力。 为了实现这一点,Child 等人于 2019 年提出的「Sparse Transformer」,Correia 等人于 2019 年提出的「Adaptive Transformer」、Roy 等人于 2020 年提出的「Routing Transformer」,以及 Kitaev 等人于 2020 年提出的「Reformer」都主要关注生成式建模任务。 这些对比基准往往都涉及 wikitext、enwik8 等数据集上的语言建模和/或 ImageNet、CIFAR 等数据集上的像素级图像生成。使用基于片段的递归的模型(例如,Transformer-XL 和 Compressive Transformer)也关注长距离语言建模任务(如 PG-19)。 一方面,这些模型重点关注只需要编码过程的任务(例如,问答系统、阅读理解、或从 GLUE 对比基准中选取的任务)。例如,Ainslie 等人于 2020 年提出的 ETC 模型仅仅在 NaturalQuestion 或 TriviaQA 等问答系统对比基准上进行了实验。 另一方面,Wang 等人于 2020 年提出的「Linformer」重点关注 GLUE 对比基准中任务的子集。这种划分是十分自然且直观的,因为类似于 ETC 和 Linformer 这样的模型并不能以一种自回归的方式被使用(即无法被用于解码)。这增加了将这些只需要编码过程的任务与其它模型进行对比的难度。 也有一些模型会关注如何平衡上述两类情况。Beltagy 等人于 2020 年提出的「Longformer」试图通过同时在生成式模型和只需要编码的任务上进行对比基准测试来平衡二者。Tay 等人于 2020 年提出的「Sinkhorn Transformer」同时比较了生成式建模任务与只需要编码的任务。 此外,还需要注意的是,尽管「序列到序列」的机器翻译(MT)曾经推广了 Transformer 模型,但是并没有太多通过 MT 任务评价的高效 Transformer 模型。这可能是因为,MT 任务中的序列长度并不够长,不能保证需要使用这些模型。 尽管生成式建模、GLUE 任务和/或问答任务似乎是许多此类任务所采用的常见评价对比基准,但也有一小部分论文会选择使用一些其它的基准。首先,Choromanski 等人于 2020 年发表的「Performer」模型在蛋白质上的带掩模的语言建模任务上进行评价,这与其它的高效 Transformer 模型形成了鲜明的对比。而 Katharopoulos 等人于 2020 年提出的「Linear Transformer」也是在语音识别任务上进行评价,这也是一种在这类论文中鲜被提及的对比基准。 3.2 模型设计的趋势 当我们将这种上述分类方法与提出这些模型的时间线匹配起来时,我们就可以看出研究社区在设计高效 Transformer 模型方面的趋势。 该领域内早期的工作主要是更加直观且简单的方法(例如,固定模式)。为此,该领域内大多数早期的工作似乎都是以模块模式/局部模式为基础的。例如,Parmar 等人于 2018 年提出的「Image transformer」、Liu 等人于 2018 年提出的「Compressed Attention」、Qiu 等人于 2019 年提出的「Blockwise Transformer」或 Child 等人于 2019 年提出的「Sparse Transformer」中的局部窗口。 Child 等人(Sparse Transformer)和 Ho 等人(Axial Transformer)于 2019 年首次提出了分解各种固定模式的范式。与此同时,我们也从 Lee 等人于 2019 年提出的「Set Transformer」中的归纳点(inducing point)和 Guo 等人于 2019 年提出的「Star Transformer」中的全局节点上发现了对基于记忆的方法的早期尝试。 我们发现,下一波模型发展浪潮应该是可学习的稀疏模式。Kitaev 等人于 2020 年提出的「Reformer」和 Roy 等人于 2020 年提出的「Routing Transformer」在这个方面是非常相似的,它们都学着在执行注意力操作之前对词例进行聚类。它们关键的差别在于实现这一目标的方式:Reformer 使用了一种哈希函数,而 Routing Transformer 则使用了在线的 K-均值 进行聚类对齐。同时,Tay 等人于 2020 年发表的「Sinkhorn Transformer」是基于模块级排序的思想研发而来。 接着,我们还观察到,有许多扩展模型在很大程度上以「Sparse Transformer」为基础。Ainslie 等人于 2020 年提出的「ETC」模型和 Beltagy 等人于 2020 年提出的「Longformer」模型具有非常相似的思想,他们本质上都是「Sparse Transformer」的扩展。这些模型引入了全局记忆的概念,令人回想起「Set Transformer」中的归纳点(inducing point)方法或「Star Transformer」中的全局记忆。Longformer 的工作中也提出了一些对步长的改进(例如,使用空洞窗口)。 在最近的模型发展浪潮中,我们发现基于低秩近似或核方法的模型一直涌现了出来。例如,Wang 等人于 2020 年提出的「Linformer」、Choromanski 等人于 2020 年提出的「Performer」、Katharopoulos 等人于 2020 年提出的「Linear Transformer」。由于评估的现状和高度并行的研究工作正在进行,我们还尚不明确这种低秩或核范式是否真正比可学习模式(LP)或基于记忆的高效 Transformer 模型更好。 另一方面,值得注意的是,基于递归的各种模型(Transformer-XL 和 Compressive Transformer)的操作似乎是正交的,与其它模型相比,它们的关联程度较低。 3.3 其他正交的高效 Transformer 工作 本文重点关注自注意力模块的计算和存储复杂度,我们简要地总结了一些正交的工作,它们可能也对模型的效率、可扩展性以及 Transformer 模型整体的可用性有益。权值共享:共享 Transformer 模型的参数有助于减小整体模型的大小。Dehghani 等人于 2018 年提出的「Universal Transformer」将注意力与转换(transition)权值联系在一起。类似地,Lan 等人于 2019 年提出的「Albert」也在各个层之间进行了相同的参数共享。另一方面,受汉密尔顿积的启发(在线性变换层中局部共享组件),Tay 等人于 2019 年提出的「Quaternion Transformer」提出了一种权值共享机制。量化/混合精度:学习混合精度模型具有改进存储开销的潜力。Shen 等人于 2020 年提出的 Q-BERT 模型对 Transformer 模型进行超低精度量化。同时,Ott 等人于 2019 年提出的混合精度训练是一种非常流行的技术,它降低了训练 Transformer 的存储开销。Fan 等人于 2020 年将具有量化能力的训练应用于 Transformer 模型上。知识蒸馏:知识蒸馏(KD)已经成为了将通过较大的「教师网络」学习到的知识迁移到较小的「学生网络」上的一种实用方法。由此,较小的模型可以被高效地部署于生产环节中。目前,研究人员关于针对大型 Transformer 模型应用知识蒸馏进行了大量尝试。例如,Sanh 等人于 2019 年提出的「DistilBERT」、Tang 等人于 2019 年提出的针对特定任务的蒸馏方法,以及 Jiao 等人于 2019 年提出的「TinyBERT」。神经网络架构搜索(NAS):寻找更高效的 Transformer 架构也是一种常用的策略。Guo 等人于 2019 年提出了「Neural Architecture Transformer」(NAT),它使用了 NAS 技术,通过消除冗余操作,搜索更加紧凑高效的 Transformer。Wang 等人于 2020 年提出了针对不同硬件的 Transformer(HAT),这是一种利用了 NAS 技术并将硬件的效率反馈作为奖励信号的方法。任务适配器:这类研究工作主要关注在 T 个任务上对大型 Transformer 进行调优的问题。这里的主要思想是,任务适配器使我们可以在不同的任务间复用参数,并且在实际生产中复用服务 T 个模型的需求,这可以减少整体的参数。近年来,研究人员们提出了包括 PALS、MAD-X、HyperGrid 在内的一系列此类模型。来源  AI科技评论     转自:人工智能与算法学习
  • [技术干货] 《知识计算即服务:赋能企业知识化转型》——华为云知识图谱负责人郑毅博士主题演讲
    从计算智能,到感知智能,再到认知智能,是业界普遍认同的人工智能技术发展路径。随着技术的演进,人工智能已经在"听、说、看"等感知智能领域达到或超越了人类水准,但是在需要逻辑推理的认知智能领域还处于初级阶段。当前被广泛使用的深度学习方法容易受到对抗样本的干扰已经是研究者们达成的共识,追其根本原因,张钹院士曾总结为:大家只是在灯亮的方向对模型修修补补,没有向人类深入学习。更为具体的是:没有在数据驱动的基础上引入知识,没有改变深度学习网络的模型与结构。那么引入了知识的人工智能将给产业带来怎样的改变呢?11月12日,华为云知识图谱负责人郑毅博士在我国人工智能领域旗舰学术会议—2020全国知识图谱与语义计算大会(CCKS)上带来《知识计算即服务:赋能企业知识化转型》主题演讲。各行各业在发展的过程中沉淀了大量的知识,比如生产系统中的机理模型、丰富的技术典籍文献、专家大脑里面的宝贵经验、方法总结、测试报告等等。但是这些知识分散在不同部门,分散在不同地域,分散在不同介质中。对于一些专业领域,例如石油勘探,煤焦化配比,行业经验都沉淀在专家头脑中,新进人员需要漫长的学习过程才能逐渐掌握业务所需的知识,这些知识都无法做到高效传承,严重制约了企业业务的拓展。企业亟需一个内部的平台,将专家的宝贵知识,整理成统一的知识底座,消除知识孤岛,实现知识标准化、共享化和智能化,构建可持续传承的知识体系。在工业领域,工业机理模型是工业生产的核心,而由于认知程度、假设因素、计算简化等众多因素,机理模型在实际运用中往往会产生偏差。用打靶做个比喻,机理模型可以保证打中靶标,但是稳定命中靶心还是很难。通过知识计算,把机理模型带入深度神经网络,一起参与大规模数据驱动的运算,就可以实现二者的优势融合,将打靶的水平稳定到10环,弥补机理模型局限。为助力企业知识化转型,华为云推出业界首个全生命周期知识计算解决方案,赋能企业构建属于自己的知识计算平台。该方案提供从知识获取、知识建模、知识管理到知识应用的全流程服务,形成知识全生命周期的管理及使用。如今,知识计算正在成为行业知识与 AI 结合的一条全新且高效的路径,逐渐被应用到各类行业场景中,使能企业进行知识化转型。知识计算不仅能够赋能机器,还可以赋能于人,让专家经验直达一线,大幅提升行业从业人员的工作能力。在汽车领域,一汽通过使用知识计算平台可以让4S门店一次修复率提升4%、等待时间下降23%,让车企专家培养周期缩短30%。在油气领域的储层识别场景中,华为云知识计算解决方案将多源异构数据、空间地质关系、录井传感器特征等进行联合表征,通过结合联合表征与深度学习预测模型,使得符合率提升6%,通过一站式知识图谱流水线平台降低了图谱构建维护门槛,提升了知识建模及更新的效率,缩短了70%的油气层评估时间。郑毅表示知识计算已经在知识聚合、降本增效、增储上产等多方面为油气企业带来了巨大价值。人们常说,知识就是力量。知识计算将深度改变知识的使用方式,再次释放知识的强大⼒量,突破当下的 AI 认知瓶颈,全方位地赋能企业,提高产业智能化程度,实现商业场景的迭代和升级,让AI真正做到普惠大众。
  • [技术干货] 多所知名高校合著综述论文、Nature新子刊创刊首发,这是你常听到的贝叶斯统计与建模
    一篇关于贝叶斯统计与建模的综述文章,出现在了 Nature 新子刊 Nature Reviews Methods Primers 的第一期上。新年伊始,Nature 旗下再添三本新刊:Nature Aging(《自然 - 老龄化》)、Nature Computational Science(《自然 - 计算科学》)和 Nature Reviews Methods Primers(《自然综述 - 方法导论》)。其中 Nature Reviews Methods Primers 以刊发综述文章的形式为读者提供各种科学方法的概述及其在不同研究问题上的应用,每周出版一次。期刊上的所有文章都将采取约稿形式,涵盖生命科学和物理科学中使用的分析、应用、统计、理论和计算方法。1 月 14 日,Nature Reviews Methods Primers 上线第一期,刊登了一篇关于贝叶斯统计与建模的综述文章,作者来自荷兰乌得勒支大学、加州大学默塞德分校、爱丁堡大学、牛津大学、乔治城大学、莱斯大学、哥伦比亚大学、艾伦 · 图灵研究所等机构。这篇文章描述了贝叶斯分析的各个阶段,从指定先验和数据模型,到推断、模型检验与改进,探讨了先验和后验预测检验的重要性,选择恰当的技术从后验分布、变分推断和变量选择中采样。此外,这篇文章还提供了贝叶斯分析在多个研究领域的成功应用示例,包括社会科学、生态学、遗传学、医学等,并提出了可复现性策略和报告标准,概述了更新版的 WAMBS(何时需要担心误用贝叶斯统计以及如何避免)检查表。最后,这篇文章介绍了贝叶斯分析对人工智能的影响。贝叶斯统计简介贝叶斯统计是基于贝叶斯定理的数据分析和参数估计方法,其独特性在于统计模型中的观测和未观测参数是基于联合概率分布的,即先验分布和数据分布。典型的贝叶斯工作流程包括三个主要步骤(参见下图 1):通过先验分布捕捉统计模型中给定参数的可用知识,这通常是在数据收集之前确定的;利用观测数据中可用参数的信息确定似然函数;利用贝叶斯定理结合先验分布和似然函数,得到后验分布。后验分布用观测数据来平衡先验知识,从而反映更新的知识,可用于执行推断。在对该联合概率分布取平均时,贝叶斯推断是最优的,对这些定量的推断基于观测数据的条件分布。图 1:贝叶斯研究阶段。a. 标准研究流程;b. 利用贝叶斯统计的研究工作流程。(注:图中后验的表示 p(y|θ) 应为 p(θ|y))贝叶斯统计的基础最初出现在 Reverend Thomas Bayes 的文章中,后来由贝叶斯的朋友 Richard Price 在 1763 年发表了这篇文章,主要关于逆概率,即如何仅基于过去的事件确定未来事件发生的概率。1825 年,Pierre Simon Laplace 重新发现了贝叶斯公式,也就是今天我们所说的贝叶斯定理。逆概率与贝叶斯定理在数学领域中长期存在,但直到最近 50 年,这些工具才在应用统计学领域中崛起。贝叶斯定理。(来源:https://zh.wikipedia.org/zh-hans/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86)贝叶斯工作流程贝叶斯工作流程的前两个步骤如上图 1 所示。首先确定先验分布,先验的选择通常被视为研究者在实现贝叶斯模型时要做的一个更重要的选择,因为它对最终结果影响巨大。要实现合适的先验,需要用到先验预测检验流程。然后是确定似然函数,将似然函数结合先验得到后验分布(或后验)。先验和似然函数对于确定后验分布非常重要。这篇文章提供了多个示例来展示整个流程。第一个示例是关于博士延毕的。研究者询问 333 名博士生完成博士论文所需的时间,进而计算延迟时间,即计划时间与实际时间的差距(时间单位为月)。先验分布首先需要形式化先验分布。先验分布在贝叶斯统计中起到决定性作用。下图 2 展示了该示例中似然函数、先验分布和后验分布的关系:图 2:贝叶斯定理重要组件图示。先验预测检验 由于基于贝叶斯分析的推断受限于先验的「正确性」(correctness),因此我们需要审慎地检验指定模型是否能够生成实际数据。这部分通过先验预测检验过程来完成。先验预测检验有助于避免模型错误指定(参见下图 3),例如对比错误地用精度替代方差时的先验预测分布(图 3a)和基于正确超参数的分布(图 3b)。此外,这里还展示了观测数据和模拟数据的核密度估计,即对概率密度函数的估计结果(图 3c)。图 3:博士延毕示例中的先验预测检验。确定似然函数似然函数在贝叶斯推断和频率学派推断中都有应用。在两种推断范式下,似然函数的作用都是将观测数据的概率表示为未知参数。在一些案例中,指定似然函数是非常直接的,例如投掷一枚硬币的实验。似然函数的硬币实验示例。(来源:https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0)后验分布指定先验和似然函数,并收集数据之后,就可以得到后验分布。本文解释了如何将模型与数据拟合来获取后验分布、如何选择变量,以及为什么需要后验预测检验。模型构建是一个迭代的过程,任何贝叶斯模型都可以看做是一个占位符,可以在面对新数据或对现有数据拟合不足时进行改进,也可以仅通过模型改进( model refinement)过程来实现。在贝叶斯推断中,模型拟合的一种不错方法是马尔可夫链蒙特卡罗方法(MCMC)。MCMC 能够利用计算机模拟间接获取对后验分布的推断,下表 1 概述了基于 MCMC 和不基于 MCMC 的采样技术。表 1:基于 MCMC 和不基于 MCMC 的采样技术概览。下图展示了在博士延毕示例中使用 MCMC 方法的后验估计情况:此外,实现贝叶斯分析有很多标准计算包,参见下表 2:表 2:常用的开源贝叶斯软件程序包。后验预测检验获取特定模型的后验分布后,我们可以用它模拟基于这一分布的新数据,这有助于评估模型是否提供有效预测,对未来事件进行推断。这些模拟可用于多种目的,比如通过对比观测数据和模拟数据的核密度估计值来检验模拟数据是否类似于观测数据。在评估模型是否与数据生成机制有不错的拟合时需要更正式的后验预测检验方法。任何参数依赖的统计或差异都可用于后验预测检验。这与先验预测检验的使用方式类似,但在对比观测数据和模拟数据时要更加严苛。为了阐释后验预测分布的用法,本文展示了另一个示例:了解一个维基百科网页的浏览量,以及与浏览量相关的时间关联因素。图 6:基于当前观测数据进行后验预测检验和对未来页面浏览量进行预测。应用贝叶斯推断在多个科学领域得到了广泛应用,本文重点介绍了其在「社会和行为科学」、「生态学」和「遗传学」领域的应用,此处不再展开介绍。可复现性与数据处理恰当的统计信息报告(包括数据和脚本共享)对于研究的验证和可复现是关键因素。优秀的研究实践鼓励可复现性,其工作流程参见下图 7:图 7:研究工作流程中的可复现性因素。这里展示了贝叶斯研究阶段(图 1)和 WAMBS 检查表在更广泛的研究透明度中的应用,并提供了更新版的 WAMBS 检查表。WAMBS 检查表更新版。对人工智能的影响出于支持大规模应用的需要,贝叶斯概念已经利用了以深度学习为中心的新技术的发展,包括深度学习框架(TensorFlow、Pytorch),创建表示能力更强、数据驱动的模型。除了提供一个强大的工具来挑选灵活、模块化的生成模型之外,DNN 已被用于开发新的近似推理方法,并为贝叶斯实践提出了一种新的范式,该范式将统计建模和计算融入了其核心之中。一个典型的例子就是变分自编码器,它已经成功地应用于多个领域,比如单细胞基因组学,为这些领域提供一个通用的建模框架。该框架带来了很多扩展,包括 latent factor disentanglement。底层的统计模型是一个简单的贝叶斯分层潜变量模型,将高维观测值映射到通过 DNN 定义的函数假定正态分布的低维潜变量。变分推断被用于近似潜变量的后验分布。然而,在标准变分推断中,我们为每个潜变量引入一个局部变分参数,在这种情况下,计算需求将随着数据样本的数量的变化呈线性增长。变分自编码器使用一种名为 amortization 的近似过程,用一个单一全局参数集(一种识别网络)取代对许多单个变分参数的推断。该识别网络用于参数化 DNN,输出每个数据点的局部变分参数。值得注意的是,当把模型和推断结合到一起并解释时,作为编解码算法的变分自编码器有一种优雅的解释:它由一个概率编码器和一个概率解码器组成。概率编码器是一个 DNN,可以将每个观测数据映射至潜在空间中的分布;而概率解码器是一个补充性的 DNN,将潜在空间中的每个点映射至观测空间中的分布。因此,模型指定和推断与变分自编码器产生关联,这表明贝叶斯建模和深度学习技术之间的边界越发模糊。其他近期的例子还包括使用 DNN 来构建概率模型,通过应用一系列逆变换来构建复杂的概率分布,以及针对可交换序列数据定义模型。DNN 的表达能力及其在模型构建和推断算法中的应用需要作出一些妥协,而这需要贝叶斯研究。将模型与推断融合的趋势使得这些技术更多地应用于大规模数据问题,但是基础的贝叶斯概念仍然被完全纳入该范式中。尽管将贝叶斯方法应用于神经网络学习已经出现数十年了,但要想理解先验如何转换为特定的函数特性,我们仍需要进一步研究涉及复杂网络结构的现代贝叶斯深度学习模型的先验指定。最近人工智能领域的争论提到了对贝叶斯方法及其替代方法的需求。例如,深度集成被证明在处理模型不确定性时可作为贝叶斯方法的替代方法。但是,近期研究还表明深度集成实际上可以理解为近似贝叶斯模型平均。类似地,dropout 是一种在 DNN 训练过程中广泛使用的正则化方法,它通过在网络训练过程中随机丢弃节点来提升模型鲁棒性。实验表明,dropout 能够提升泛化性、降低过拟合。针对 dropout 也出现了贝叶斯解释:概率模型的贝叶斯近似形式——深度高斯过程。尽管贝叶斯定理并未完全泛化至人工智能领域的所有近期进展中,但贝叶斯思维被深深地嵌入了大量近期创新研究,这无疑是一种成功。下一个十年将出现新的浪潮——贝叶斯智能的创新性发展。关于贝叶斯统计,你还可以阅读这篇文章这篇文章一经发布就引起了广泛关注,但也存在一些瑕疵。例如,知名科学科普博主 @光头怪博士 指出了图 1 中的后验表示错误,并推荐了另一篇他认为不错的文章。这篇论文对 MCMC 方法进行了基础介绍,对 MCMC 方法试图解决的问题、为什么使用,以及 MCMC 方法在理论和实践中的工作原理提供了强大的概念性理解。论文链接:https://arxiv.org/pdf/1909.12313.pdf原文链接:https://www.nature.com/articles/s43586-020-00001-2
  • [技术干货] 深度学习在物理层信号处理中的应用研究
    作者:Murph转自:网络人工智能园地https://zhuanlan.zhihu.com/p/269983075摘要:目前针对5G通信高可靠和超高容量无线通信的需求已经引起了广泛关注与研究。然而,当前的通信系统依然受制于传统的通信理论而限制了网络性能的突破性提升。作为一项广受关注和应用的新兴技术,深度学习已经被证实有潜力处理复杂通信系统中通信问题并提高通信性能。本文主要介绍基于深度学习的物理层应用,并提出一种基于深度Q网络(DQN)的MIMO系统位置信息验证方案,接收者在多变未知的信道环境下利用深度Q网络不断更新信号检测阈值,提高信号检测的准确度,实现对发送者位置信息的确认。关键词:深度学习,信号检测、MIMO1 引言随着移动流量呈现的爆发式增长、高可靠性和低时延的通信场景给当前网络带来了更大的复杂性和计算挑战。据IBM报道,移动数据量到2020年将超过40万亿Gbits,比2009年增加44倍,连接总设备量将达到500亿。为了满足这一需求,需要新的通信理论和创新技术来满足5G系统的需求。近些年深度学习范式的发展使引起了学术界和工业界对基于深度学习的无线通信技术的研究,研究结果证实了深度学习技术可以提高无线通信系统的性能,并有潜力应用在物理层进行干扰调整、信道估计和信号检测、信号处理等方面。2 深度学习范式深度学习的概念源于人工神经网络(ANN)的研究,由Hinton等人于2006年提出。如图1所示,深度学习通过建立具有阶层结构的ANN,往往包含一个输入层、多个隐藏层和一个输出层。每个层之间采用不同的权重与邻层之间进行连接,通过对输入信息进行逐层提取和筛选,可以实现端到端的监督学习和非监督学习 。深度神经网络包括前馈神经网络(FNN)、循环神经网络(RNN)、卷积神经网络(CNN)、对抗生成网络(GAN)和深度信念网络等。其中基于门控的RNN,例如长短期记忆(LSTM)网络对于输入有一定的记忆功能,因此常被用于物理层信号处理和信道状态信息估计等。此外,深度学习也可参与构建强化学习(RL)系统,形成深度强化学习,例如深度Q网络(DQN)[1],可以用于对物理层信号处理策略制定的优化。(1)长短期记忆网络作为RNN的一个变体,长短期记忆网络可以有效解决简单循环神经网络的梯度爆炸或消失问题。RNN通过隐状态来存储历史信息。在简单的RNN中,隐状态的每个时刻都会被重写,因此可以看作是一种短期记忆。而在LSTM网络中,记忆单元保存关键信息的时间要长于短期记忆。LSTM网络引入门机制来控制信息传递的路径。门机制取值在0到1之间,来控制信息通过的比例。LSTM网络主要包括了3个门,其中遗忘门控制上一个时刻的内部状态需要遗忘多少信息;输入门控制当前时刻的候选状态保存多少信息;输出门控制当前时刻的内部状态有多少信息需要输出给外部状态。(2)深度Q网络3 基于深度学习的物理层信号处理应用近年来,学术界和工业界已经出现了一些深度学习应用于物理层的相关工作,研究结果发表深度学习可以提高物理层性能。本小节从物理层信号处理的角度,从信道状态信息(CSI)估计、信号编解码、干扰调整和信号检测四个方面对目前已有的相关工作进行举例和说明。精确的CSI获取对于保证无线通信系统的链路性能至关重要。无线网络根据信道估计状态来选择具体的信号控制方案,例如,当CSI较低时,物理层采用低阶调制方案来对抗恶劣的通信状态从而降低误码率。5G通信系统采用多输入多输出(MIMO)、毫米波和非正交多址接入(NOMA)等技术,使得通信双方拥有更多的传输信道,信道估计问题也变得更加复杂。传统的CSI估计方案需要执行具有高复杂度的矩阵运算,受到了计算资源和时延的限制。利用深度学习来得到CSI信息时空和上下行之间的关联性,已经被证实可以提高CSI估计的效率,并减少所需上下行参考信息的数据量[2]。如图2所示,论文[3]提出将历史CSI数据经过一个二维卷积神经网络提取频率特征矢量,再利用一个一维卷积神经网络来从频率特征矢量中提取状态特征矢量。最后,一个LSTM网络用来进行CSI状态预测。由于二维卷积神经网络最初是用来处理图片数据的,因此,作者将CSI原始数据分割成单元格,每个单元格对应一个图片像素。每个频带的CSI和辅助信息对应的像素组成一个频道。因此,N个频带的数据将被转换成N个频道的像素信息,并输入到学习框架中。(2)基于深度学习的编解码深度学习在信源编码和信道编码方面的应用,也证明了其可以提高编码效率并降低网络的BER。基于深度学习框架的联合编码方案可以通过循环神经网络实现对本文的源编码(结构化),然后将结构化的信息输入双向的LSTM网络,并最终输出最终传输的二进制数据流。在接收端,LSTM用来进行解码处理。论文[4]提出了就有全连接深度神经网络的编码器,用来提高基于置信传播算法的HPDC解码效率。O’Shea等人在[5]中将整个物理层建模为一个包含了调制、信道编码和信号分类功能的自编码器,并利用卷积神经网络来对自编码器进行训练。如图3所示,在多密集层神经网络的学习框架中,输入信号被编码为独热编码(One-hot encoding),无线信道建模为一个噪声层。交叉熵损失函数和随机梯度下降算法用来训练模型,在输出端将最高概率的输出信号作为解码结果。(3)基于深度学习的干扰调整MIMO系统中的干扰调整通过线性预编码技术来调整发射信号,使得接收端的干扰信号可以控制在一个降维子空间里,从而突破MIMO系统干扰问题带来的吞吐量限制。现有工作中已经有研究结果表明,利用深度学习可以提高干扰调整网络中的吞吐量,并取得优化结果。He等人在[6]中提出了采用DQN来获得干扰调整下最优的用户选择策略。在该机制中,中央调度器用来收集所有信道状态和每个用户的缓存状态,并将信道资源分配给每个用户。信道的时变过程用一个有限状态马尔科夫模型来进行建模,系统的状态定义为每个用户的信道状态和缓存状况。中央调度器用来为系统训练处最佳策略,对应的系统动作定义为是否为每个用户分配信道资源来进行数据的传输,来最大化干扰调整网络的吞吐量。DQN也可被用于认知无线电网络中次用户与主用户之间的干扰消除,次用户利用跳频和移动性来抵御干扰者[7]。(4)基于深度学习的信号检测基于DL的检测算法可以显著提高通信系统的性能,尤其适当传统的处理模块需要联合优化或是信道无法用常见的分析模型来表征时。论文[8]提出了一个五层全连接的DNN框架嵌入到OFDM接收器中来进行联合信道估计和信号检测。将接收到的信号以及对应的传输数据和导频作为输入,DNN可以推断出信道信息,而且可以用来预测发送的数据。在MIMO中检测中,基于贝叶斯最优检测器的迭代方法已经被证实有较优的性能和中等的计算复杂度。但在很多更复杂的环境下,未知的信道分布条件将限制这种检测器的效果。利用深度学习算法,可以根据一定的输入数据来恢复模型参数,从而提高检测器的自适应能力。同时,在一些情况下,深度学习算法还可以利用一些语义信息,例如接收器的位置和周围车辆节点的信息,来进行波束预测,从而提高系统性能。4 基于DQN的信号检测机制在基于位置服务的场景中,车辆或者用户需要不断发送信标消息来报告自己的位置,从而提高位置服务和网络性能。但有些车辆或用户会选择发送虚假的位置来获取更多的资源,影响了网络服务的效用。在MIMO系统中,传输信号往往包含了丰富的信息(到达角、接收功率等)可以在接收端利用信号检测技术对信标消息进行位置验证。我们提出基于DQN的信号检测机制,可以用于MIMO系统中发送者的位置信息验证和对信息伪造者的检测。主要的思想为,接收端对接收的信号采用最大似然估计进行假设检验,当接收到的信号通过检测检验时,则认为发送信号来自于发送者上报的位置。否则,认为发送者上报了虚假的位置信息。为了提高在多变的信道状态下的检测性能,在接收端基于DQN来预测采用不同的检测阈值可以取得的收益,并选取最优的检测阈值。系统框架如图4所示。(1)系统模型假设检验中的零假设定为发送节点上报真实位置信息,备择假设为发送节点上报了虚假位置信息。在每个时刻,接收端收到发送端的信号都与发送端与接收端之间的真实位置、信道状态和信号到达角有关。在已知发送信息和发送功率的条件下,接收端可以利用最大似然检测来对接收到的信号进行假设检验。(2)最大似然检测(3)基于DQN的检测阈值优化在本文提出的机制中,将接收端的状态空间分为两个维度,第一个维度是发送端到接收端的信道状态,第二个维度是信道检测的结果。信道状态空间包括量化后的一系列信道指标,并假设信道的状态转移符合马尔科夫过程,即信道在当前时刻的状态都只与上一个时刻的状态有关。结果状态空间包括四种:真实数据检测结果为真、真实数据检测结果为假;虚假数据检测结果为真以及虚假数据检测结果为假。在每次动作过程中,接收端的直接奖励与检测结果有关,当检测结果正确时获得正收益,当检测结果错误时获得负收益。接收端的动作定义为进行信号检测的阈值,动作空间包括一系列量化的检测阈值。在每个片刻,接收端的混合策略为选择不同检测阈值的概率。基于本文第二章介绍的DQN原理,接收端在每次经历后,将自己选择的检验阈值、对应的状态结果和收益存储到经验池,利用CNN对Q函数进行训练预测,不断优化对检测阈值的选择。4 总结与未来发展建议在本文中,我们通过现有工作和案例证明了深度学习在物理层通信中的巨大应用潜力。除了以上介绍的几种应用方向,深度学习在端到端通信系统中也得到了一定的应用。不过,目前还尚未有结论基于深度学习的端到端通信系统性能是否会最终超过传统通信系统性能。另外,基于深度学习的物理层应用需要数据驱动,为了提高深度学习模型的训练效率,可以将需要长时间训练的模块进行融合,并需要考虑在良好的性能和训练效率之间的权衡。深度学习应用的兴起主要归功于各种可用的数据集,但目前用于无线通信相关的数据集仍然较少。数据的安全和隐私问题进一步限制了在真实世界对通信数据的访问功能。但为了基于深度学习的通信应用,需要一些开放性电信数据集的发布和共享。最后,5G复杂多变的通信环境,包括MIMO、毫米波通信以及NOMA技术等,也为深度学习的应用带来了巨大的潜力。参考文献[1] Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529. https://www.nature.com/articles/nature14236.[2] A. Mousavi and R. G. Baraniuk, “Learning to Invert: Signal Recovery via Deep Convolutional Networks,” Proc. IEEE Int’l. Conf. Acoustics Speech Signal Process. (ICASSP’17), New Orleans, LA, Mar. 2017, pp. 2272–76.[3] C. Luo, J. Ji, Q. Wang, X. Chen and P. Li, "Channel State Information Prediction for 5G Wireless Communications: A Deep Learning Approach," in IEEE Transactions on Network Science and Engineering, early access.[4] E. Nachmani, Y. Be’ery, and D. Burshtein, “Learning to decode linear codes using deep learning,” in Proc. Communication, Control, and Computing (Allerton), 2016, pp. 341–346.[5] T. O’Shea and J. Hoydis, "An Introduction to Deep Learning for the Physical Layer," in IEEE Transactions on Cognitive Communications and Networking, vol. 3, no. 4, pp. 563-575, Dec. 2017.[6] Y. He, C. Liang, F. R. Yu, N. Zhao, and H. Yin, “Optimization of cache-enabled opportunistic interference alignment wireless networks: A big data deep reinforcement learning approach,” in Proc. IEEE Int. Conf. Commun. (ICC), May 2017, pp. 1–6.[7] G. Han, L. Xiao, and H. V. Poor, “Two-dimensional anti-jamming communication based on deep reinforcement learning,” in Proc. IEEE Int. Conf. Acoust. Speech Signal Process. (ICASSP), New Orleans, USA, Mar. 2017, pp. 2087–2091.[8] H. Ye, G. Y. Li, and B.-H. F. Juang, “Power of Deep Learning for Channel Estimation and Signal Detection in OFDM Systems,” IEEE Wireless Commun. Lett., vol. 7, no. 1, Feb. 2018, pp. 114–17.[9] Bai, Lin, Jinho Choi, and Quan Yu. “Signal Processing at Receivers: Detection Theory.” Low Complexity MIMO Receivers, Springer, Cham, 2014. pp.5-28.
  • [技术干货] 最新综述:多标签学习的新趋势
    作者 皓波本文来源:https://www.jiqizhixin.com/articles/2020-12-14-2这里给大家带来一篇武大刘威威老师、南理工沈肖波老师和 UTS Ivor W. Tsang 老师合作的 2020 年多标签最新的 Survey,我也有幸参与其中,负责了一部分工作。论文链接:https://arxiv.org/abs/2011.11197上半年在知乎上看到有朋友咨询多标签学习是否有新的 Survey,我搜索了一下,发现现有的多标签 Survey 基本在 2014 年之前,主要有以下几篇:1. Tsoumakas 的《Multi-label classification: An overview》(2007)2. 周志华老师的《A review on multi-label learning algorithms》(2013)3. 一篇比较小众的,Gibaja 《Multi‐label learning: a review of the state of the art and ongoing research》2014时过境迁,从 2012 年起,AI 领域已经发生了翻天覆地的变化,Deep Learning 已经占据绝对的主导地位,我们面对的问题越来越复杂,CV 和 NLP 朝着各自的方向前行。模型越来越强,我们面对的任务的也越来越复杂,其中,我们越来越多地需要考虑高度结构化的输出空间。多标签学习,作为一个传统的机器学习任务,近年来也拥抱变化,有了新的研究趋势。因此,我们整理了近年多标签学习在各大会议的工作,希望能够为研究者们提供更具前瞻性的思考。关于单标签学习和多标签学习的区别,这里简单给个例子:传统的图片单标签分类考虑识别一张图片里的一个物体,例如 ImageNet、CIFAR10 等都是如此,但其实图片里往往不会只有一个物体,大家随手往自己的桌面拍一张照片,就会有多个物体,比如手机、电脑、笔、书籍等等。在这样的情况下,单标签学习的方法并不适用,因为输出的标签可能是结构化的、具有相关性的(比如键盘和鼠标经常同时出现),所以我们需要探索更强的多标签学习算法来提升学习性能。本文的主要内容有六大部分:Extreme Multi-Label ClassificationMulti-Label with Limited SupervisionDeep Multi-Label ClassificationOnline Multi-Label ClassificationStatistical Multi-Label LearningNew Applications接下去我们对这些部分进行简单的介绍,更多细节大家也可以进一步阅读 Survey 原文。另外,由于现在的论文迭代很快,我们无法完全 Cover 到每篇工作。我们的主旨是尽量保证收集的工作来自近年已发表和录用的、高质量的期刊或会议,保证对当前工作的整体趋势进行把握。如果读者有任何想法和意见的话,也欢迎私信进行交流。1. Extreme Multi-Label Learning (XML)在文本分类,推荐系统,Wikipedia,Amazon 关键词匹配 [1] 等等应用中,我们通常需要从非常巨大的标签空间中召回标签。比如,很多人会 po 自己的自拍到 FB、Ins 上,我们可能希望由此训练一个分类器,自动识别谁出现在了某张图片中。对 XML 来说,首要的问题就是标签空间、特征空间都可能非常巨大,例如 Manik Varma 大佬的主页中给出的一些数据集 [2],标签空间的维度甚至远高于特征维度。其次,由于如此巨大的标签空间,可能存在较多的 Missing Label(下文会进一步阐述)。最后,标签存在长尾分布 [3],绝大部分标签仅仅有少量样本关联。现有的 XML 方法大致可以分为三类,分别为:Embedding Methods、Tree-Based Methods、One-vs-All Methods。近年来,也有很多文献使用了深度学习技术解决 XML 问题,不过我们将会在 Section 4 再进行阐述。XML 的研究热潮大概从 2014 年开始,Varma 大佬搭建了 XML 的 Repository 后,已经有越来越多的研究者开始关注,多年来 XML 相关的文章理论和实验结果并重,值得更多的关注。2. Multi-Label with Limited Supervision相比于传统学习问题,对多标签数据的标注十分困难,更大的标签空间带来的是更高的标注成本。随着我们面对的问题越来越复杂,样本维度、数据量、标签维度都会影响标注的成本。因此,近年多标签的另一个趋势是开始关注如何在有限的监督下构建更好的学习模型。本文将这些相关的领域主要分为三类:MLC with Missing Labels(MLML):多标签问题中,标签很可能是缺失的。例如,对 XML 问题来说,标注者根本不可能遍历所有的标签,因此标注者通常只会给出一个子集,而不是给出所有的监督信息。文献中解决该问题的技术主要有基于图的方法、基于标签空间(或 Latent 标签空间)Low-Rank 的方法、基于概率图模型的方法。Semi-Supervised MLC:MLML 考虑的是标签维度的难度,但是我们知道从深度学习需要更多的数据,在样本量上,多标签学习有着和传统 AI 相同的困难。半监督 MLC 的研究开展较早,主要技术和 MLML 也相对接近,在这一节,我们首先简要回顾了近年半监督 MLC 的一些最新工作。但是,近年来,半监督 MLC 开始有了新的挑战,不少文章开始结合半监督 MLC 和 MLML 问题。毕竟对于多标签数据量来说,即使标注少量的 Full Supervised 数据,也是不可接受的。因此,许多文章开始研究一类弱监督多标签问题 [4](Weakly-Supervised MLC,狭义),也就是数据集中可能混杂 Full labeled/missing labels/unlabeled data。我们也在文中重点介绍了现有的一些 WS-MLC 的工作。Partial Multi-Label Learning (PML):PML 是近年来多标签最新的方向,它考虑的是一类 “难以标注的问题”。比如,在我们标注下方的图片(Zhang et. al. 2020[5])的时候,诸如 Tree、Lavender 这些标签相对是比较简单的。但是有些标签到底有没有,是比较难以确定的,对于某些标注者,可能出现:“这张图片看起来是在法国拍的,好像也可能是意大利?”。这种情况称之为 Ambiguous。究其原因,一是有些物体确实难以辨识,第二可能是标注者不够专业(这种多标签的情况,标注者不太熟悉一些事物也很正常)。但是,很多情况下,标注者是大概能够猜到正确标签的范围,比如这张风景图所在国家,很可能就是 France 或者 Italy 中的一个。我们在不确定的情况下,可以选择不标注、或者随机标注。但是不标注意味着我们丢失了所有信息,随机标注意味着可能带来噪声,对学习的影响更大。所以 PML 选择的是让标注者提供所有可能的标签,当然加了一个较强的假设:所有的标签都应该被包含在候选标签集中。在 Survey 中,我们将现有的 PML 方法划分为 Two-Stage Disambiguation 和 End-to-End 方法(我们 IJCAI 2019 的论文 DRAMA[6] 中,就使用了前者)。关于 PML 的更多探讨,我在之前的知乎回答里面也已经叙述过,大家也可以在我们的 Survey 中了解更多。Other Settings:前文说过,多标签学习的标签空间纷繁复杂,因此很多研究者提出了各种各样不同的学习问题,我们也简单摘要了一些较为前沿的方向:MLC with Noisy Labels (Noisy-MLC).MLC with Unseen Labels. (Streaming Labels/Zero-Shot/Few-Shot Labels)Multi-Label Active Learning (MLAL).MLC with Multiple Instances (MIML).3. Deep Learning for MLC相信这一部分是大家比较关心的内容,随着深度学习在越来越多的任务上展现了自己的统治力,多标签学习当然也不能放过这块香饽饽。不过,总体来说,多标签深度学习的模型还没有十分统一的框架,当前对 Deep MLC 的探索主要分为以下一些类别:Deep Embedding Methods:早期的 Embedding 方法通常使用线性投影,将 PCA、Compressed Sensing 等方法引入多标签学习问题。一个很自然的问题是,线性投影真的能够很好地挖掘标签之间的相关关系吗?同时,在 SLEEC[3]的工作中也发现某些数据集并不符合 Low-Rank 假设。因此,在 2017 年的工作 C2AE [7] 中,Yeh 等将 Auto-Encoder 引入了多标签学习中。由于其简单易懂的架构,很快有许多工作 Follow 了该方法,如 DBPC [8] 等。Deep Learning for Challenging MLC:深度神经网络强大的拟合能力使我们能够有效地处理更多更困难的工作。因此我们发现近年的趋势是在 CV、NLP 和 ML 几大 Community,基本都会有不同的关注点,引入 DNN 解决 MLC 的问题,并根据各自的问题发展出自己的一条线。1. XML 的应用:对这个方面的关注主要来自与数据挖掘和 NLP 领域,其中比较值得一提的是 Attention(如 AttentionXML[9])机制、Transformer-Based Models(如 X-Transformer[10])成为了最前沿的工作。2. 弱监督 MLC 的应用:这一部分和我们弱监督学习的部分相对交叉,特别的,CVPR 2019 的工作 [11] 探索了多种策略,在 Missing Labels 下训练卷积神经网络。3. DL for MLC with unseen labels:这一领域的发展令人兴奋,今年 ICML 的工作 DSLL[12]探索了流标签学习,也有许多工作 [13] 将 Zero-Shot Learning 的架构引入 MLC。Advanced Deep Learning for MLC:有几个方向的工作同样值得一提。首先是 CNN-RNN[14]架构的工作,近年有一个趋势是探索 Orderfree 的解码器 [15]。除此之外,爆火的图神经网络 GNN 同样被引入 MLC,ML-GCN[16] 也是备受关注。特别的,SSGRL[17]是我比较喜欢的一篇工作,结合了 Attention 机制和 GNN,motivation 比较强,效果也很不错。总结一下,现在的 Deep MLC 呈现不同领域关注点和解决的问题不同的趋势:从架构上看,基于 Embedding、CNN-RNN、CNN-GNN 的三种架构受到较多的关注。从任务上,在 XML、弱监督、零样本的问题上,DNN 大展拳脚。从技术上,Attention、Transformer、GNN 在 MLC 上的应用可能会越来越多。4. Online Multi-Label Learning面对当前这么复杂而众多的学习问题,传统的全数据学习的方式已经很难满足我们现实应用的需求了。因此,我们认为 Online Multi-Label Learning 可能是一个十分重要,也更艰巨的问题。当前 Off-line 的 MLC 模型一般假设所有数据都能够提前获得,然而在很多应用中,或者对大规模的数据,很难直接进行全量数据的使用。一个朴素的想法自然是使用 Online 模型,也就是训练数据序列地到达,并且仅出现一次。然而,面对这样的数据,如何有效地挖掘多标签相关性呢?本篇 Survey 介绍了一些已有的在线多标签学习的方法,如 OUC[18]、CS-DPP[19]等。在弱监督学习的部分,我们也回顾了近年一些在线弱监督多标签的文章[20](在线弱监督学习一直是一个很困难的问题)。Online MLC 的工作不多,但是已经受到了越来越多的关注,想要设计高效的学习算法并不简单,希望未来能够有更多研究者对这个问题进行探索。5. Statistical Multi-Label Learning近年,尽管深度学习更强势,但传统的机器学习理论也在稳步发展,然而,多标签学习的许多统计性质并没有得到很好的理解。近年 NIPS、ICML 的许多文章都有探索多标签的相关性质。一些值得一提的工作例如,缺失标签下的低秩分类器的泛化误差分析 [21]、多标签代理损失的相合性质[22]、稀疏多标签学习的 Oracle 性质[23] 等等。相信在未来,会有更多工作探索多标签学习的理论性质。6. New Applications讲了这么多方法论,但追溯其本源,这么多纷繁复杂的问题依然是由任务驱动的,正是有许许多多现实世界的应用,要求我们设计不同的模型来解决尺度更大、监督更弱、效果更强、速度更快、理论性质更强的 MLC 模型。因此,在文章的最后一部分,我们介绍了近年多标签领域一些最新的应用,如 Video Annotation、Green Computing and 5G Applications、User Profiling 等。在 CV 方向,一个趋势是大家开始探索多标签领域在视频中的应用 [24]。在 DM 领域,用户画像受到更多关注,在我们今年的工作 CMLP[25] 中(下图),就探索了对刷单用户进行多种刷单行为的分析。不过,在 NLP 领域,似乎大家还是主要以文本分类为主,XML-Repo[2]中的应用还有较多探索的空间,所以我们没有花额外的笔墨。总结写这篇文章的过程中,我跟着几位老师阅读了很多文章,各个领域和方向的工作都整理了不少,尽管无法 cover 到所有工作,但是我们尽可能地把握了一些较为重要的探索的方向,也在文中较为谨慎地给出了一些我们的思考和建议,希望能够给想要了解多标签学习领域的研究者一点引领和思考。参考Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 3163-3171.http://manikvarma.org/downloads/XC/XMLRepository.htmlBhatia K, Jain H, Kar P, et al. Sparse local embeddings for extreme multi-label classification[C]//Advances in neural information processing systems. 2015: 730-738.Chu H M, Yeh C K, Frank Wang Y C. Deep generative models for weakly-supervised multi-label classification[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 400-415.Zhang M L, Fang J P. Partial multi-label learning via credible label elicitation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.Wang H, Liu W, Zhao Y, et al. Discriminative and Correlative Partial Multi-Label Learning[C]//IJCAI. 2019: 3691-3697.C. Yeh, W. Wu, W. Ko, and Y. F. Wang, “Learning deep latent space for multi-label classification,” in AAAI, 2017, pp. 2838–2844.X. Shen, W. Liu, Y. Luo, Y. Ong, and I. W. Tsang, “Deep discrete prototype multilabel learning,” in IJCAI, 2018, pp. 2675–2681.You R, Zhang Z, Wang Z, et al. Attentionxml: Label tree-based attention-aware deep model for high-performance extreme multi-label text classification[C]//Advances in Neural Information Processing Systems. 2019: 5820-5830.Chang W C, Yu H F, Zhong K, et al. Taming Pretrained Transformers for Extreme Multi-label Text Classification[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 3163-3171.Durand T, Mehrasa N, Mori G. Learning a deep convnet for multi-label classification with partial labels[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 647-657.Z. Wang, L. Liu, and D. Tao, “Deep streaming label learning,” in ICML, 2020.C. Lee, W. Fang, C. Yeh, and Y. F. Wang, “Multi-label zero-shot learning with structured knowledge graphs,” in CVPR, 2018, pp. 1576–1585.Wang J, Yang Y, Mao J, et al. Cnn-rnn: A unified framework for multi-label image classification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2285-2294.Yazici V O, Gonzalez-Garcia A, Ramisa A, et al. Orderless Recurrent Models for Multi-label Classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13440-13449.Chen Z M, Wei X S, Wang P, et al. Multi-label image recognition with graph convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 5177-5186.T. Chen, M. Xu, X. Hui, H. Wu, and L. Lin, “Learning semanticspecific graph representation for multi-label image recognition,” in ICCV, 2019, pp. 522–531.M. J. Er, R. Venkatesan, and N. Wang, “An online universal classifier for binary, multi-class and multi-label classification,” in IEEE International Conference on Systems, Man, and Cybernetics, 2016, pp. 3701–3706.H. Chu, K. Huang, and H. Lin, “Dynamic principal projection for cost-sensitive online multi-label classification,” Machine Learning, vol. 108, no. 8-9, pp. 1193–1230, 2019.S. Boulbazine, G. Cabanes, B. Matei, and Y. Bennani, “Online semi-supervised growing neural gas for multi-label data classification,” in IJCNN, 2018, pp. 1–8.H. Yu, P. Jain, P. Kar, and I. S. Dhillon, “Large-scale multilabel learning with missing labels,” in Proceedings of the 31th International Conference on Machine Learning, ICML 2014, Beijing, China, 21-26 June 2014, 2014, pp. 593–601.W. Gao and Z. Zhou, “On the consistency of multi-label learning,” Artificial Intelligence, vol. 199-200, pp. 22–44, 2013.W. Liu and X. Shen, “Sparse extreme multi-label learning with oracle property,” in ICML, 2019, pp. 4032–4041.X. Zhang, H. Shi, C. Li, and P. Li, “Multi-instance multi-label action recognition and localization based on spatio-temporal pretrimming for untrimmed videos,” in AAAI. AAAI Press, 2020, pp. 12 886–12 893.H. Wang, Z. Li, J. Huang, P. Hui, W. Liu, T. Hu, and G. Chen, “Collaboration based multi-label propagation for fraud detection,” in IJCAI, 2020.
  • [前沿快讯] AI辅助检测脑动脉瘤,灵敏度达97.5%,华为云联合成果登上国际顶级期刊
    近日,放射学领域国际顶级期刊《Radiology》发表了华为云 EI 创新孵化 lab、华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科联合团队的最新研究成果:AI 算法检测动脉瘤灵敏度高达 97.5%,帮助医生临床诊断灵敏度提升约 10 个百分点,漏诊率降低 5 个百分点,同时有效缩短医生诊断时间。日前,放射学领域的国际顶级期刊《Radiology》(《放射学》)发表了一项来自中国的「人工智能 + 医学影像」最新研究成果:运用 AI 帮助医生检测脑动脉瘤,灵敏度达到 97.5%;AI 协助放射科医生阅片,帮助医生临床诊断灵敏度提升约 10 个百分点,漏诊率降低 5 个百分点;同时有效缩短医生诊断时间。论文链接:https://pubs.rsna.org/doi/10.1148/radiol.2020192154这项研究由华为云 EI 创新孵化 Lab 联合华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科完成,运用华为云一站式 AI 开发平台 ModelArts 开发了一套基于 CTA 影像的全自动化、高度敏感的脑动脉瘤检测算法,帮助医生更快速高效地诊断脑动脉瘤。Radiology 杂志是放射学领域的顶级期刊,一直被公认为该领域最新、最高质量研究的权威参考,2020 年最新影响因子为 7.9,是该领域内被引用次数最多的期刊之一。脑动脉瘤辅诊:「人工智能 + 医学影像」新突破「人工智能 + 医学影像」是将目前最先进的人工智能技术应用于医学影像诊断,帮助医生诊断患者病情的人工智能具体应用场景,可以广泛用于各类病灶识别与标注,如宫颈癌、肺部结节、心脑血管疾病辅诊等。脑动脉瘤诊断难点脑动脉瘤是脑动脉内腔的局限性异常扩大造成的一种瘤状突出,存在渗漏或破裂风险,位居脑血管疾病病因的 Top3,堪称「沉默又**的杀手」。脑动脉瘤造成了大约 80%-90% 的非创伤性蛛网膜下腔出血。这一严重的脑部疾病死亡率为 23%-51%,另外还有 10%-20% 的永久残疾风险,对其进行早期诊断与治疗非常必要。动脉瘤位置多发,形态多样,对医生资历要求较高。中国人口基数大,高资历医生匮乏,相关医生工作强度极大。 动脉瘤破裂的风险取决于动脉瘤的大小、形状和位置,因此脑动脉瘤的检测和特征提取是指导治疗的关键。目前,CT 血管造影成像(CTA)是评估颅内动脉瘤的主要影像学检查手段,与磁共振血管造影(MRA)相比, CTA 是一种快速且经济有效的诊断技术,通常具有更广的可用性和较高的空间分辨率。与数字减影血管造影(DSA)相比,CTA 通常更广泛且具备无创性。但是由于脑动脉瘤体积小和颅内血管的复杂性,即使专业的放射学专家进行诊断也需要耗费很长的时间,一些小动脉瘤还可能被遗漏。AI + 医学影像,解决脑动脉瘤辅诊难题在最近发表在 Radiology 的这项新研究中,华为云 EI 创新孵化 Lab 联合华中科技大学电信学院、华中科技大学同济医学院附属协和医院放射科运用华为云一站式 AI 开发平台 ModelArts,开发了一套基于 CTA 影像的全自动化、高度敏感的脑动脉瘤检测算法。ModelArts 平台提供数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,以及端 - 边 - 云按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。 该研究开发的脑动脉瘤检测算法包括一个编码器和解码器,并在编码器解码器中间使用了密集的空洞卷积 (DAC) 和残差多核池化 (RMP) 模块。输入的 CTA 图像被重采样至 0.39×0.39×0.39 mm^3 分辨率,算法输出会提供动脉瘤存在概率、动脉瘤位置以及直径大小等信息,并在 CTA 原始图像上为可疑的动脉瘤勾画出一个边界框。脑动脉瘤检测算法的整体架构。该研究使用了 534 名患者的 CTA 数据来训练深度学习检测算法,然后在另外 534 例数据上进行验证。验证集共含有 649 个动脉瘤,该研究算法检测出来了 633 个,灵敏度达到 97.5%;同时算法还检测出了 8 个新的动脉瘤,而这些动脉瘤在医生最初的诊断中被忽略了。这 8 个动脉瘤有 6 个直径小于 3mm,2 个在 3-5mm 之间,说明该研究算法对于微小动脉瘤也具备非常好的性能。数据获取、筛选和分割流程图。算法在验证集上的 FROC 曲线。此外,为了验证该研究提出算法对放射科医生的协助作用,研究人员另外收集了 400 例 CTA 数据作为外部测试集(188 个阳性和 212 个阴性),由四名放射科医生分别在没有算法协助和有算法协助下进行阅片。统计结果显示,在有算法协助的情形下,放射科医生的表现都有一定的提升,特别是经验较少的医生进步最明显。帮助影像科医生,而不是取代他们参与该联合项目的华中科技大学同济医学院附属协和医院影像科专家龙茜博士表示:「我们联合华为云开发的深度学习算法在检测动脉瘤方面表现出了出色的性能。我们发现极少数动脉瘤在最初的临床诊断报告中被忽略了,但它们被深度学习算法成功地识别出来了。」该研究表明,深度学习算法在脑动脉瘤的诊断中具有潜力,有望在临床上作为第二意见的诊断工具。AI 有许多优点,主要是因为其不受经验水平、工作时间和情绪等影响人类表现的因素的影响。对于三甲医院来说,「人工智能 + 医学影像」的引入可以改善高度依赖医生人工读片的传统模式,一定程度上缓解医学影像诊断的压力,同时满足三甲医院的科研需求。对于基层医院来说,相比三甲医院,对复杂影像的处理能力、判断能力更为薄弱,因此误诊漏诊率更高。人工智能通过把影像诊断结果进行前期的分析和处理,可以提高筛查数量,降低误诊漏诊率,进而提高综合医疗水平。当然,这个系统也有一些局限性。它可能识别不出非常小的动脉瘤或位于类似密度结构的动脉瘤,如骨骼。同样,它的判断也受到假阳性的影响,可能错误地将类似于动脉瘤的结构识别为动脉瘤,这时就需要医生把关,共同做出准确诊断。人工智能会替代影像科医生吗?对此,龙茜博士表示:「与华为云合作开发 AI 深度学习算法的目的是帮助影像科医生,而不是取代他们。未来需要进一步收集、分析、验证更异构的高质量数据,进一步验证该算法,这是评估其推广性和对日常临床工作适用性的关键,需要 AI 算法专家、影像科专家等进一步通力合作。」   加速 AI 基础研究和医疗领域落地随着人工智能的不断发展,国内主要 IT 和云厂商都在医疗、大健康领域有所布局。医疗基础研究方面,华为云 EI 创新孵化 Lab 重点聚焦于如何解决医疗领域的重大技术难题。在 MICCAI 2019 、MICCAI2020、Radiology 等人工智能医学影像学术会议期刊上连续发表了华为云人工智能医学影像分析团队 6 篇论文,涵盖宫颈癌筛查、脑中风分割、心室分割以及平片诊断报告自动生成相关领域的研究成果。在 LUNA-2016、HC-2018、ISLES-2018 的个业界多个挑战赛事上获得业界领先水平。在产业落地方面,在医疗影像领域,华为云可提供企业级的医疗影像 AI 平台,支撑全流程可追溯的端到端 AI 建模,助力医疗影像 AI 更加系统、快速、安全地走向市场。在基因组、制药等领域,与医疗行业领先企业及医院和高校合作,加速 AI 研究和应用落地。
  • [其他] 深度学习模型结构
    深度神经网络是由多个单层非线性网络叠加而成的,常见的单层网络按照编码解码情况分为3类:只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。编码器提供从输入到隐含特征空间的自底向上的映射,解码器以重建结果尽可能接近原始输入为目标将隐含特征映射到输入空间。 人的视觉系统对信息的处理是分级的。从低级的提取边缘特征到形状(或者目标等),再到更高层的目标、目标的行为等,即底层特征组合成了高层特征,由低到高的特征表示越来越抽象。深度学习借鉴的这个过程就是建模的过程。 深度神经网络可以分为3类:1.前馈深度网络(feed-forwarddeep networks, FFDN),由多个编码器层叠加而成,如多层感知机(multi-layer perceptrons, MLP)、卷积神经网络(convolutionalneural networks, CNN)等。2.反馈深度网络(feed-back deep networks, FBDN),由多个解码器层叠加而成,如反卷积网络(deconvolutionalnetworks, DN)、层次稀疏编码网络(hierarchical sparse coding, HSC)等。3.双向深度网络(bi-directionaldeep networks, BDDN),通过叠加多个编码器层和解码器层构成(每层可能是单独的编码过程或解码过程,也可能既包含编码过程也包含解码过程),如深度玻尔兹曼机(deep Boltzmann machines, DBM)、深度信念网络(deep beliefnetworks, DBN)、栈式自编码器(stacked auto-encoders, SAE)等。
  • [其他] 由线性回归来理解深度学习的理论基础(5)
    多层感知器 现在我们来介绍多层感知器(MLP)。通过添加非线性的激活函数以及使用多层网络的结构,多层感知器延展了单层感知器的功能。在训练中,我们需要用到反向传播和梯度下降的方式来更新权重。多层感知器的构造如图所示:多层感知器的“多层”结构可以从数据当中提取层次性的结构(每一层都可以从上一层当中提取一次特征),从而找到更好地模拟数据规律的方式。因此,具有单层无激活功能(或阶跃激活功能)的神经网络(即多层感知器)等同于线性回归。此外,线性回归可以使用封闭形式解决方案来解决。然而,随着MLP的结构更加复杂,封闭形式的解决方案不再管用,因此必须使用迭代解决方案,即通过逐步改进的方法来改善结果。这样的算法不一定会收敛,梯度下降就是一个经典的例子。MLP(深度学习)是一个高度参数化的模型。对于等式y = mx + c,m和c被称为参数,我们从数据和中推导出参数的值。方程的参数可以看作自由度,线性回归具有相对较少的参数,即具有较小的自由度。然而,更复杂的MLP具有更多的参数,也具有更大的自由度。虽然两者都是参数化模型,但MLP的优化策略(反向传播+梯度下降)比线性回归的优化策略(最小二乘法)复杂得多。从这个方面讲,神经网络可以看作是线性回归的复杂衍生物,多层感知器的高度参数化允许我们构建功能更加复杂的模型。
  • [其他] 由线性回归来理解深度学习的理论基础(4)
    感知器学习 接下来我们看看感知器是如何与线性回归模型产生联系的。        感知器(Perceptrons)是用于二元分类问题的监督学习算法,二元分类器是二类问题的线性分类器。Mark I 感知器是感知器算法的第一个实现,感知器算法由Frank Rosenblatt于1957年在康奈尔航空实验室发明,感知器旨在成为一台机器,而不是一个程序,这台机器专为图像识别而设计:它有一个由400个光电池组成的阵列,随机连接到“神经元”,权重由电位器编码,并且在学习期间通过机器执行权重更新。在美国海军组织的1958年新闻发布会上,Rosenblatt发表了关于感知者的声明,这一声明引起了人工智能社区的激烈争论。根据罗森布拉特的声明,感知器是“电子计算机的胚胎,走路,说话,看,写,复制自己,并感受到它的存在。”单层感知器仅能够学习线性可分离的模式。1969年,一本名为Perceptrons的书表明,感知器网络不可能学习XOR功能。但是,如果我们使用非线性激活函数(而不是梯度函数),则可突破此限制。事实上,通过使用非线性激活函数,我们可以构建比XOR更复杂的函数(即使只有单层),如果我们添加更多隐藏层,则可以拓展处更复杂的功能,即我们接下来要介绍的多层感知器(深度学习)。我们回顾一下:1)感知器是生物神经元的简化模型。2)感知器是用于学习二元分类器的算法:将其输入映射到输出值的函数。3)在神经网络的背景下,感知器是使用Heaviside阶跃函数作为激活函数的人工神经元,感知器算法也称为单层感知器,以区别于多层感知器。4)Perceptron算法具有历史意义,但它为我们提供了一种拉近线性回归和深度学习之间差别的方法。5)单层感知器的学习过程如下所示,每加入一个数据点,感知器便会更新一次线性边界,类似于线性回归中的回归线。下图为感知器的示意图,f为阶跃函数,输出为二进制(0或1),i1-in为输入,Wi为各个输入的权重:
  • [其他] 由线性回归来理解深度学习的理论基础(3)
    广义线性模型 在普通线性回归中,预测变量(x)的变化会导致响应变量(y)的变化,但是,当且仅当响应变量具有正态分布时才成立。在响应变量是正态分布时,有好多问题我们无法处理:1)响应变量总是为正且在很大范围内变化;2)预测变量的变化导致响应变量的几何变换,而不是连续变化(即两者间非线性关系)。广义线性回归是由普通线性回归延伸出的第二个模型,它满足:1)响应变量可以不是正态分布;2)允许响应变量不是随着预测变量线性变化。多项式回归 介绍了多元回归和GLM之后,让我们现在看一下我们可以从普通线性回归推断出的第三个模型——多项式回归。在多项式回归中,自变量x和因变量y之间的关系被表示为x的n次多项式的形式。多项式回归已被用于描述非线性现象,如组织的生长速度,湖泊沉积物中碳同位素的分布,以及疾病流行的进展。
总条数:1305 到第 页
上滑加载中