• [其他] 深度学习之浅层网络
    存在一些函数族能够在网络的深度大于某个值 d 时被高效地近似,而当深度被限制到小于或等于 d 时需要一个远远大于之前的模型。在很多情况下,浅层模型所需的隐藏单元的数量是 n 的指数级。这个结果最初被证明是在那些不与连续可微的神经网络类似的机器学习模型中出现,但现在已经扩展到了这些模型。第一个结果是关于逻辑门电路的 (Håstad, 1986)。后来的工作将这些结果扩展到了具有非负权重的线性阈值单元 (Håstad and Goldmann, 1991; Hajnal et al., 1993),然后扩展到了具有连续值激活的网络 (Maass, 1992; Maass et al., 1994)。许多现代神经网络使用整流线性单元。Leshno et al. (1993) 证明带有一大类非多项式激活函数族的浅层网络,包括整流线性单元,具有万能的近似性质,但是这些结果并没有强调深度或效率的问题——它们仅指出足够宽的整流网络能够表示任意函数。Montufar et al.(2014) 指出一些用深度整流网络表示的函数可能需要浅层网络(一个隐藏层)指数级的隐藏单元才能表示。更确切的说,他们说明分段线性网络(可以通过整流非线性或 maxout 单元获得)可以表示区域的数量是网络深度的指数级的函数。图 6.5 解释了带有绝对值整流的网络是如何创建函数的镜像图像的,这些函数在某些隐藏单元的顶部计算,作用于隐藏单元的输入。每个隐藏单元指定在哪里折叠输入空间,来创造镜像响应(在绝对值非线性的两侧)。通过组合这些折叠操作,我们获得指数级的分段线性区域,他们可以概括所有种类的规则模式(例如,重复)。
  • [其他] 深度学习之万能系统
    万能近似定理意味着无论我们试图学习什么函数,我们知道一个大的 MLP 一定能够表示这个函数。然而,我们不能保证训练算法能够学得这个函数。即使 MLP能够表示该函数,学习也可能因两个不同的原因而失败。首先,用于训练的优化算法可能找不到用于期望函数的参数值。其次,训练算法可能由于过拟合而选择了错误的函数。回忆第 5.2.1 节中的 ‘‘没有免费的午餐’’ 定理,说明了没有普遍优越的机器学习算法。前馈网络提供了表示函数的万能系统,在这种意义上,给定一个函数,存在一个前馈网络能够近似该函数。不存在万能的过程既能够验证训练集上的特殊样本,又能够选择一个函数来扩展到训练集上没有的点。万能近似定理说明了,存在一个足够大的网络能够达到我们所希望的任意精度,但是定理并没有说这个网络有多大。Barron (1993) 提供了单层网络近似一大类函数所需大小的一些界。不幸的是,在最坏情况下,可能需要指数数量的隐藏单元(可能一个隐藏单元对应着一个需要区分的输入配置)。这在二进制情况下很容易看到:向量 v ∈ {0, 1}n 上的可能的二进制函数的数量是 22n,并且选择一个这样的函数需要2n 位,这通常需要 O(2n) 的自由度。
  • [其他] 深度学习之万能近似定理
    线性模型,通过矩阵乘法将特征映射到输出,顾名思义,仅能表示线性函数。它具有易于训练的优点,因为当使用线性模型时,许多损失函数会导出凸优化问题。不幸的是,我们经常希望我们的系统学习非线性函数。乍一看,我们可能认为学习非线性函数需要为我们想要学习的那种非线性专门设计一类模型族。幸运的是,具有隐藏层的前馈网络提供了一种万能近似框架。具体来说,万能近似定理(universal approximation theorem)(Hornik et al., 1989; Cybenko, 1989) 表明,一个前馈神经网络如果具有线性输出层和至少一层具有任何一种 ‘‘挤压’’ 性质的激活函数(例如logistic sigmoid激活函数)的隐藏层,只要给予网络足够数量的隐藏单元,它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的 Borel 可测函数。前馈网络的导数也可以任意好地来近似函数的导数 (Hornik et al., 1990)。Borel 可测的概念超出了本书的范畴;对于我们想要实现的目标,只需要知道定义在 Rn 的有界闭集上的任意连续函数是 Borel 可测的,因此可以用神经网络来近似。神经网络也可以近似从任何有限维离散空间映射到另一个的任意函数。虽然原始定理最初以具有特殊激活函数的单元的形式来描述,这个激活函数当变量取绝对值非常大的正值和负值时都会饱和,万能近似定理也已经被证明对于更广泛类别的激活函数也是适用的,其中就包括现在常用的整流线性单元 (Leshno et al., 1993)。
  • [其他] 深度学习之其他隐藏单元
    也存在许多其他种类的隐藏单元,但它们并不常用。一般来说,很多种类的可微函数都表现得很好。许多未发布的激活函数与流行的激活函数表现得一样好。为了提供一个具体的例子,作者在 MNIST 数据集上使用 h = cos(Wx + b) 测试了一个前馈网络,并获得了小于 1% 的误差率,这可以与更为传统的激活函数获得的结果相媲美。在新技术的研究和开发期间,通常会测试许多不同的激活函数,并且会发现许多标准方法的变体表现非常好。这意味着,通常新的隐藏单元类型只有在被明确证明能够提供显著改进时才会被发布。新的隐藏单元类型如果与已有的隐藏单元表现大致相当的话,那么它们是非常常见的,不会引起别人的兴趣。其中一种是完全没有激活函数 g(z)。也可以认为这是使用单位函数作为激活函数的情况。我们已经看过线性单元可以用作神经网络的输出。它也可以用作隐藏单元。如果神经网络的每一层都仅由线性变换组成,那么网络作为一个整体也将是线性的。然而,神经网络的一些层是纯线性也是可以接受的。考虑具有 n 个输入和 p个输出的神经网络层 h = g(W⊤x + b)。我们可以用两层来代替它,一层使用权重矩阵 U,另一层使用权重矩阵 V。如果第一层没有激活函数,那么我们对基于 W 的原始层的权重矩阵进行因式分解。分解方法是计算 h = g(V⊤U⊤x + b)。如果 U 产生了 q 个输出,那么 U 和 V 一起仅包含 (n + p)q 个参数,而 W 包含 np 个参数。如果 q 很小,这可以在很大程度上节省参数。这是以将线性变换约束为低秩的代价来实现的,但这些低秩关系往往是足够的。线性隐藏单元因此提供了一种减少网络中参数数量的有效方法。
  • [其他] 深度学习之logistic sigmoid与双曲正切函数
    在引入整流线性单元之前,大多数神经网络使用 logistic sigmoid 激活函数g(z) = σ(z)或者是双曲正切激活函数g(z) = tanh(z).这些激活函数紧密相关,因为 tanh(z) = 2σ(2z) − 1。我们已经看过 sigmoid 单元作为输出单元用来预测二值型变量取值为 1 的概率。与分段线性单元不同,sigmoid 单元在其大部分定义域内都饱和——当 z 取绝对值很大的正值时,它们饱和到一个高值,当 z 取绝对值很大的负值时,它们饱和到一个低值,并且仅仅当 z 接近 0 时它们才对输入强烈敏感。sigmoid 单元的广泛饱和性会使得基于梯度的学习变得非常困难。因为这个原因,现在不鼓励将它们用作前馈网络中的隐藏单元。当使用一个合适的代价函数来抵消 sigmoid 的饱和性时,它们作为输出单元可以与基于梯度的学习相兼容。当必须要使用 sigmoid 激活函数时,双曲正切激活函数通常要比 logistic sig-moid 函数表现更好。在 tanh(0) = 0 而 σ(0) = 1 的意义上,它更像是单位函数。因为 tanh 在 0 附近与单位函数类似,训练深层神经网络 yˆ = w⊤tanh(U⊤tanh(V⊤x))类似于训练一个线性模型 yˆ = w⊤U⊤V⊤x,只要网络的激活能够被保持地很小。这使得训练 tanh 网络更加容易。sigmoid 激活函数在除了前馈网络以外的情景中更为常见。循环网络、许多概率模型以及一些自编码器有一些额外的要求使得它们不能使用分段线性激活函数,并且使得 sigmoid 单元更具有吸引力,尽管它存在饱和性的问题。
  • [其他] 深度学习之灾难遗忘
    每个 maxout 单元现在由 k 个权重向量来参数化,而不仅仅是一个,所以 maxout单元通常比整流线性单元需要更多的正则化。如果训练集很大并且每个单元的块数保持很低的话,它们可以在没有正则化的情况下工作得不错 (Cai et al., 2013)。maxout 单元还有一些其他的优点。在某些情况下,要求更少的参数可以获得一些统计和计算上的优点。具体来说,如果由 n 个不同的线性过滤器描述的特征可以在不损失信息的情况下,用每一组 k 个特征的最大值来概括的话,那么下一层可以获得 k 倍更少的权重数。因为每个单元由多个过滤器驱动,maxout 单元具有一些冗余来帮助它们抵抗一种被称为灾难遗忘(catastrophic forgetting)的现象,这个现象是说神经网络忘记了如何执行它们过去训练的任务 (Goodfellow et al., 2014a)。
  • [其他] 深度学习之maxout 单元
    maxout 单元maxout 单元(maxout unit)(Goodfellow et al., 2013a) 进一步扩展了整流线性单元。maxout 单元将 z 划分为每组具有 k 个值的组,而不是使用作用于每个元素的函数 g(z)。每个maxout 单元则输出每组中的最大元素:g(z)i = max这里 G(i) 是组 i 的输入索引集 {(i − 1)k + 1, . . . , ik}。这提供了一种方法来学习对输入 x 空间中多个方向响应的分段线性函数。maxout 单元可以学习具有多达 k 段的分段线性的凸函数。maxout 单元因此可以视为学习激活函数本身而不仅仅是单元之间的关系。使用足够大的 k,maxout 单元可以以任意的精确度来近似任何凸函数。特别地,具有两块的 maxout 层可以学习实现和传统层相同的输入 x 的函数,这些传统层可以使用整流线性激活函数、绝对值整流、渗漏整流线性单元 或参数化整流线性单元,或者可以学习实现与这些都不同的函数。maxout 层的参数化当然也将与这些层不同,所以即使是 maxout 学习去实现和其他种类的层相同的 x 的函数这种情况下,学习的机理也是不一样的。
  • [其他] 深度学习之整流线性单元
    有很多整流线性单元的扩展存在。大多数这些扩展的表现比得上整流线性单元,并且偶尔表现得更好。整流线性单元的一个缺陷是它们不能通过基于梯度的方法学习那些使它们激活为零的样本。整流线性单元的各种扩展保证了它们能在各个位置都接收到梯度。整流线性单元的三个扩展基于当 zi < 0 时使用一个非零的斜率 αi:hi = g(z, α)i = max(0, zi) + αi min(0, zi)。绝对值整流(absolute value rectification)固定 αi = −1 来得到 g(z) = |z|。它用于图像中的对象识别 (Jarrett et al., 2009a),其中寻找在输入照明极性反转下不变的特征是有意义的。整流线性单元的其他扩展比这应用地更广泛。渗漏整流线性单元(Leaky ReLU)(Maas et al., 2013) 将 αi 固定成一个类似 0.01 的小值,参数化整流线性单元(parametric ReLU)或者 PReLU 将αi 作为学习的参数 (He et al., 2015)。
  • [其他] 深度学习之整流线性单元及其扩展
    整流线性单元使用激活函数 g(z) = max{0, z}。整流线性单元易于优化,因为它们和线性单元非常类似。线性单元和整流线性单元的唯一区别在于整流线性单元在其一半的定义域上输出为零。这使得只要整流线性单元处于激活状态,它的导数都能保持较大。它的梯度不仅大而且一致。整流操作的二阶导数几乎处处为 0,并且在整流线性单元处于激活状态时,它的一阶导数处处为 1。这意味着相比于引入二阶效应的激活函数来说,它的梯度方向对于学习来说更加有用。整流线性单元通常作用于仿射变换之上:h = g(W⊤x + b).当初始化仿射变换的参数时,可以将 b 的所有元素设置成一个小的正值,例如 0.1。这使得整流线性单元很可能初始时就对训练集中的大多数输入呈现激活状态,并且允许导数通过。
  • [其他] 深度学习之隐藏单元
    隐藏单元的设计是一个非常活跃的研究领域,并且还没有许多明确的指导性理论原则。整流线性单元是隐藏单元极好的默认选择。许多其他类型的隐藏单元也是可用的。决定何时使用哪种类型的隐藏单元是困难的事(尽管整流线性单元通常是一个可接受的选择)。我们这里描述对于每种隐藏单元的一些基本直觉。这些直觉可以用来建议我们何时来尝试一些单元。通常不可能预先预测出哪种隐藏单元工作得最好。设计过程充满了试验和错误,先直觉认为某种隐藏单元可能表现良好,然后用它组成神经网络进行训练,最后用验证集来评估它的性能。这里列出的一些隐藏单元可能并不是在所有的输入点上都是可微的。例如,整流线性单元 g(z) = max{0, z} 在 z = 0 处不可微。这似乎使得 g 对于基于梯度的学习算法无效。在实践中,梯度下降对这些机器学习模型仍然表现得足够好。部分原因是神经网络训练算法通常不会达到代价函数的局部最小值,而是仅仅显著地减小它的值,如图 4.3所示。这些想法会在第八章中进一步描述。因为我们不再期望训练能够实际到达梯度为 0 的点,所以代价函数的最小值对应于梯度未定义的点是可以接受的。不可微的隐藏单元通常只在少数点上不可微。一般来说,函数 g(z) 具有左导数和右导数,左导数定义为紧邻在 z 左边的函数的斜率,右导数定义为紧邻在 z 右边的函数的斜率。只有当函数在 z 处的左导数和右导数都有定义并且相等时,函数在 z 点处才是可微的。神经网络中用到的函数通常对左导数和右导数都有定义。在g(z) = max{0, z} 的情况下,在 z = 0 处的左导数是 0,右导数是 1。神经网络训练的软件实现通常返回左导数或右导数的其中一个,而不是报告导数未定义或产生一个错误。这可以通过观察到在数字计算机上基于梯度的优化总是会受到数值误差的影响来启发式地给出理由。当一个函数被要求计算 g(0) 时,底层值真正为 0 是不太可能的。相对的,它可能是被舍入为 0 的一个小量 ϵ。在某些情况下,理论上有更好的理由,但这些通常对神经网络训练并不适用。重要的是,在实践中,我们可以放心地忽略下面描述的隐藏单元激活函数的不可微性。除非另有说明,大多数的隐藏单元都可以描述为接受输入向量 x,计算仿射变换 z = W⊤x + b,然后使用一个逐元素的非线性函数 g(z)。大多数隐藏单元的区别仅仅在于激活函数 g(z) 的形式。
  • [行业动态] 根据 DNA 序列预测「NGS测序深度」的深度学习模型
    一种可以根据 DNA 序列预测「NGS测序深度」的深度学习模型一种可以根据 DNA 序列预测「NGS测序深度」的深度学习模型 莱斯大学的研究人员设计了一个深度学习模型,该模型可以根据DNA序列,预测Next-Generation Sequencing(NGS)的测序深度。 针对预测测序深度的有针对性的NGS面板工作流程和深度学习模型(DLM)的概述 论文链接:https://www.nature.com/articles/s41467-021-24497-8 orizon-telescope-captures-beautiful-images-second-black-hole-s-jet
  • [行业动态] 上海交大开源MALib多智能体并行训练框架,支持大规模基于种群的多智能体强化学习训练
        基于种群的多智能体深度强化学习(PB-MARL)方法在星际争霸、王者荣耀等游戏AI上已经得到成功验证,MALib 则是首个专门面向 PB-MARL 的开源大规模并行训练框架。MALib 支持丰富的种群训练方式(例如,self-play, PSRO, league training),并且实现和优化了常见多智能体深度强化学习算法,为研究人员降低并行化工作量的同时,大幅提升了训练效率。此外,MALib 基于 Ray 的底层分布式框架,实现了全新的中心化任务分发模型,相较于常见的多智能体强化学习训练框架(RLlib,PyMARL,OpenSpiel),相同硬件条件下吞吐量和训练速度有着数倍的提升。现阶段,MALib 已对接常见多智能体环境(星际争霸、谷歌足球、棋牌类、多人 Atari 等),后续将进一步提供对自动驾驶、智能电网等场景的支持。    项目主页:https://malib.io。在深度学习领域,算力从来都是我们关心的一个重点,也是影响人工智能算法落地的一个关键因素。在很多应用场景里面,足够的算力支持可以显著加快算法从提出、训练到落地的效率,像是 OpenAI Five 的亿级参数量的使用,其每天的 GPU 计算用量在 770±50~820±50 PFlops/s。而在深度强化学习领域,随着应用场景从单智能体扩展到多智能体,算法的求解复杂度也呈现指数级增长,这也对算力要求提出了新的挑战,要求更多的计算资源能够被调用。特别是当所要处理的问题规模,涉及的智能体数量较多时,单机训练算法的可行度显著下降。多智能体强化学习要解决群体智能相关的问题,其研究往往涉及群体内智能体之间的协作与对抗。目前已有众多现实任务应用涉及大规模智能体和复杂多样化交互,例如人群模拟、自动驾驶以及军事场景中的无人机集群控制:人群模拟(http://gamma.cs.unc.edu/CompAgent/imgs/sitterson3.jpg)。自动驾驶(https://github.com/huawei-noah/SMARTS/blob/master/docs/_static/smarts_envision.gif)。无人机集群(https://defensesystems.com/-/media/GIG/Defense-Systems/Web/2015/JanFeb/CODEdrones.png)。在算法方面,解决此类群体问题的一个重要的途径是基于群体的多智能体强化学习方法,也是 MALib 目前阶段的重点瞄准方向。基于群体的多智能体强化学习(Population-based MARL, PB-MARL)涉及多个策略集合交互问题,下图展示了通常意义上基于群体的多智能体强化学习算法的主要流程。PB-MARL 算法是结合了深度强化学习和动态种群选择方法(例如,博弈论,进化策略)以自动拓展策略集。PB-MARL 能够以此不断产生新的智能,因而在一些复杂任务上都取得了不错的效果,如实时决策游戏 Dota2 、StrarCraftII,以及纸牌任务 Leduc Poker。但在实际问题中,目前的多智能体强化学习算法与应用尚有差距,一个亟待解决的问题便是算法在大规模场景下的训练效率。由于种群算法内在耦合了多智能体算法,致使其训练过程对数据的需求量极大,因而也需要一个灵活、可扩展的训练框架来保证其有效性。如何提高算法训练效率?对于依赖深度学习技术的很多领域,在面临任务规模变大,模型参数变多的情况下,都需要引入额外的技术来提高训练效率。分布式计算是一个最直接考虑的方法,通过多进程或者多机的方式,提高算法对计算资源的使用效率从而提升算法训练效率。而分布式技术在深度强化学习领域的应用,也催生了分布式深度强化学习这个领域的产生,其研究的重点包括计算框架的设计,以及大规模分布式强化学习算法的开发。近年来,为了更好地进行大规模深度强化学习算法的训练,研究人员发展了更加专用的训练框架,通过在算法接口和系统设计上进行抽象,来支持更为复杂的实时数据采样、模型训练和推理需求。然而,分布式强化学习技术的发展似乎还未触及群体智能这一问题。实际上,现有分布式强化学习框架对于一般多智能体强化学习算法的分布式计算支持是完全不够的,像 RLlib、Sample-Factory、SEED RL 这样的典型分布式强化学习框架,在设计模式上都是将多智能体任务当作单智能体任务来处理,而忽略了多智能体算法之间的异构性。对于其他强调智能体交互的学习范式,如中心化训练(centralized training)、基于网络的分布式算法以及带有通信功能的协作性算法都没有进行显式支持,缺乏对应的统一接口来简化算法实现和训练流程。因此,研究人员想要进行更多类型多智能体强化学习算法的分布式训练探索时,往往需要进行大量额外的编码工作。而对于多智能体强化学习算法框架方面的发展,现有的工作更多聚焦在算法实现,并不太注重算法在大规模场景下的扩展性,或者更多的是专为某些场景设计的算法库,像 PyMARL、SMARTS 这样的框架,其作用更偏向于服务专门领域内的 benchmark,在算法类型上,大部分框架也做得并不全面。因此对于多智能体强化学习算法框架支持这一块,也一直是缺乏一套比较全面的框架来打通算法实现、训练和部署测试这一套流程。我们认为以上两个发展现状的主要原因至少会有两点:(1)一个是因为多智能体算法本身在结构上具有的异构性较高,导致算法在接口实现的一致性和复用性上不是太高;(2)另一方面也是因为多智能体分布式算法依然处于早期探索阶段。此外,在分布式部署方面,现有分布式强化学习框架对 independent learning 算法的支持更友好,也更自然和直接。就像通常分布式技术在机器学习领域的应用一样,要解决目前分布式技术在大规模多智能体强化学习领域的更深层次的应用,算法和框架都必不可少,两者相辅相成。在算法方面,一个重要的途径是基于群体的多智能体强化学习方法,也是 MALib 目前阶段所重点瞄准的方向。基于群体的多智能体强化学习(Population-based MARL, PB-MARL)涉及到多个策略集合交互问题,下图展示了通常意义上基于群体的多智能体强化学习算法的主要流程。PB-MARL 算法特点是结合了深度强化学习和动态种群选择方法(例如,博弈论,进化策略)来进行自动策略集扩展。通过这种方式,PB-MARL 能够不断产生新的智能,并且在解决一些复杂任务上都取得了不错的效果,如实时决策游戏 Dota2 、StrarCraftII,以及纸牌任务 Leduc Poker。然而,也正是由于种群算法内在耦合了多智能体算法,导致这一类算法在训练过程对数据的需求极大,因此也需要一个灵活的、可扩展的训练框架来保证其有效性。    论文链接:https://arxiv.org/abs/2106.07551    GitHub:https://github.com/sjtu-marl/malib
  • [互动交流] Tics系统当前支持哪些数据源和深度学习框架?
    如题
  • [其他] AI前沿——深度学习技术
    人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意识。但是自 2006 年以来,机器学习领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是深度学习Deep Learning。借助于 Deep Learning 算法,人类终于找到了如何处理“抽象概念”这个亘古难题的方法。机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构市值不断改善自身的性能的学科,简单地说,机器学习就是通过算法,使得机器能从大量的历史数据中学习规律,从而对新的样本做智能识别或预测未来。机器学习在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等很多方面的发展还存在着没有良好解决的问题。传统的模式识别方法:通过传感器获取数据,然后经过预处理、特征提取、特征选择、再到推理、预测或识别。开始的通过传感器(例如CMOS)来获得数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很多的paper和研究。而中间的三部分,概括起来就是特征表达。良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部分。但,这块实际中一般都是人工完成的,靠人工提取特征。而手工选取特征费时费力,需要专业知识,很大程度上靠经验和运气,那么机器能不能自动的学习特征呢?深度学习的出现就这个问题提出了一种解决方案。
  • [技术干货] 清华计图首创三角网格面片上的卷积神经网络、图像上的网络架构可以做三维模型的深度学习了
    近日,清华大学计图(Jittor)团队提出了一种针对三角网格的卷积神经网络,在两个网格分类数据集上首次取得100%正确率,在其他多个几何学习任务中,性能显著超过现有方法。尤为重要的是,这种基于细分表示的网格卷积神经网络的提出,使得VGG、ResNet和DeepLabV3+等二维图像的骨干网络模型可以方便地应用到三维模型的学习上,从而突破了二维图像和三维模型在深度学习上的壁垒,将极大地促进三维视觉、虚拟现实、智慧城市和无人驾驶等领域的发展。1 三角网格上的卷积网络三维几何学习是计算机视觉与图形学中的一个重要研究方向,基于三维体素、点云、网格(mesh)等数据表示,学习物体的几何形状特征。其中,网格广泛应用于建模、渲染、3D打印等。因为网格数据较为复杂,包含点、边、面三种基本元素,缺乏规则的结构与层次化的表示,因此也更具挑战。近日,清华大学Jittor团队在arXiv发布了论文“Subdivision-Based Mesh Convolution Networks”,提出了一种基于细分结构的网格卷积网络 SubdivNet。该方法首先将输入网格进行重网格化(remesh),构造细分结构,得到一般网格的多分辨率表示,并提出了直观灵活的面片卷积方法、上/下采样方法,并将成熟的图像网络架构迁移到三维几何学习中。论文链接:https://arxiv.org/abs/2106.02285图1 SubdivNet的流程图2 面片卷积与上下采样以往的网格深度学习方法将特征存储在点或者边上,但是点的度数不固定,边的卷积不灵活。该论文提出了一种在面片上的网格卷积方法,充分利用了每个面片与三个面片相邻的规则性质。基于这一规则性质,Jittor团队进一步依据面片之间的距离,设计了多种不同的卷积模式。从图2可以看到,这种面片上的网格卷积方法,直观且灵活,有规律,可支持指定卷积核大小、步长、空洞等参数,很类似于图像的情形。图中,k为卷积核大小,d为空洞长度;其中a)为三角面片卷积,b)对应的二维图像卷积,c)为卷积中可能出现的重复访问,d)为更复杂的卷积示例。图2 三角网格上的卷积示意图由于三维数据格式中的面片顺序不固定,SubdivNet在计算卷积结果时,通过取邻域均值、差分均值等方式,使得计算结果与面片顺序无关,满足排列不变性。图3给出了卷积的定义及其每项的含义。图3 卷积的定义及其每项的含义在进行上下采样时,该方法受到传统的Loop细分曲面建模的启发,构造了一种基于细分结构的上下采样方法。如图4a)所示,细分曲面建模对面片进行“一分四”的面片分裂,使得三维模型逐渐变得光滑。该论文首先将网格进行重网格化,使其面片具有细分连接结构,从而可以进行“四合一”的面片合并,从高分辨率转为低分辨率,实现面片特征的pooling操作,如图4b)所示。上采样时,同样对面片进行“一分四”的分裂。这样定义上下采样方式是规则且均匀的,还可以实现双线性插值等需求。图4 细分曲面的示意图由于卷积和上下采样规则且灵活,Jittor团队实现了VGG、ResNet和DeepLabV3+等网络架构,在三维网格模型的实验中取得了显著的效果。该工作由清华大学的深度学习框架Jittor实现,Jittor框架提供了高效的重索引算子,无需额外的C++代码即可实现邻域索引;并且在同等网格面片数量下,SubdivNet的速度可达以往方法[2]的20多倍。GitHub开源地址为:https://github.com/lzhengning/SubdivNet3 实验结果SubdivNet在多种应用的进行了实验,展示了其在几何学习上的优势。更多的消融实验可以阅读原论文。1、网格分类SubdivNet在三个网格分类数据集中进行了实验比较,如表1和表2所示。其中,在SHREC11和Cube Engraving两个数据集上首次达到了100%的分类正确率。表1 在SHREC11数据集上的分类精度表2 在CubeEngraving数据集上的分类精度该方法还把 ModelNet40 中的模型修复为紧致流形,贡献了新的数据集Manifold40 。在此数据集上,SubdivNet也超过了以往的网格方法。表3给出ModelNet40和 Manifold40上的分类精度,其中前两行以位置和法向为输入的点云的最好结果,后三行是网格模型的结果。表3 在Manifold40数据集上的分类精度2、网格分割计图团队在人体分割数据集、COSEG数据集上进行了网格分割的实验。量化指标下,SubdivNet的分割准确率均高于对比的点云、网格方法。以下是分割结果展示。图5 人体分割结果图6 COSEG 玩具分割结果3、形状对应在量化的形状对应实验中,SubdivNet达到了SOTA水准。图6中,给定Source Mesh的点,寻找Target Mesh中与之对应点;相同的颜色表示对应关系。图7 形状对应可视化结果4、网格检索Jittor团队还利用RGBD相机扫描了真实场景,以点云为输入,在网格数据库中检索相似网格模型;以下为一些检索结果。图8 从真实场景检索数据库中的三位网格模型
总条数:1305 到第 页
上滑加载中