• [其他] 深度学习之历史小计
    前馈网络可以被视为一种高效的非线性函数近似器,它以使用梯度下降来最小化函数近似误差为基础。从这个角度来看,现代前馈网络是一般函数近似任务的几个世纪进步的结晶。处于反向传播算法底层的链式法则是 17 世纪发明的 (Leibniz, 1676; L’Hôpital, 1696)。微积分和代数长期以来被用于求解优化问题的封闭形式,但梯度下降直到 19世纪才作为优化问题的一种迭代近似的求解方法被引入 (Cauchy, 1847)。从 20 世纪 40 年代开始,这些函数近似技术被用于导出诸如感知机的机器学习模型。然而,最早的模型都是基于线性模型。来自包括 Marvin Minsky 的批评指出了线性模型族的几个缺陷,例如它无法学习 XOR 函数,这导致了对整个神经网络方法的抵制。
  • [其他] 深度学习之高阶微分
    一些软件框架支持使用高阶导数。在深度学习软件框架中,这至少包括 Theano和 TensorFlow。这些库使用一种数据结构来描述要被微分的原始函数,它们使用相同类型的数据结构来描述这个函数的导数表达式。这意味着符号微分机制可以应用于导数(从而产生高阶导数)。在深度学习的相关领域,很少会计算标量函数的单个二阶导数。相反,我们通常对 Hessian 矩阵的性质比较感兴趣。如果我们有函数 f : Rn → R,那么 Hessian矩阵的大小是 n × n。在典型的深度学习应用中,n 将是模型的参数数量,可能很容易达到数十亿。因此,完整的 Hessian 矩阵甚至不能表示。典型的深度学习方法是使用 Krylov 方法(Krylov method),而不是显式地计算 Hessian 矩阵。Krylov 方法是用于执行各种操作的一组迭代技术,这些操作包括像近似求解矩阵的逆、或者近似矩阵的特征值或特征向量等,而不使用矩阵-向量乘法以外的任何操作。
  • [其他] 深度学习之深度学习界以外的微分
    深度学习界在某种程度上已经与更广泛的计算机科学界隔离开来,并且在很大程度上发展了自己关于如何进行微分的文化态度。更一般地,自动微分(automatic differentiation)领域关心如何以算法方式计算导数。这里描述的反向传播算法只是自动微分的一种方法。它是一种称为反向模式累加(reverse mode accumulation)的更广泛类型的技术的特殊情况。其他方法以不同的顺序来计算链式法则的子表达式。一般来说,确定一种计算的顺序使得计算开销最小,是困难的问题。找到计算梯度的最优操作序列是 NP 完全问题 (Naumann, 2008),在这种意义上,它可能需要将代数表达式简化为它们最廉价的形式。
  • [其他] 深度学习之复杂化
    正如前面提到的,我们将操作的定义限制为返回单个张量的函数。大多数软件实现需要支持可以返回多个张量的操作。例如,如果我们希望计算张量中的最大值和该值的索引,则最好在单次运算中计算两者,因此将该过程实现为具有两个输出的操作效率更高。我们还没有描述如何控制反向传播的内存消耗。反向传播经常涉及将许多张量加在一起。在朴素方法中,将分别计算这些张量中的每一个,然后在第二步中对所有这些张量求和。朴素方法具有过高的存储瓶颈,可以通过保持一个缓冲器,并且在计算时将每个值加到该缓冲器中来避免该瓶颈。反向传播的现实实现还需要处理各种数据类型,例如 32 位浮点数、64 位浮点数和整型。处理这些类型的策略需要特别的设计考虑。一些操作具有未定义的梯度,并且重要的是跟踪这些情况并且确定用户请求的梯度是否是未定义的。
  • [其他] 深度学习之用于 MLP 训练的反向传播
    我们考虑一个具有单个隐藏层的非常简单的多层感知机。为了训练这个模型,我们将使用小批量随机梯度下降算法。反向传播算法用于计算单个小批量上的代价的梯度。具体来说,我们使用训练集上的一小批量实例,将其规范化为一个设计矩阵 X 以及相关联的类标签向量 y。网络计算隐藏特征层 H = max{0, XW(1)}。为了简化表示,我们在这个模型中不使用偏置。假设我们的图语言包含 relu 操作,该操作可以对 max{0, Z} 表达式的每个元素分别进行计算。类的非归一化对数概率的预测将随后由 HW(2) 给出。假设我们的图语言包含 cross_entropy 操作,用以计算目标 y 和由这些未归一化对数概率定义的概率分布间的交叉熵。所得到的交叉熵定义了代价函数 JMLE。最小化这个交叉熵将执行对分类器的最大似然估计。然而,为了使得这个例子更加真实,我们也包含一个正则项。
  • [其他] 深度学习之反向传播算法
    我们使用反向传播作为一种策略来避免多次计算链式法则中的相同子表达式。由于这些重复子表达式的存在,简单的算法可能具有指数运行时间。现在我们已经详细说明了反向传播算法,我们可以去理解它的计算成本。如果我们假设每个操作的执行都有大致相同的开销,那么我们可以依据执行操作的数量来分析计算成本。注意这里我们将一个操作记为计算图的基本单位,它实际可能包含许多算术运算(例如,我们可能将矩阵乘法视为单个操作)。在具有 n 个节点的图中计算梯度,将永远不会执行超过 O(n2) 个操作,或者存储超过 O(n2) 个操作的输出。这里我们是对计算图中的操作进行计数,而不是由底层硬件执行的单独操作,所以重要的是要记住每个操作的运行时间可能是高度可变的。例如,两个矩阵相乘可能对应着图中的一个单独的操作,但这两个矩阵可能每个都包含数百万个元素。我们可以看到,计算梯度至多需要 O(n2) 的操作,因为在最坏的情况下,前向传播的步骤将在原始图的全部 n 个节点上运行(取决于我们想要计算的值,我们可能不需要执行整个图)。反向传播算法在原始图的每条边添加一个 Jacobian 向量积,可以用计算图是有向无环图,它至多有 O(n2) 条边。对于实践中常用图的类型,情况会更好。大多数神经网络的代价函数大致是链式结构的,使得反向传播只有 O(n) 的成本。这远远胜过简单的方法,简单方法可能需要在指数级的节点上运算。这种潜在的指数级代价可以通过非递归地扩展和重写递归链式法则
  • [其他] 深度学习之一般化的反向传播
    反向传播算法非常简单。为了计算某个标量 z 关于图中它的一个祖先 x 的梯度,我们首先观察到它关于 z 的梯度由 dz = 1 给出。然后,我们可以计算对图中 z的每个父节点的梯度,通过现有的梯度乘以产生 z 的操作的 Jacobian。我们继续乘以 Jacobian,以这种方式向后穿过图,直到我们到达 x。对于从 z 出发可以经过两个或更多路径向后行进而到达的任意节点,我们简单地对该节点来自不同路径上的梯度进行求和。更正式地,图 G 中的每个节点对应着一个变量。为了实现最大的一般化,我们将这个变量描述为一个张量 V。张量通常可以具有任意维度,并且包含标量、向量反向传播算法的软件实现通常提供操作和其 bprop 方法,所以深度学习软件库的用户能够对使用诸如矩阵乘法、指数运算、对数运算等等常用操作构建的图进行反向传播。构建反向传播新实现的软件工程师或者需要向现有库添加自己的操作的高级用户通常必须手动为新操作推导 op.bprop 方法。
  • [其他] 深度学习之符号到数值
    一些反向传播的方法采用计算图和一组用于图的输入的数值,然后返回在这些输入值处梯度的一组数值。我们将这种方法称为符号到数值的微分。这种方法用在诸如 Torch (Collobert et al., 2011b) 和 Caffe (Jia, 2013) 之类的库中。另一种方法是采用计算图以及添加一些额外的节点到计算图中,这些额外的节点提供了我们所需导数的符号描述。这是 Theano (Bergstra et al., 2010b; Bastien et al., 2012b) 和 TensorFlow (Abadi et al., 2015) 所采用的方法。给出了该方法如何工作的一个例子。这种方法的主要优点是导数可以使用与原始表达式相同的语言来描述。因为导数只是另外一张计算图,我们可以再次运行反向传播,对导数再进行求导就能得到更高阶的导数。我们将使用后一种方法,并且使用构造导数的计算图的方法来描述反向传播算法。图的任意子集之后都可以使用特定的数值来求值。这允许我们避免精确地指明每个操作应该在何时计算。相反,通用的图计算引擎只要当一个节点的父节点的值都可用时就可以进行求值。
  • [其他] 深度学习之符号到符号的导数
    代数表达式和计算图都对符号(symbol)或不具有特定值的变量进行操作。这些代数或者基于图的表达式被称为符号表示(symbolic representation)。当我们实反向传播算法的简化版本,用于计算 u(n) 关于图中变量的导数。这个示例旨在通过演示所有变量都是标量的简化情况来进一步理解反向传播算法,这里我们希望计算关于 u(1), . . . , u(ni) 的导数。这个简化版本计算了关于图中所有节点的导数。假定与每条边相关联的偏导数计算需要恒定的时间的话,该算法的计算成本与图中边的数量成比例。这与前向传播的计算次数具有相同的阶。每个 ∂u((ji)) 是 u(i) 的父节点 u(j) 的函数,从而将前向图的节点链接到反向传播图中添加的节点。运行前向传播 (对于此例是算法 6.1 ) 获得网络的激活。初始化 grad_table,用于存储计算好的导数的数据结构。grad_table[u(i)] 将存计算好的值。
  • [其他] 深度学习之递归地使用链式法则
    使用链式规则,我们可以直接写出某个标量关于计算图中任何产生该标量的节点的梯度的代数表达式。然而,实际在计算机中计算该表达式时会引入一些额外的考虑。具体来说,许多子表达式可能在梯度的整个表达式中重复若干次。任何计算梯度的程序都需要选择是存储这些子表达式还是重新计算它们几次。图6.9 给出了一个例子来说明这些重复的子表达式是如何出现的。在某些情况下,计算两次相同的子表达式纯粹是浪费。在复杂图中,可能存在指数多的这种计算上的浪费,使得简单的链式法则不可实现。在其他情况下,计算两次相同的子表达式可能是以较高的运行时间为代价来减少内存开销的有效手段。
  • [其他] 深度学习之微积分中的链式法则
    微积分中的链式法则(为了不与概率中的链式法则相混淆)用于计算复合函数的导数。反向传播是一种计算链式法则的算法,使用高效的特定运算顺序。设 x 是实数,f 和 g 是从实数映射到实数的函数。假设 y = g(x) 并且 z =f(g(x)) = f(y)。那么链式法则是说我们可以将这种标量情况进行扩展。假设 x ∈ Rm, y ∈ Rn,g 是从 Rm 到 Rn 的映射,f 是从 Rn 到 R 的映射。如果 y = g(x) 并且 z = f(y),通常我们将反向传播算法应用于任意维度的张量,而不仅仅用于向量。从概念上讲,这与使用向量的反向传播完全相同。唯一的区别是如何将数字排列成网格以形成张量。我们可以想象,在我们运行反向传播之前,将每个张量变平为一个向量,计算一个向量值梯度,然后将该梯度重新构造成一个张量。从这种重新排列的观点上看,反向传播仍然只是将 Jacobian 乘以梯度。
  • [其他] 深度学习之计算图
    为了更精确地描述反向传播算法,使用更精确的计算图(computational graph)语言是很有帮助的。将计算形式化为图形的方法有很多。这里,我们使用图中的每一个节点来表示一个变量。变量可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量。为了形式化我们的图形,我们还需引入操作(operation)这一概念。操作是指一个或多个变量的简单函数。我们的图形语言伴随着一组被允许的操作。我们可以通过将多个操作复合在一起来描述更为复杂的函数。不失一般性,我们定义一个操作仅返回单个输出变量。这并没有失去一般性,是因为输出变量可以有多个条目,例如向量。反向传播的软件实现通常支持具有多个输出的操作,但是我们在描述中避免这种情况,因为它引入了对概念理解不重要的许多额外细节。如果变量 y 是变量 x 通过一个操作计算得到的,那么我们画一条从 x 到 y 的有向边。我们有时用操作的名称来注释输出的节点,当上下文很明确时,有时也会省略这个标注。
  • [其他] 深度学习之反向传播和其他的微分算法
    当我们使用前馈神经网络接收输入 x 并产生输出 yˆ 时,信息通过网络向前流动。输入 x 提供初始信息,然后传播到每一层的隐藏单元,最终产生输出 ˆy。这称之为 前向传播(forward propagation)。在训练过程中,前向传播可以持续向前直到它产生一个标量代价函数 J(θ)。反向传播(back propagation)算法 (Rumelhart et al., 1986c),经常简称为backprop,允许来自代价函数的信息通过网络向后流动,以便计算梯度。计算梯度的解析表达式是很直观的,但是数值化地求解这样的表达式在计算上的代价可能很大。反向传播算法使用简单和廉价的程序来实现这个目标。反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上,反向传播仅指用于计算梯度的方法,而另一种算法,例如随机梯度下降,使用该梯度来进行学习。此外,反向传播经常被误解为仅适用于多层神经网络,但是原则上它可以计算任何函数的导数(对于一些函数,正确的响应是报告函数的导数是未定义的)。特别地,我们会描述如何计算一个任意函数 f 的梯度 ∇xf(x, y),其中 x 是一组变量,我们需要它们的导数,而 y 是函数的另外一组输入变量,但我们并不需要它们的导数。在学习算法中,我们最常需要的梯度是代价函数关于参数的梯度,即 ∇θJ(θ)。许多机器学习任务需要计算其他导数,来作为学习过程的一部分,或者用来分析学得的模型。反向传播算法也适用于这些任务,不局限于计算代价函数关于参数的梯度。通过在网络中传播信息来计算导数的想法非常普遍,它还可以用于计算诸如多输出函数 f 的 Jacobian 的值。我们这里描述的是最常用的情况,其中 f只有单个输出。
  • [其他] 深度学习之其他架构上的考虑
    目前为止,我们都将神经网络描述成层的简单链式结构,主要的考虑因素是网络的深度和每层的宽度。在实践中,神经网络显示出相当的多样性。许多神经网络架构已经被开发用于特定的任务。用于计算机视觉的卷积神经网络的特殊架构将在第九章中介绍。前馈网络也可以推广到用于序列处理的循环神经网络,但有它们自己的架构考虑。一般的,层不需要连接在链中,尽管这是最常见的做法。许多架构构建了一个主链,但随后又添加了额外的架构特性,例如从层 i 到层 i + 2 或者更高层的跳跃连接。这些跳跃连接使得梯度更容易从输出层流向更接近输入的层。架构设计考虑的另外一个关键点是如何将层与层之间连接起来。默认的神经网络层采用矩阵 W 描述的线性变换,每个输入单元连接到每个输出单元。在之后章节中的许多专用网络具有较少的连接,使得输入层中的每个单元仅连接到输出层单元的一个小子集。这些用于减少连接数量的策略减少了参数的数量以及用于评估网络的计算量,但通常高度依赖于问题。例如,第九章描述的卷积神经网络使用对于计算机视觉问题非常有效的稀疏连接的专用模式。在这一章中,很难对通用神经网络的架构给出更多具体的建议。我们在随后的章节中介绍一些特殊的架构策略,可以在不同的领域工作良好。
  • [其他] 深度学习之架构设计
    我们还可能出于统计原因来选择深度模型。任何时候,当我们选择一个特定的机器学习算法时,我们隐含地陈述了一些先验,这些先验是关于算法应该学得什么样的函数的。选择深度模型默许了一个非常普遍的信念,那就是我们想要学得的函数应该涉及几个更加简单的函数的组合。这可以从表示学习的观点来解释,我们相信学习的问题包含发现一组潜在的变差因素,它们可以根据其他更简单的潜在的变差因素来描述。或者,我们可以将深度结构的使用解释为另一种信念,那就是我们想要学得的函数是包含多个步骤的计算机程序,其中每个步骤使用前一步骤的输出。这些中间输出不一定是变差因素,而是可以类似于网络用来组织其内部处理的计数器或指针。根据经验,更深的模型似乎确实在广泛的任务中泛化得更好 (Bengio et al., 2007b; Erhan et al., 2009; Bengio, 2009; Mesnil et al., 2011; Ciresan et al., 2012; Krizhevsky et al., 2012a; Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013; Kahou et al., 2013; Goodfellow et al., 2014d; Szegedy et al., 2014a)。展示了一些实验结果的例子。这表明使用深层架构确实在模型学习的函数空间上表示了一个有用的先验。
总条数:1305 到第 页
上滑加载中