分析　　传统的目标检测方法大多以图像识别为基础。一般可以在图片上使用穷举法选出所有物体可能出现的区域框，对这些区域框提取特征并使用图像识别方法分类，在得到所有分类成功的区域后，通过非极大值抑制（Non-maximum suppression）输出结果。　　R-CNN的全称是Region-CNN，可以说是第一个成功将深度学习用到目标检测上的算法。　　R-CNN同样遵循传统目标检测的思路，同样采用提取框、对每个提取框提取特征、图像分类、非极大值抑制四个步骤进行目标检测。只不过在提取特征这一步，将传统的特征换成了深度卷积网络（CNN）提取的特征。基本步骤　　1）对于原始图像，首先使用Selective Search搜寻可能存在物体的区域。　　　　Selective Search可以从图像中启发式地搜索出可能包含物体的区域，相比穷举法可以节省一部分计算量。　　2）将取出的可能含有物体的区域送入CNN中提取特征。　　　　CNN通常是接受一个固定大小的图像，而 Selective Search所取出的区域大小却各有不同，对此，R-CNN的做法是将区域缩放到统一大小，再使用CNN提取特征。　　3）提取出特征后使用支持向量机SVM进行分类，最后通过非极大值抑制输出结果。R-CNN训练　　1）在训练集上训练CNN，R-CNN论文中使用的CNN网络是AlexNet，数据集是ImageNet。　　2）在目标检测的数据集上，对训练好的CNN进行微调　　3）用Selective Search搜索候选区域，统一使用微调后的CNN对这些区域提取特征，并将提取的特征存储起来。　　4）使用提取的特征，训练SVM分类器。算量　　R-CNN的缺点在于计算量太大，因此，后续研究者又提出了Fast R-CNN和Faster R-CNN，这两者在一定程度上改进了R-CNN计算量大的缺点，不仅速度变快不少，识别准确率也得到了提高。在介绍Fast R-CNN和Faster R-CNN之前，需要先引入SPPNet，并介绍SPPNet的原理。

分析　　神经网络是由存储在网络内部的大量神经元通过节点连接权组成的一种信息响应网状拓扑结构，它采用了并行分布式的信号处理机制，因而具有较快的处理速度和较强的容错能力。基本特点　　神经网络模型用于模拟人脑神经元的活动过程，其中包括对信息的加工、处理、存储、和搜索等过程。　　人工神经网络具有如下基本特点：　　1)、高度的并行性：人工神经网络有许多相同的简单处理单元并联组合而成，虽然每一个神经元的功能简单，但大量简单神经元并行处理能力和效果，却十分惊人。人工神经网络和人类的大脑类似，不但结构上是并行的，它的处理顺序也是并行和同时的。在同一层内的处理单元都是同时操作的，即神经网络的计算功能分布在多个处理单元上，而一般计算机通常有一个处理单元，其处理顺序是串行的。　　人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度，前者为毫秒量级，后者的时钟频率通常可达108Hz 或更高的速率。但是，由于人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断、决策和处理，其速度可以远高于串行结构的冯·诺依曼计算机。人工神经网络的基本结构模仿人脑，具有并行处理的特征，可以大大提高工作速度。　　2)、高度的非线性全局作用：人工神经网络每个神经元接受大量其他神经元的输入，并通过并行网络产生输出，影响其他神经元，网络之间的这种互相制约和互相影响，实现了从输入状态到输出状态空间的非线性映射，从全局的观点来看，网络整体性能不是网络局部性能的叠加，而表现出某种集体性的行为。　　非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性人工神经网络。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。　　3)、联想记忆功能和良好的容错性：人工神经网络通过自身的特有网络结构将处理的数据信息存储在神经元之间的权值中，具有联想记忆功能，从单一的某个权值并看不出其所记忆的信息内容，因而是分布式的存储形式，这就使得网络有很好的容错性，并可以进行特征提取、缺损模式复原、聚类分析等模式信息处理工作，又可以作模式联想、分类、识别工作。它可以从不完善的数据和图形中进行学习并做出决定。由于知识存在于整个系统中，而不只是一个存储单元中，预订比例的结点不参与运算，对整个系统的性能不会产生重大的影响。能够处理那些有噪声或不完全的数据，具有泛化功能和很强的容错能力。　　一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。　　4)、良好的自适应、自学习功能：人工神经网络通过学习训练获得网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。神经网络所具有的自学习过程模拟了人的形象思维方法，这是与传统符号逻辑完全不同的一种非逻辑非语言。自适应性根据所提供的数据，通过学习和训练，找出输入和输出之间的内在关系，从而求取问题的解，而不是依据对问题的经验知识和规则，因而具有自适应功能，这对于弱化权重确定人为因素是十分有益的。　　5)、知识的分布存储：在神经网络中，知识不是存储在特定的存储单元中，而是分布在整个系统中，要存储多个知识就需要很多链接。在计算机中，只要给定一个地址就可得到一个或一组数据。在神经网络中要获得存储的知识则采用“联想”的办法，这类似人类和动物的联想记忆。人类善于根据联想正确识别图形，人工神经网络也是这样。神经网络采用分布式存储方式表示知识，通过网络对输入信息的响应将激活信号分布在网络神经元上，通过网络训练和学习使得特征被准确地记忆在网络的连接权值上，当同样的模式再次输入时网络就可以进行快速判断。　　6)、非凸性：一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。总结　　正是神经网络所具有的这种学习和适应能力、自组织、非线性和运算高度并行的能力，解决了传统人工智能对于直觉处理方面的缺陷，例如对非结构化信息、语音模式识别等的处理，使之成功应用于神经专家系统、组合优化、智能控制、预测、模式识别等领域。

一　　随着深度学习的引入，基于深度学习的图像检索技术，主要是将深度学习方法应用在图像检索中的特征提取模块，利用卷积神经网络提取图片特征。二　　主要步骤即给定一张图片，通过卷积神经网络对图片进行特征提取得到表征图片的特征，利用度量学习方法如欧式距离对图片特征进行计算距离。三　　对图片距离进行排序，得到初级检索结果，再根据图片数据的上下文信息和流形结构对图像检索结果进行重排序，从而提高图像检索准确率，得到最终的检索结果。

 检索目标背景杂乱　　1）在实例检索中，复杂的背景噪声直接影响了最终的搜索性能。因此很多队伍首先尝试使用目标检测（比如faster-rcnn）RPN定位感兴趣的区域，然后在进一步地学习特征，比较相似度。另外，当没有bounding box训练数据时，弱监督的目标定位也是一种有效的方法。　　2）预处理：自动定位用户感兴趣的商品，去除背景、多主体等因素的影响，也有利于抽取的语义特征的对齐。语义对齐方式，常见操作有商品检测框对齐、旋转对齐、局部关键点对齐等。（淘宝搜图用户可以手动调整选择检测框）类内差异性与类间相似性（高层语义和低层特征融合）     　　很多方法都是用最后一个卷积层或全连接层的特征进行检索，而由于高层的特征已经损失了很多细节信息（对于更深的网络，损失更严重。　　高层语义和低层特征融合很重要。不同层的特征图谱（feature map）进行融合，这不仅利用了高层特征的语义信息，还考虑了低层特征的细节纹理信息，使得实例搜索更精准。　　GoogLeNet-22网络，对于最后的8层特征图（从Inception 3b到Inception 5b），首先使用最大池化对这些不同尺度的特征图分别进行子采样（转换为相同尺寸的特征图），并使用的卷积对这些采样结果进一步地处理。　　然后对这些特征图做线性加权（由的卷积完成），最后在此基础上，使用sum pooling得到最终的图像特征。在训练时，我们根据所提供的训练数据，通过优化基于余弦距离的triplet ranking loss来端到端学习这些特征。　　因此在测试时，可以直接使用特征之间的余弦距离来衡量图像的相似度。（例如一件衣服除了一件是圆领另一件是V领，其他颜色，纹理都是一摸一样的，领口形状就是高层语义，颜色纹理就是低层特征。要想达到好的检索效果最好都要兼顾。（类似特征金子塔FPN））

深度学习目标　　如何方便的表述神经网络，以及如何快速训练得到模型CNN(卷积层)　　表达空间相关性(学表示)RNN/LSTM　　表达时间连续性(建模时序信号)命令式编程(imperative programming)　　嵌入的较浅，其中每个语句都按原来的意思执行，如numpy和Torch就是属于这种声明式语言(declarative programing)　　嵌入的很深，提供一整套针对具体应用的迷你语言。即用户只需要声明要做什么，而具体执行则由系统完成。这类系统包括Caffe，Theano和TensorFlow。　　命令式编程显然更容易懂一些，更直观一些，但是声明式的更利于做优化，以及更利于做自动求导，所以都保留。  

1　　自然语言处理（Natural Language Processing - NLP）是人工智能研究的热点之一。　　NLP处理语言（文本数据）并执行诸如翻译、音译、语义分析、聊天机器人开发、文本拟态、文本转语音等任务。在当前的场景中，NLP对组织非常重要，因为它通过自动化过程和减少人工干预而提升了客户支持。2　　NLP技术也被用于基于对从社交媒体平台挖掘的文本进行语义分析而开发营销策略。　　然而NLP的难点在于，大多数NLP算法都是基于复杂的深层神经网络，如RNNs、LSTMs和GRUs。3　　卷积神经网络（CNNs）是应用最广泛的深度学习算法。　　CNN算法本来是对传统神经网络的一个小小的改进，它进而发展成为人工智能领域的一个革命性概念。　　今天，CNNs技术已经被广泛地应用于目标检测、人脸识别、计算机视觉和预测技术。

KNN 工作原理假设有一个带有标签的样本数据集（训练样本集），其中包含每条数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较。计算新数据与样本数据集中每条数据的距离。对求得的所有距离进行排序（从小到大，越小表示越相似）。取前 k （k 一般小于等于 20 ）个样本数据对应的分类标签。求 k 个数据中出现次数最多的分类标签作为新数据的分类。KNN 通俗理解给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的 k 个实例，这 k 个实例的多数属于某个类，就把该输入实例分为这个类。KNN 开发流程收集数据：任何方法准备数据：距离计算所需要的数值，最好是结构化的数据格式分析数据：任何方法训练算法：此步骤不适用于 k-近邻算法测试算法：计算错误率使用算法：输入样本数据和结构化的输出结果，然后运行 k-近邻算法判断输入数据分类属于哪个分类，最后对计算出的分类执行后续处理KNN 算法特点优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高适用数据范围：数值型和标称型

这个【概率】指的是什么？　我们为什么称其为【编程】呢？　　首先，让我们回忆一下我们所谓【正常的】神经网络指的是什么、以及我们能从中得到什么？　　神经网络有着已矩阵形式表达的参数(权重)，而其输出通常是一些标量或者向量（例如在分类问题的情况下）。　　当我们用诸如SGD的方法训练这个模型后，这些矩阵会获得固定值。　　与此同时，对于同一个输入样本，输出向量应该相同，就是这样！　　但是，如果我们将所有的参数和输出视为相互依赖的分布，会发生什么？　　神经网络的权重将与输出一样，是一个来自网络并取决于参数的样本--如果是这样，它能为我们带来什么？　　让我们从基础讲起。　　如果我们认为网络是一个取决于其他分布的数集，这首先就构成了联合概率分布 p(y, z|x)，其中有着输出 y 和一些模型 z 的「内部」隐变量，它们都取决于输入 x（这与常规的神经网络完全相同）。　　我们感兴趣的是找到这样神经网络的分布，这样一来就可以对 y ~ p(y|x) 进行采样，并获得一个形式为分布的输出，该分布中抽取的样本的期望通常是输出，和标准差（对不确定性的估计）——尾部越大，则输出置信度越小。　　这种设定可能不是很明确，但我们只需要记住：现在开始，模型中所有的参数、输入及输出都是分布，并且在训练时对这些分布进行拟合，以便在实际应用中获得更高的准确率。　　我们也需要注意自己设定的参数分布的形状。

强化学习与神经网络　　之前我们所谈论到的强化学习方法都是比较传统的方式, 而如今, 随着机器学习在日常生活中的各种应用, 各种机器学习方法也在融汇, 合并, 升级. 　　而我们今天所要探讨的强化学习则是这么一种融合了神经网络和 Q learning 的方法, 名字叫做 Deep Q Network. 这种新型结构是为什么被提出来呢? 　　原来, 传统的表格形式的强化学习有这样一个瓶颈.神经网络的作用　　我们使用表格来存储每一个状态 state, 和在这个 state 每个行为 action 所拥有的 Q 值. 　　而当今问题是在太复杂, 状态可以多到比天上的星星还多(比如下围棋). 如果全用表格来存储它们, 恐怕我们的计算机有再大的内存都不够, 而且每次在这么大的表格中搜索对应的状态也是一件很耗时的事. 　　不过, 在机器学习中, 有一种方法对这种事情很在行, 那就是神经网络. 　　我们可以将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值, 这样我们就没必要在表格中记录 Q 值, 而是直接使用神经网络生成 Q 值. 　　还有一种形式的是这样, 我们也能只输入状态值, 输出所有的动作值, 然后按照 Q learning 的原则, 直接选择拥有最大值的动作当做下一步要做的动作. 　　我们可以想象, 神经网络接受外部的信息, 相当于眼睛鼻子耳朵收集信息, 然后通过大脑加工输出每种动作的值, 最后通过强化学习的方式选择动作。更新神经网络　　接下来我们基于第二种神经网络来分析, 我们知道, 神经网络是要被训练才能预测出准确的值. 　　那在强化学习中, 神经网络是如何被训练的呢? 首先, 我们需要 a1, a2 正确的Q值, 这个 Q 值我们就用之前在 Q learning 中的 Q 现实来代替. 　　同样我们还需要一个 Q 估计 来实现神经网络的更新. 所以神经网络的的参数就是老的 NN 参数 加学习率 alpha 乘以 Q 现实 和 Q 估计 的差距. 我们整理一下.　　我们通过 NN 预测出Q(s2, a1) 和 Q(s2,a2) 的值, 这就是 Q 估计. 　　然后我们选取 Q 估计中最大值的动作来换取环境中的奖励 reward. 　　而 Q 现实中也包含从神经网络分析出来的两个 Q 估计值, 不过这个 Q 估计是针对于下一步在 s’ 的估计. 　　最后再通过刚刚所说的算法更新神经网络中的参数. 但是这并不是 DQN 会玩电动的根本原因. 还有两大因素支撑着 DQN 使得它变得无比强大. 　　这两大因素就是 Experience replay 和 Fixed Q-targets.

到目前为止，我们还没有谈到深度神经网络。事实上，你可以以任何你想要的方式实现上述所有算法。例如，Q-learning 是一种经典的强化学习算法，它在代理与环境交互时创建了一个状态-动作-奖励值表。当你处理状态和操作数量非常少的简单环境时，此类方法非常有效。但是，当你处理一个复杂的环境时，其中动作和状态的组合数量可能非常巨大，或者环境是不确定的，并且可能存在的状态几乎是无限的；这时，评估每个可能的状态-动作对就变得不可能了。在这种情况下，你需要一个近似函数，它可以根据有限的数据学习归纳出最佳策略。给定正确的架构和优化函数，深度神经网络可以直接学习最优策略，而无需遍历系统的所有可能状态。深度强化学习代理仍然需要大量数据（例如，在 Dota 和星际争霸中进行数千小时的游戏），但它们可以解决经典强化学习系统无法解决的问题。比如，深度强化学习模型可以使用卷积神经网络，从视觉数据中提取状态信息。循环神经网络可以从帧序列中提取有用的信息，例如球的朝向，或者汽车是否停放或移动。这种复杂的学习能力，可以帮助 RL 代理理解更复杂的环境，并将其状态映射到动作。深度强化学习可与监督机器学习相媲美。该模型生成动作，并根据来自环境的反馈调整其参数。然而，不同于传统的监督学习，深度强化学习会面临一些独特的挑战。与模型具有一组标记数据的监督学习问题不同，RL 代理只能访问其自身经验的结果。它能够根据在不同训练阶段收集的经验来学习最佳策略；但它也可能错过许多其他获得更好政策的最佳轨迹。强化学习还需要评估状态-动作对的轨迹；这比监督学习所要面对的，每个训练示例与其预期结果配对问题更难学习。这种复杂性增加了深度强化学习模型的数据要求。但与监督学习不同，深度强化学习模型在训练期间收集数据，而监督学习需要人工提前策划和准备训练数据。深度强化学习和通用人工智能AI 社区对深度强化学习的发展方向存在分歧。一些科学家认为，使用正确的 RL 架构，可以解决任何类型的问题，包括通用人工智能。这些科学家相信，强化学习与产生自然智能的算法相同，如果有足够的时间和精力，并配备适当的奖励，我们可以重建人类级别的智能。其他人则认为强化学习并没有解决人工智能的一些最基本的问题。他们认为，尽管取得了许多成就，但深度强化学习代理需要明确定义问题；并且它无法自行发现新问题，更没办法提出针对新问题提出解决方案。无论如何，不可否认的是，深度强化学习已经帮助解决了许多非常复杂的问题，并且将继续成为 AI 社区的重要研究领域。

　　我们在 2 维上说话。有两个的函数 f(x, y) 和 g(x, y) 。所谓 f 和 g 的卷积就是一个新的函数 c(x, y) 。通过下式得到：　　式子的含义是：遍览从负无穷到正无穷的全部 s 和 t 值，把 g 在 (x-s, y-t) 上的值乘以 f 在 (s, t) 上的值之后再“加和”到一起（积分意义上），得到 c 在 (x, y) 上的值。说白了卷积就是一种“加权求和”：以 f 为权，以 (x, y) 为中心，把 g 距离中心 (-s, -t) 位置上的值乘上 f 在 (s, t) 的值，最后加到一起。把卷积公式写成离散形式就更清楚了：　　第二个等号成立是因为在这里我们每隔单位长度 1 一采样，和都是 1 。可以令 G 表示一幅 100 x 100 大小的灰度图像。G(x, y) 取值 [0,255] 区间内的整数，是图像在 (x, y) 的灰度值。x 和 y 坐标取 [0, 99] ，其它位置上 G 值全取 0 。令 F 在 s 和 t 取 {-1, 0, 1} 的位置为特定值，其他位置全取 0 。F 可以看作是一个 3 x 3 的网格。如图

人工神经元和生物神经元之间最基本的比较是它们如何处理传入的信息。这两种神经元都接收传入信号，并根据输入信息决定是否将信号发送给其他神经元。虽然人工神经元依赖简单的计算做出决定，但数十年的研究表明，生物神经元的这个过程要复杂得多。计算神经科学家使用输入 - 输出函数来模拟生物神经元树突接收到的输入与神经元发出信号之间的关系。研究者让一个人工深度神经网络模仿输入 - 输出函数（生物神经元树突接收到的输入与神经元发出信号之间的关系），以确定其复杂性。他们首先对一种神经元的输入 - 输出函数进行了大规模模拟，这种神经元的顶部和底部有不同的树突分支，称为锥体神经元，来自大鼠的皮层。然后，他们将模拟结果输入到一个深度神经网络中，该神经网络每层最多有 256 个人工神经元。接着，他们不断的增加层数，直到在模拟神经元的输入和输出之间达到毫秒级别 99% 的准确率。深度神经网络成功地预测了神经元的输入 - 输出函数的行为，所使用的层数至少有 5 层，但不超过 8 层。在大多数网络中，这相当于 1000 个人工神经元对应一个生物神经元。如下图 2 所示，具有 7 个隐藏层、每层包含 128 个特征图的时间卷积网络（TCN）忠实地捕获了一个 L5PC （layer 5 pyramidal neuron）模型。在下图 3 中，研究者展示了没有 N - 甲基天冬氨酸（NMDA）突触的 L5PC 神经元，它能够被具有单个隐藏层（包含 128 个隐藏单元）的深度神经网络忠实地捕获。其中 A 为 L5PC 模型示意图、B 为类比的深度神经网络。现在已经了解了单个神经元的计算复杂度，如下动图所示，左边的椎体神经元依赖树突状的分支，这些分支会受到信号的影响。在神经元决定是否发送 spike 信号之前，信号变化会导致局部电压变化，表现为神经元颜色的变化（红色表示高电压，蓝色表示低电压）。这一 spike 出现了 3 次，如右侧单个分支的轨迹所示，颜色代表树突从顶部（红色）到底部（蓝色）的位置。来自贝勒医学院的计算神经科学家 Andreas Tolias 表示，这种结果建立了从生物神经元到人工神经元的桥梁。但研究者表示，这还不是一个直接的对应关系（生物神经元到人工神经元）。Michael London 认为「神经网络中的层数与网络的复杂性之间的关系并不明显，所以我们不能说网络层数从四层增加到五层复杂度会增加多少。我们也不能说需要 1,000 个人工神经元就意味着生物神经元的复杂度恰好是生物神经元的 1,000 倍。最终，即使在每一层中使用指数级的人工神经元，最终也有可能形成只有一层的深层神经网络——但这可能需要更多的数据和时间来让算法学习。」研究者尝试了很多架构，几乎都失败了。他们还公开了代码，以鼓励其他研究人员找到更少层的解决方案。但是，找到一种能够模仿神经元且准确率高达 99% 的深度神经网络是非常困难，研究者相信他们的结果为进一步的研究提供了有意义的比较。Timothy  Lillicrap 认为，这可能提供了一种新的方法，将图像分类网络（通常需要 50 层以上）与大脑联系起来。如果每个生物神经元都像一个五层人工神经网络，那么一个 50 层的图像分类网络可能相当于一个生物网络中的 10 个真实神经元。此外，该研究还希望他们的结果将改变 SOTA 人工智能深度网络架构。「我们呼吁替换深度网络技术，使其工作方式更接近大脑，这一实现过程是将深度网络中的每个简单单元替换为代表神经元单元，而这种神经元单元本身就是有深度的，」Segev 表示。在这种替代方案中，AI 研究人员和工程师可以插入一个五层深度网络作为「迷你网络」，用来取代每一个人工神经元。

　　人工神经网络算法模拟生物神经网络，是一类模式匹配算法。　　通常用于解决分类和回归问题。　　人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。　　其中深度学习就是其中的一类算法，我们会单独讨论，重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing Map, SOM）。　　学习矢量量化（Learning Vector Quantization， LVQ）

深度学习源于神经网络的研究，可理解为深层的神经网络。通过它可以获得深层次的特征表示，免除人工选取特征的繁复冗杂和高维数据的维度灾难问题。目前较为公认的深度学习的基本模型包括：    基于受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的深度信念网络(Deep Belief Network，DBN)；    基于自动编码器(AutoEncoder, AE)的堆叠自动编码器(Stacked AutoEncoders，SAE)；    卷积神经网络(Convolutional Neural Networks，CNN)；    递归神经网络(Recurrent Neural Networks，RNN)。1、深度信念网络DBNDBN可用于特征提取和数据分类等。基于RBM的DBN由多个RBM堆叠而成网络前向运算时，输入数据从低层RBM输入网络，逐层向前运算，得到网络输出。网络训练过程，不同于传统的人工神经网络(Artificial Neural Network)，分为两个阶段：    预训练(Pretraining)    全局微调(Fine tuning)预训练阶段，从低层开始，每个RBM单独训练，以最小化RBM的网络能量为训练目标。低层RBM训练完成后，其隐层输出作为高层RBM的输入，继续训练高层RBM。以此类推，逐层训练，直至所有RBM训练完成。预训练阶段，只使用了输入数据，没有使用数据标签，属于无监督学习(Unsupervised Learning)。全局微调阶段，以训练好的RBM之间的权重和偏置作为深度信念网络的初始权重和偏置，以数据的标签作为监督信号计算网络误差，利用BP(Back Propagation)算法计算各层误差，使用梯度下降法完成各层权重和偏置的调节。2、堆叠自动编码器SAE类似于DBN，SAE由多个AE堆叠而成SAE前向计算类似于DBN，其训练过程也分为预训练和全局微调两个阶段。不同于RBM的是，AE之间的连接是不对称的。每个AE可视为一个单隐层的人工神经网络，其输出目标即此AE的输入。在预训练阶段，从低层开始，每个AE单独训练，以最小化其输出和输入之间的误差为目标。低层AE训练完成后，其隐层输出作为高层AE的输入，继续训练高层AE。以此类推，逐层训练，直至将所有AE训练完成。同样地，SAE的预训练阶段也只使用了输入数据，属于无监督学习。在全局微调阶段，以训练好的AE的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏置，以数据的标签作为监督信号计算网络误差，利用BP算法计算各层误差，使用梯度下降法完成各层权重和偏置的调节。3、卷积神经网络CNNCNN可提取输入数据的局部特征，并逐层组合抽象生成高层特征，可用于图像识别等。CNN由卷积层和次采样层(也叫Pooling层)交叉堆叠而成网络前向计算时，在卷积层，可同时有多个卷积核对输入进行卷积运算，生成多个特征图，每个特征图的维度相对于输入的维度有所降低。在次采样层，每个特征图经过池化(Pooling)得到维度进一步降低的对应图。多个卷积层和次采样层交叉堆叠后，经过全连接层到达网络输出。网络的训练类似于传统的人工神经网络训练方法，采用BP算法将误差逐层反向传递，使用梯度下降法调整各层之间的参数。4、递归神经网络RNNRNN可用于处理时序数据或前后关联数据。RNN还可以和CNN结合使用，处理考虑样本之间相关性的问题。无论是DBN和SAE，还是CNN，都没有考虑样本之间的关联问题。RNN则考虑了样本之间的关联关系，将这种关联关系以神经网络之间的连接体现出来。一般情况下，单向RNN中，单个神经网络的隐层连接至下一个神经网络的隐层。这种连接方式考虑了前面样本对后面样本的影响。还有一种双向RNN的连接方式，单个神经网络的隐层连接了其前后神经网络的隐层，这种连接方式考虑了前后样本对当前样本的影响。一般认为RNN的各个神经网络具有相同的权重和偏置。RNN训练时，可使用RBM或AE对其进行预训练来初始化网络参数，然后计算每个样本的输出误差，并以累积误差训练网络参数。

论文 ：Logical Expressiveness of Graph Neural Networks链接：https://grlearning.github.io/papers/92.pdf让我们继续来考察图神经网络的逻辑表达。论文 7 中对哪些GNN架构能够捕获哪个逻辑级别进行了大量的研究。目前为止，这个研究还仅限于一阶逻辑的两变量片段FOC_2，因为FOC_2连接到用于检查图同构的Weisfeiler-Lehman（WL）测试上。作者证明，聚合组合神经网络（AC-GNN）的表达方式对应于描述逻辑ALCQ，它是FOC_2的子集。作者还进一步证明，如果我们添加一个独处成分，将GNN转换为聚合组合读出GNN（ACR-GNN），则FOC_2中的每个公式都可以由ACR-GNN分类器捕获。这个工作怎么说呢？简直是不能再棒了！