K-means 聚类算法K-means 聚类算法 可能是大家最为熟悉的聚类算法。它在许多的工业级数据科学和机器学习课程中都有被讲解。并且容易理解和实现相应功能的代码 。    我们先确定要聚类的数量，并随机初始化它们各自的中心点。为了确定要聚类的数量，最好快速查看数据并尝试识别任何不同的分组。中心点是与每个数据点向量长度相同的向量，是上图中的“x”。通过计算当前点与每个组中心之间的距离，对每个数据点进行分类，然后归到与距离最近的中心的组中。基于迭代后的结果，计算每一类内，所有点的平均值，作为新簇中心。迭代重复这些步骤，或者直到组中心在迭代之间变化不大。您还可以选择随机初始化组中心几次，然后选择看起来提供最佳结果。Mean-Shift 聚类Mean-shift 聚类是一个基于滑窗的算法，尝试找到数据点密集的区域。它是一个基于质心的算法，也就是说他的目标是通过更新中心点候选者定位每个组或类的中心点，将中心点候选者更新为滑窗内点的均值。这些候选滑窗之后会在后处理阶段被过滤，来减少临近的重复点，最后形成了中心点的集合和他们对应的组。DBSCAN 笑脸聚类    DBSCAN 从一个任意的还没有被访问过的启动数据点开始。用一个距离 epsilon ε 将这个点的邻域提取出来（所有再距离 ε 内的点都视为邻居点）。如果在邻域内有足够数量的点（根据 minPoints) ，那么聚类过程开始，并且当前数据点变成新集群中的第一个点。否则，该点将被标记为噪声（之后这个噪声点可能会变成集群中的一部分）。在这两种情况中的点都被标记为”已访问“。对于这个新集群中的第一个点，在它 ε 距离邻域内的点已将变成相同集群中的一部分。这个让所有在 ε 邻域内的点都属于相同集群的过程在之后会一直被重复做，直到所有新点都被加进集群分组中。第 2，3 步的过程会一直重复直到集群内所有点都被确定，即所有在 ε 邻域内的点都被访问且被打上标签。我们在当前集群做完这些，一个新的未被访问的点会被提取并处理，从而会接着发现下一个集群或噪声。这个过程反复进行直到所有的点都被编辑为已访问。既然在最后所有的点都被访问，那么每个点都被标记为属于一个集群或者是噪声。基于高斯混合模型(GMM)的期望最大化（EM）聚类k-means的一个主要缺点是它简单地使用了集群中心的平均值。通过下面的图片，我们可以看到为什么这不是最好的方式。在左手边，人眼可以很明显地看到，有两个半径不同的圆形星团以相同的平均值为中心。k-means不能处理这个问题，因为不同簇的平均值非常接近。当簇不是圆形时，k均值也会失效，这也是将均值用作簇中心的后果。使用GMMs的EM聚类我们首先设定聚类簇的数量（如k-means），然后随机初始化每个集群的高斯分布参数。我们也可以通过快速查看数据来为初始参数提供一个很好的猜测。正如上图所示，这不是100%必要的，因为高斯操作开始时候是非常差的，但很快优化。给定每个簇的高斯分布，计算每个数据点属于特定簇的概率。一个点越靠近高斯中心，它就越可能属于该簇。这应该是直观的，因为对于高斯分布，我们假设大多数数据都靠近集群的中心。基于这些概率，我们为高斯分布计算了一组新的参数，这样我们就可以最大化群集中数据点的概率。我们使用数据点位置的加权和计算这些新参数，其中权重是属于特定集群的数据点的概率。为了以可视化的方式解释这一点，我们可以查看上面的图形，特别是以黄色集群为例。在第一次迭代中，分布是随机开始的，但是我们可以看到大多数黄点都在分布的右边。当我们计算一个由概率加权的和时，即使在中心附近有一些点，但大多数都在右边。因此，分布的平均值很自然地移近这些点集。我们还可以看到，大多数点是“从右上到左下”。因此，标准偏差会发生变化，以创建一个更适合这些点的椭圆，以便最大化概率加权的和。第2步和第3步重复进行，直到收敛，也就是在收敛过程中，迭代变化不大。凝聚层次聚类凝聚层次聚类算法实际上分为 2 类：自上而下或自下而上。自下而上算法在一开始将每个数据点当作一个单个集群对待，然后逐步的合并（或凝聚）成对的集群，直到所有的集群被合并到一个集群中，这个集群包含所有的点。自下而上层次聚类因此被叫做层次凝聚的聚类或者 HAC。这个聚类的层次被表示为一棵树（或者树状图）。树根是唯一的集群，他聚集了所有的样本，叶子是只有一个样本的集群。

文章来源于当交通遇上机器学习 ，作者CY1.文章信息论文链接：https://www.mdpi.com/2071-1050/14/9/4930/htm2.摘要针对森林火灾图像中小目标、类火目标和类烟目标的检测，以及不同自然光下的火灾检测，提出了一种改进的Fire-YOLO深度学习算法。Fire-YOLO检测模型从三维扩展了特征提取网络，增强了火灾小目标识别的特征传播，提高了网络性能，减少了模型参数。进一步，通过特征金字塔的提升，得到了性能最好的预测框。与最先进的目标检测网络相比，Fire-YOLO取得了优异的结果，尤其是在火灾和烟雾的小目标检测方面。总体而言，Fire-YOLO检测模型可以有效地处理小火源目标、类火和类烟目标的检测。当输入图像尺寸为416 × 416分辨率时，平均检测时间为0.04 s /帧，可以提供实时的森林火灾检测。此外，文章提出的算法也可以应用于其他复杂情况下的小目标检测。3.简介火灾探测对于保护森林资源、保护人民生命财产至关重要。近年来，随着火灾图像探测成为研究热点，图像探测具有探测时间早、精度高、系统安装灵活、能有效探测大空间复杂建筑结构火灾等优点。一类方法基于火灾发生时的颜色识别，但基于颜色的方法对亮度和阴影非常敏感。因此，这些方法产生的假警报数量很高。随着机器学习的发展，深度学习技术已广泛应用于检测。有学者提出了一种使用微调卷积神经网络（CNN）的早期火灾探测框架，但该模型具有较高的计算成本。有的学者使用深度融合CNN进行烟雾探测，它结合了注意机制、特征级和决策级融合模块。然而，仍有一些小目标未能实现。有的学者使用了一种基于区域的快速卷积神经网络（R-CNN），根据空间特征检测可疑火灾区域（SRoF）和非火灾区域。这可以通过减少错误探测成功地提高火灾探测精度，但探测速度相对较慢。有的学者提出了一种基于YOLO-V3和YOLO-V4的森林烟雾检测算法。与YOLO-V4相比，YOLO-V3的模型更小，更易于部署。在此基础上，文章选择了YOLO-V3模型作为整体算法，并对其进行了改进。提出了对YOLO-V3算法的改进。网络中加入了空心卷积和DenseNet，提高了火灾早期小规模火焰的探测效果。然而，方法存在火焰定位不准确和屏蔽性能差的问题。I-YOLOv3-tiny模型通过网络结构优化、多尺度融合和K-均值聚类来提高检测精度，但检测速度有待提高。通过提高特征图的分辨率，它减少了火灾探测中的误差，但由于计算量的增加，相应的处理时间也增加了。将分类模型和目标检测模型结合用于火灾探测的方法降低了计算成本，提高了探测精度。尽管如此，它不适用于火灾早期小目标的探测场景。有的学者通过将原始网络结构中的两步降采样卷积网络替换为图像双分割和双线性上采样网络，扩大了小目标的特征，提高了小目标的检测精度。虽然这会增加参数的数量，但计算成本也会增加。对于具有实时性要求的火灾探测，仍需进一步改进。这些问题给火灾场景中小目标的检测带来了巨大的挑战。4.模型A. YOLO-V3YOLO- v3是由YOLO和YOLOV2网络演化而来的对象检测模型。与Faster R-CNN相比，YOLO- v3是单级检测算法，这意味着YOLO网络不需要Regional Proposal network (RPN)，而是直接检测图像中的目标。这样既考虑了检测速度和检测精度，又减小了模型参数的尺寸。YOLO-V3对每个类别独立使用逻辑回归，取代了DarkENT-19到DarkENT-53的特征提取网络。YOLO-V3几乎与其他目标检测算法一样精确，但速度至少是后者的两倍。YOLO-V3的特征提取网络为Darknet-53。Darknet-53通过不断地使用卷积、标准化、池化等操作，提取输入到YOLO-V3网络的火灾图像的特征，并通过卷积不断地对火灾图像进行特征提取。这种方法广泛应用于其他各种网络模型中，ResNet也通过增加网络的深度来提高网络的精度。虽然可以同时缩放两个或三个维度，但由于深度和宽度之间有一定的关系，需要进行复杂的手动调整，也就是说只能调整深度和宽度才能达到更好的精度。目前，YOLO-V3模型在火灾探测中并未得到广泛应用。B.Fire-YOLOFire-YOLO是一种单阶段检测模型。FireYOLO用于火灾探测的步骤如下所示。首先,网络输入火灾图像分为S×S网格,和检测在每个探测单元格:是否有火焰或者烟雾的中心目标是发现落在S2的网格,网格负责检测目标被检测出来。然后，每个网格预测3个边界框，并给出这些边界框的置信度。置信计算的定义如下。当目标落在网格中时Pγ = 1，否则Pγ = 0。IoU表示预测边界框与真实边界框的重合。置信度反映了网格中是否存在对象以及包含对象时预测边界框的准确性。当多个包围盒同时检测到同一目标时，YOLO网络将使用非最大抑制(Non-Maximum Suppression, NMS)方法选择最佳包围盒。利用卷积神经网络对视频中的火情和烟雾进行分类来检测火情，具有良好的准确率。文章提出的Fire-YOLO模型从深度、宽度和分辨率三个维度考虑，实现了更加均衡的网络架构。Fire-YOLO火灾探测步骤如下图所示。将输入图像划分为S×S网格，每个网格预测三个边界框和置信度分数。然后，使用非最大值抑制方法选择最佳边界框。Effentnet的提出为设计一种标准化的卷积神经网络尺度方法提供了可能。通过平衡网络深度、宽度和分辨率这三个维度，可以在深度、宽度和分辨率这三个维度上实现更均衡的网络架构，而无需复杂的人工调整。由于火灾数据集中大量的检测对象为小火焰和烟雾，这种简单高效的复合尺度变换方法相对于其他的一维尺度变换方法可以进一步提高火灾的检测精度，并能充分节约计算资源。最终，文章使用的改进后的Effentnet比精度相同的卷积神经网络速度更快，参数更少，模型更小，具有明显的优势。提出的Fire-YOLO火灾探测模型网络结构如下图所示。与YOLO-V3中特征提取网络Darknet53中使用的残块不同，Fire-YOLO的特征提取网络使用了一个移动倒瓶颈卷积(MBConv)，该卷积由深度卷积和挤压-激活网络(SENet)组成。MBConv块的结构,最重要的是,一个1×1卷积内核用于增加图像的维数,接下来通过切除卷积和SENet反过来,最后用1×1卷积内核来减少图像的维数输出。输入图像经过特征提取网络并上采样后，得到对应的特征图，即图像对应的向量特征矩阵。为了获得小目标的高层特征信息，特征图将经过卷积集处理，卷积集由5个卷积层组成，卷积核交替为1 × 1和3 × 3。然后利用池化层将高维向量扁平化为一维向量，由激活函数进行处理。将这些向量输入到激活函数中，得到相应的分类结果，并选择最有可能的结果作为特征提取网络输出。针对Darknet-53特征提取网络在深度、宽度和分辨率三个维度平衡方面的性能缺陷，文章在文章提出的fire数据集上使用改进的Effecentnet特征提取网络，弥补了Darknet-53在小目标检测方面的性能不足，提高了小目标检测的特征提取能力。对于输入的小目标图像，增强了小目标特征的学习能力，提高了小目标特征提取网络的性能。为了更好地处理小目标图像，Fire-YOLO模型首先将输入图像缩放到416 × 416像素，然后使用Effecentnet从图像中提取特征。经过多层的深度可分卷积、全局平均池化、特征压缩和特征扩展，对深度可分卷积学习到的特征映射进行上采样。通过特征金字塔处理得到不同尺度的预测框。文章提出的Fire-YOLO模型预测了13 × 13、26 × 26、52 × 52三种不同尺度的边界盒。用于小目标检测的深度可分离卷积结合了逐条通道卷积和逐级点卷积两种级别，提取不同粒度的小目标特征。深度可分卷积的结构如下图所示。通过比较YOLO-V3中使用的Darknet-53特征提取网络、快速R-CNN中使用的RPN目标建议网络和Fire YOLO中使用的深度可分离卷积，发现深度可分离卷积在计算复杂度方面具有优异的性能。这种卷积结构加快了模型的训练速度，提高了模型的检测精度。在火灾探测模型的实际应用中，可以加快网络的处理速度，如果计算量较小，可以达到实时图像处理的目的，从而实现火灾危险的实时探测。同时，该模型的硬件要求也降低了，以便于部署。SENet主要由两个阶段组成。第一个阶段是挤压阶段。第二个阶段是激发阶段。在获得挤压的矢量后，使用完全连接的层，并预测每个通道的重要性。随后，将其应用于与初始特征映射相对应的信道，以便小目标的特征信息将被赋予更高的优先级。SENet的结构如下图所示。在深度学习网络模型中，激活函数是一个连续可导的非线性函数，可以拟合非线性关系。激活函数及其导数的形式比较简单，可以加快网络的学习速度。正确使用激活函数对模型的训练和模型对目标预测的准确性都具有重要意义。活化函数的导数不宜过大或过小，最好稳定在1左右。文章提出的模型使用了Swish激活函数，其表达式为：其中β是常数或可训练参数。Swish具有无上界、无下界、光滑、非单调的特点。Swish在深度模式上比ReLU要好。乙状结肠的饱和函数很容易导致梯度的消失,借鉴ReLU的影响,当它是非常大的,它将方法,但当x→∞,函数的一般趋势比ReLU ReLU相似但更复杂。Swish函数可以看作是一个介于线性函数和ReLU函数之间的平滑函数。C. 性能指标文章利用训练后的Fire-YOLO模型对测试图像进行一系列实验，验证算法的性能。评价神经网络模型有效性的相关指标有:precision, recall, F1, AP值。在二元分类问题中，根据真类别和预测类别的组合，样本可分为四种类型:真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN)。分类结果的混淆矩阵如下表所示。其余指标的公式根据混淆矩阵计算如下：5.实验分析本节介绍训练网络的实验环境、数据集、模型效果评价指标以及实验结果分析。通过一系列不同模型的对比实验，分析了文章提出的新模型的优越性。实验过程中使用了火数据集和小目标数据集。通过fire数据集对目标检测网络的准确性进行了验证和评估，在不同光照条件、类火烟雾目标等复杂环境下具有良好的检测效果;在小目标火力数据集上验证了该检测方法。结果证实，Fire-YOLO更容易检测到较小的目标。Fire-YOLO检测模型接收416 × 416像素图像作为输入，由于GPU性能限制，批处理大小设为8，每个模型训练100 epoch，初始学习速率为10−3，50 epoch后除以10。A. 数据采集实验中使用的数据集是通过采集消防公益平台上的消防图片来构建的。将fire数据集和小目标数据集分别划分为训练集、验证集和测试集，以便在相同的实验设置下对不同的模型进行训练。第一个数据集为火焰数据集，文章使用的图像数据是公共网站上收集的火灾和烟雾图像。这19819张原始图像包括不同天气和光线线下的火焰和烟雾。在对以上数据集图像进行编号后，使用LabelImg工具进行手动标记，包括绘制边框和分类类别。考虑到标签与数据的对应关系，为保证数据集分布均匀，将数据集按70%、20%、10%的比例随机分为训练集、验证集和测试集。为了保证实验环境相同，最终数据集以PASCAL VOC数据集格式存储。为了防止神经网络中过拟合，对于像素区域不清晰的阳性样本不进行标记。完成的数据集如下表所示。第二个数据集为小目标检测数据集，文章自制了370张图像的数据集。数据集的内容都是包含小目标的火焰和烟雾。通过将250 × 250像素的火焰图像嵌入到1850 × 1850像素的图像中，可以使被探测目标在图像中的面积非常小。最后使用LabelImg工具手工标注小目标。B. 算法的比较分析为了验证模型的性能，文章使用火焰和烟雾图像作为训练集。将所提出的模型与YOLO-V3和Faster R-CNN检测方法进行了比较。三种模型在试验过程中的P-R曲线如图5所示。准确率、召回率、F1评分和mAP值如下表所示。基于以上结果，文章提出的Fire-YOLO在检测性能上优于YOLO-V3和Faster R-CNN。Fire-YOLO模型的精度为0.915,F1的值为0.73,mAP的值为0.802，高于其他两个模型，体现了该模型的优越性。同时Fire-YOLO降低了计算成本，节约了资源，更有利于社会的可持续发展。C. 小目标的检测性能在火灾探测过程中，由于摄像机离火源太远，实际的火源位置在捕获的图像中只占很小的区域，这将导致网络模型对火焰和烟雾的探测非常差。通过比较三种不同的目标检测模型在小目标火灾数据集上的准确率、召回率和mAP，可以得出文章提出的Fire-YOLO模型对非常小的目标对象的检测效率优于Faster R-CNN和未改进的YOLO-V3网络。训练于射击小目标数据集的Fire-YOLO对待检测小目标图像在深度、宽度和分辨率三个维度上进行自适应调整，增强了信息之间的交互作用。从而增强了Fire-YOLO提取小目标特征的能力，提高了小目标物体的检测精度。下表给出了三种模型方法对小目标射击数据集评价指标的具体结果。三种不同模型对小目标火力数据集的检测效率差异较大。文章提出的Fire-YOLO模型的准确率和召回率比其他模型更显著。准确率可达75.48%，可实现对小目标的检测。森林火灾的早期及时发现可以大大减少对生态环境的破坏，减少火灾造成的经济损失，促进生态环境的可持续发展。训练后Fire-YOLO网络模型具有良好的火力目标探测效率。文章使用Fire-YOLO模型来检测非常小的火力目标，并将检测结果图形化显示。较小的射击目标是小目标射击数据集中验证数据集中的所有图像。对Fire-YOLO进行了30多个验证插图的验证，最终的图像检测结果如下图所示。Fire-YOLO可以检测到图片中所有的火和烟，而YOLO-V3和Faster R-CNN在检测结果中只能检测到图像中的部分目标。D. 类火和类烟目标的探测性能通过对比模型对丰富的类火和类烟图像的检测性能，可以发现Fire-YOLO对类火和类烟目标具有更好的检测效率。除了Fire-YOLO，其他模型分别将图像中的光和云误判为火和烟。显然，Fire-YOLO对图像纹理特征更加敏感，这是由于在特征提取网络中结合了1 × 1卷积核和SE模块。最后，提高了该模型在探测混淆目标时的鲁棒性。三种模型的类火和类烟检测结果如下图所示。在上述情况下，Fire-YOLO模型大大减少了误检的发生，减少了劳动力消耗，节约了社会资源。E. 模型在不同自然光下的检测性能本节通过对比不同自然光照条件下的多幅火灾图像，测试Fire-YOLO在真实环境中的性能。在实际火灾探测现场，会出现光线不足或光线很强的情况。在这种场景下，会对火灾探测产生一定的影响。使用大尺度feature map对模型进行改进，识别小目标对象，但在弱光条件下存在误判。检测结果如下图所示。通过比较FasterR-CNN、YOLO-V3和Fire-YOLO模型的检测性能，结果表明该模型在不同光照条件下具有良好的性能，对光照变化具有较强的鲁棒性。Fire-YOLO模式的这些优势可以减少火灾对森林的危害，减少温室效应对人类的影响，促进可持续发展文章提出的Fire- YOLO模型在小目标、类火、类烟探测以及不同明度下的火灾探测等方面都取得了令人满意的效果。在实际应用中，该方法不仅具有实时性，而且具有良好的鲁棒性。然而文章检测算法仍然存在检测精度低、检测半遮挡目标具有挑战性的问题。这可能是由于在实际环境中探测火焰时，火灾的可变性和火灾蔓延的复杂性，造成了火灾检查的困境，如下图所示。.

2.1 基于模型压缩的分割方法 为了实现实时处理高分辨率的2D/3D医学图像（例如CT、MRI和组织病理学图像等），研究人员提出了多种压缩模型的方法。weng等人利用NAS技术应用于U-Net网络，得到了在CT，MRI和超声图像上具有更好的器官/肿瘤分割性能的小型网络。Brugger通过利用组归一化（group normalization ）和Leaky-ReLU（leaky ReLU function），重新设计了U-Net架构，以使网络对3D医学图像分割的存储效率更高。也有人设计了参数量更少的扩张卷积module。其他一些模型压缩的方法还有权重量化（十六位、八位、二值量化）、蒸馏、剪枝等等。 2.2 编码-解码结构的分割方法 Drozdal提出了一种在将图像送入分割网络之前应用简单的CNN来对原始输入图像进行归一化的方法，提高了单子显微镜图像分割、肝脏CT、前列腺MRI的分割精度。Gu提出了在主干网络利用扩张卷积来保留上下文信息的方法。Vorontsov提出了一种图到图的网络框架，将具有ROI的图像转换为没有ROI的图像（例如存在肿瘤的图像转换为没有肿瘤的健康图像），然后将模型去除的肿瘤添加到新的健康图像中，从而获得对象的详细结构。Zhou等人提出了一种对U-Net网络的跳跃连接重新布线的方法，并在胸部低剂量CT扫描中的结节分割，显微镜图像中的核分割，腹部CT扫描中的肝脏分割以及结肠镜检查视频中的息肉分割任务中测试了性能。Goyal将DeepLabV3应用到皮肤镜彩色图像分割中，以提取皮肤病变区域。 2.3 基于注意力机制的分割方法 Nie提出了一种注意力模型，相比于baseline模型（V-Net和FCN），可以更准确地分割前列腺。SinHa提出了一种基于多层注意力机制的网络，用于MRI图像腹部器官分割。Qin等人提出了一个扩张卷积模块，以保留3D医学图像的更多细节。其他基于注意力机制的啼血图像分割论文还有很多。 2.4 基于对抗学习的分割网络 Khosravan提出了从CT扫描中进行胰腺分割的对抗训练网络。Son用生成对抗网络进行视网膜图像分割。Xue使用全卷积网络作为生成对抗框架中的分割网络，实现了从MRI图像分割脑肿瘤。还有其他一些成功应用GANs到医学图像分割问题的论文，不再一一列举。 2.5 基于RNN的分割模型 递归神经网络（RNN）主要用于处理序列数据，长短期记忆网络（LSTM）是RNN的一个改进版本，LSTM通过引入自环（self-loops）使得梯度流能长期保持。在医学图像分析领域，RNN用于对图像序列中的时间依赖性进行建模。Bin等人提出了一种将全卷积神经网络与RNN融合的图像序列分割算法，将时间维度上的信息纳入了分割任务。Gao等人利用CNN和LSTM拉对脑MRI切片序列中的时间关系进行建模，以提高4D图像中的分割性能。Li等人先用U-Net获得初始分割概率图，后用LSTM从3D CT图像中进行胰腺分割，改善了分割性能。其他利用RNN进行医学图像分割的论文还有很多，不再一一介绍。 2.6 小结 这部分内容主要是分割算法在医学图像分割中的应用，所以创新点并不多，主要还是对不同格式（CT还是RGB，像素范围，图像分辨率等等）的数据和不同部位数据的特点（噪声、对象形态等等），经典网络需要针对不同数据进行改进，以适应输入数据格式和特征，这样能更好的完成分割任务。虽然说深度学习是个黑盒，但整体上模型的设计还是有章可循的，什么策略解决什么问题、造成什么问题，可以根据具体分割问题进行取舍，以达到最优的分割性能。

在本节中，我们将简要地讨论深度神经网络 (DNN)，以及它们最近的改进和突破。神经网络的功能与人脑相似。它们主要由神经元和连接组成。当我们说深度神经网络时，我们可以假设有相当多的隐藏层，可以用来从输入中提取特征和计算复杂的函数。Bengio(2009) 解释了深度结构的神经网络，如卷积神经网络 (CNN)、自编码器 (AE) 等及其变体。Deng 和 Yu(2014) 详细介绍了一些神经网络架构，如 AE 及其变体。Goodfellow 等 (2016) 对深度前馈网络、卷积网络、递归网络及其改进进行了介绍和技巧性讲解。Schmidhuber(2014) 提到了神经网络从早期神经网络到最近成功技术的完整历史。5.1 深度自编码器自编码器 (AE) 是神经网络 (NN)，其中输出即输入。AE 采用原始输入，编码为压缩表示，然后解码以重建输入。在深度 AE 中，低隐藏层用于编码，高隐藏层用于解码，误差反向传播用于训练.。5.1.1 变分自编码器变分自动编码器 (VAE) 可以算作解码器。VAE 建立在标准神经网络上，可以通过随机梯度下降训练 (Doersch,2016)。5.1.2 多层降噪自编码器在早期的自编码器 (AE) 中，编码层的维度比输入层小（窄）。在多层降噪自编码器 (SDAE) 中，编码层比输入层宽 (Deng and Yu, 2014)。5.1.3 变换自编码器深度自动编码器 (DAE) 可以是转换可变的，也就是从多层非线性处理中提取的特征可以根据学习者的需要而改变。变换自编码器 (TAE) 既可以使用输入向量，也可以使用目标输出向量来应用转换不变性属性，将代码引导到期望的方向 (Deng and Yu,2014)。5.2 深度卷积神经网络四种基本思想构成了卷积神经网络 (CNN)，即：局部连接、共享权重、池化和多层使用。CNN 的第一部分由卷积层和池化层组成，后一部分主要是全连接层。卷积层检测特征的局部连接，池层将相似的特征合并为一个。CNN 在卷积层中使用卷积而不是矩阵乘法。Krizhevsky 等人 (2012) 提出了一种深度卷积神经网络 (CNN) 架构，也称为 AlexNet，这是深度学习 (Deep Learning, DL) 的一个重大突破。网络由 5 个卷积层和 3 个全连接层组成。该架构采用图形处理单元 (GPU) 进行卷积运算，采用线性整流函数 (ReLU) 作为激活函数，用 Dropout 来减少过拟合。Iandola 等人 (2016) 提出了一个小型的 CNN 架构，叫做「SqueezeNet」。Szegedy 等人 (2014) 提出了一种深度 CNN 架构，名为 Inception。Dai 等人 (2017) 提出了对 Inception-ResNet 的改进。Redmon 等人 (2015) 提出了一个名为 YOLO (You Only Look Once) 的 CNN 架构，用于均匀和实时的目标检测。Zeiler 和 Fergus (2013) 提出了一种将 CNN 内部激活可视化的方法。Gehring 等人 (2017) 提出了一种用于序列到序列学习的 CNN 架构。Bansal 等人 (2017) 提出了 PixelNet，使用像素来表示。Goodfellow 等人 (2016) 解释了 CNN 的基本架构和思想。Gu 等人 (2015) 对 CNN 的最新进展、CNN 的多种变体、CNN 的架构、正则化方法和功能以及在各个领域的应用进行了很好的概述。5.2.1 深度最大池化卷积神经网络最大池化卷积神经网络 (MPCNN) 主要对卷积和最大池化进行操作，特别是在数字图像处理中。MPCNN 通常由输入层以外的三种层组成。卷积层获取输入图像并生成特征图，然后应用非线性激活函数。最大池层向下采样图像，并保持子区域的最大值。全连接层进行线性乘法。在深度 MPCNN 中，在输入层之后周期性地使用卷积和混合池化，然后是全连接层。5.2.2 极深的卷积神经网络Simonyan 和 Zisserman(2014) 提出了非常深层的卷积神经网络 (VDCNN) 架构，也称为 VGG Net。VGG Net 使用非常小的卷积滤波器，深度达到 16-19 层。Conneau 等人 (2016) 提出了另一种文本分类的 VDCNN 架构，使用小卷积和池化。他们声称这个 VDCNN 架构是第一个在文本处理中使用的，它在字符级别上起作用。该架构由 29 个卷积层组成。5.3 网络中的网络Lin 等人 (2013) 提出了网络中的网络 (Network In Network,NIN)。NIN 以具有复杂结构的微神经网络代替传统卷积神经网络 (CNN) 的卷积层。它使用多层感知器 (MLPConv) 处理微神经网络和全局平均池化层，而不是全连接层。深度 NIN 架构可以由 NIN 结构的多重叠加组成。5.4 基于区域的卷积神经网络Girshick 等人 (2014) 提出了基于区域的卷积神经网络 (R-CNN)，使用区域进行识别。R-CNN 使用区域来定位和分割目标。该架构由三个模块组成：定义了候选区域的集合的类别独立区域建议，从区域中提取特征的大型卷积神经网络 (CNN)，以及一组类特定的线性支持向量机 (SVM)。5.4.1 Fast R-CNNGirshick(2015) 提出了快速的基于区域的卷积网络 (Fast R-CNN)。这种方法利用 R-CNN 架构能快速地生成结果。Fast R-CNN 由卷积层和池化层、区域建议层和一系列全连接层组成。5.4.2 Faster R-CNNRen 等人 (2015) 提出了更快的基于区域的卷积神经网络 (Faster R-CNN)，它使用区域建议网络 (Region Proposal Network, RPN) 进行实时目标检测。RPN 是一个全卷积网络，能够准确、高效地生成区域建议 (Ren et al.，2015)。5.4.3 Mask R-CNN何恺明等人 (2017) 提出了基于区域的掩模卷积网络 (Mask R-CNN) 实例目标分割。Mask R-CNN 扩展了 R-CNN 的架构，并使用一个额外的分支用于预测目标掩模。5.4.4 Multi-Expert R-CNNLee 等人 (2017) 提出了基于区域的多专家卷积神经网络 (ME R-CNN)，利用了 Fast R-CNN 架构。ME R-CNN 从选择性和详尽的搜索中生成兴趣区域 (RoI)。它也使用 per-RoI 多专家网络而不是单一的 per-RoI 网络。每个专家都是来自 Fast R-CNN 的全连接层的相同架构。5.5 深度残差网络He 等人 (2015) 提出的残差网络 (ResNet) 由 152 层组成。ResNet 具有较低的误差，并且容易通过残差学习进行训练。更深层次的 ResNet 可以获得更好的性能。在深度学习领域，人们认为 ResNet 是一个重要的进步。5.5.1 Resnet in ResnetTarg 等人 (2016) 在 Resnet in Resnet (RiR) 中提出将 ResNets 和标准卷积神经网络 (CNN) 结合到深层双流架构中。5.5.2 ResNeXtXie 等人 (2016) 提出了 ResNeXt 架构。ResNext 利用 ResNets 来重复使用分割-转换-合并策略。5.6 胶囊网络Sabour 等人 (2017) 提出了胶囊网络 (CapsNet)，即一个包含两个卷积层和一个全连接层的架构。CapsNet 通常包含多个卷积层，胶囊层位于末端。CapsNet 被认为是深度学习的最新突破之一，因为据说这是基于卷积神经网络的局限性而提出的。它使用的是一层又一层的胶囊，而不是神经元。激活的较低级胶囊做出预测，在同意多个预测后，更高级的胶囊变得活跃。在这些胶囊层中使用了一种协议路由机制。Hinton 之后提出 EM 路由，利用期望最大化 (EM) 算法对 CapsNet 进行了改进。5.7 循环神经网络循环神经网络 (RNN) 更适合于序列输入，如语音、文本和生成序列。一个重复的隐藏单元在时间展开时可以被认为是具有相同权重的非常深的前馈网络。由于梯度消失和维度爆炸问题，RNN 曾经很难训练。为了解决这个问题，后来许多人提出了改进意见。Goodfellow 等人 (2016) 详细分析了循环和递归神经网络和架构的细节，以及相关的门控和记忆网络。Karpathy 等人 (2015) 使用字符级语言模型来分析和可视化预测、表征训练动态、RNN 及其变体 (如 LSTM) 的错误类型等。J´ozefowicz 等人 (2016) 探讨了 RNN 模型和语言模型的局限性。5.7.1 RNN-EMPeng 和 Yao(2015) 提出了利用外部记忆 (RNN-EM) 来改善 RNN 的记忆能力。他们声称在语言理解方面达到了最先进的水平，比其他 RNN 更好。5.7.2 GF-RNNChung 等 (2015) 提出了门控反馈递归神经网络 (GF-RNN)，它通过将多个递归层与全局门控单元叠加来扩展标准的 RNN。5.7.3 CRF-RNNZheng 等人 (2015) 提出条件随机场作为循环神经网络 (CRF-RNN)，其将卷积神经网络 (CNN) 和条件随机场 (CRF) 结合起来进行概率图形建模。5.7.4 Quasi-RNNBradbury 等人 (2016) 提出了用于神经序列建模和沿时间步的并行应用的准循环神经网络 (QRNN)。5.8 记忆网络Weston 等人 (2014) 提出了问答记忆网络 (QA)。记忆网络由记忆、输入特征映射、泛化、输出特征映射和响应组成。5.8.1 动态记忆网络Kumar 等人 (2015) 提出了用于 QA 任务的动态记忆网络 (DMN)。DMN 有四个模块:输入、问题、情景记忆、输出。5.9 增强神经网络Olah 和 Carter(2016) 很好地展示了注意力和增强循环神经网络，即神经图灵机 (NTM)、注意力接口、神经编码器和自适应计算时间。增强神经网络通常是使用额外的属性，如逻辑函数以及标准的神经网络架构。5.9.1 神经图灵机Graves 等人 (2014) 提出了神经图灵机 (NTM) 架构，由神经网络控制器和记忆库组成。NTM 通常将 RNN 与外部记忆库结合。5.9.2 神经 GPUKaiser 和 Sutskever(2015) 提出了神经 GPU，解决了 NTM 的并行问题。5.9.3 神经随机存取机Kurach 等人 (2015) 提出了神经随机存取机，它使用外部的可变大小的随机存取存储器。5.9.4 神经编程器Neelakantan 等人 (2015) 提出了神经编程器，一种具有算术和逻辑功能的增强神经网络。5.9.5 神经编程器-解释器Reed 和 de Freitas(2015) 提出了可以学习的神经编程器-解释器 (NPI)。NPI 包括周期性内核、程序内存和特定于领域的编码器。5.10 长短期记忆网络Hochreiter 和 Schmidhuber(1997) 提出了长短期记忆 (Long short - Short-Term Memory, LSTM)，克服了循环神经网络 (RNN) 的误差回流问题。LSTM 是基于循环网络和基于梯度的学习算法，LSTM 引入自循环产生路径，使得梯度能够流动。Greff 等人 (2017) 对标准 LSTM 和 8 个 LSTM 变体进行了大规模分析，分别用于语音识别、手写识别和复调音乐建模。他们声称 LSTM 的 8 个变种没有显著改善，而只有标准 LSTM 表现良好。Shi 等人 (2016b) 提出了深度长短期记忆网络 (DLSTM)，它是一个 LSTM 单元的堆栈，用于特征映射学习表示。5.10.1 批-归一化 LSTMCooijmans 等人 (2016) 提出了批-归一化 LSTM (BN-LSTM)，它对递归神经网络的隐藏状态使用批-归一化。5.10.2 Pixel RNNvan den Oord 等人 (2016b) 提出像素递归神经网络 (Pixel-RNN)，由 12 个二维 LSTM 层组成。5.10.3 双向 LSTMW¨ollmer 等人 (2010) 提出了双向 LSTM(BLSTM) 的循环网络与动态贝叶斯网络 (DBN) 一起用于上下文敏感关键字检测。5.10.4 Variational Bi-LSTMShabanian 等人 (2017) 提出了变分双向 LSTM（Variational Bi-LSTM），它是双向 LSTM 体系结构的变体。Variational Bi-LSTM 使用变分自编码器 (VAE) 在 LSTM 之间创建一个信息交换通道，以学习更好的表征。5.11 谷歌神经机器翻译Wu 等人 (2016) 提出了名为谷歌神经机器翻译 (GNMT) 的自动翻译系统，该系统结合了编码器网络、解码器网络和注意力网络，遵循共同的序列对序列 (sequence-to-sequence) 的学习框架。5.12 Fader NetworkLample 等人 (2017) 提出了 Fader 网络，这是一种新型的编码器-解码器架构，通过改变属性值来生成真实的输入图像变化。5.13 超网络Ha 等人 (2016) 提出的超网络（Hyper Networks）为其他神经网络生成权值，如静态超网络卷积网络、用于循环网络的动态超网络。Deutsch(2018) 使用超网络生成神经网络。5.14 Highway NetworksSrivastava 等人 (2015) 提出了高速路网络（Highway Networks），通过使用门控单元来学习管理信息。跨多个层次的信息流称为信息高速路。5.14.1 Recurrent Highway NetworksZilly 等人 (2017) 提出了循环高速路网络 (Recurrent Highway Networks，RHN)，它扩展了长短期记忆 (LSTM) 架构。RHN 在周期性过渡中使用了 Highway 层。5.15 Highway LSTM RNNZhang 等人 (2016) 提出了高速路长短期记忆 (high - Long short Memory, HLSTM) RNN，它在相邻层的内存单元之间扩展了具有封闭方向连接 (即 Highway) 的深度 LSTM 网络。5.16 长期循环 CNNDonahue 等人 (2014) 提出了长期循环卷积网络 (LRCN)，它使用 CNN 进行输入，然后使用 LSTM 进行递归序列建模并生成预测。5.17 深度神经 SVMZhang 等人 (2015) 提出了深度神经 SVM(DNSVM)，它以支持向量机 (Support Vector Machine, SVM) 作为深度神经网络 (Deep Neural Network, DNN) 分类的顶层。5.18 卷积残差记忆网络Moniz 和 Pal(2016) 提出了卷积残差记忆网络，将记忆机制并入卷积神经网络 (CNN)。它用一个长短期记忆机制来增强卷积残差网络。5.19 分形网络Larsson 等人 (2016) 提出分形网络即 FractalNet 作为残差网络的替代方案。他们声称可以训练超深度的神经网络而不需要残差学习。分形是简单扩展规则生成的重复架构。5.20 WaveNetvan den Oord 等人 (2016) 提出了用于产生原始音频的深度神经网络 WaveNet。WaveNet 由一堆卷积层和 softmax 分布层组成，用于输出。Rethage 等人 (2017) 提出了一个 WaveNet 模型用于语音去噪。5.21 指针网络Vinyals 等人 (2017) 提出了指针网络 (Ptr-Nets)，通过使用一种称为「指针」的 softmax 概率分布来解决表征变量字典的问题。

本文转载自机器之心。深度神经网络在监督学习中取得了巨大的成功。此外，深度学习模型在无监督、混合和强化学习方面也非常成功。4.1 深度监督学习监督学习应用在当数据标记、分类器分类或数值预测的情况。LeCun 等人 (2015) 对监督学习方法以及深层结构的形成给出了一个精简的解释。Deng 和 Yu(2014) 提到了许多用于监督和混合学习的深度网络，并做出解释，例如深度堆栈网络 (DSN) 及其变体。Schmidthuber(2014) 的研究涵盖了所有神经网络，从早期神经网络到最近成功的卷积神经网络 (CNN)、循环神经网络 (RNN)、长短期记忆 (LSTM) 及其改进。4.2 深度无监督学习当输入数据没有标记时，可应用无监督学习方法从数据中提取特征并对其进行分类或标记。LeCun 等人 (2015) 预测了无监督学习在深度学习中的未来。Schmidthuber(2014) 也描述了无监督学习的神经网络。Deng 和 Yu(2014) 简要介绍了无监督学习的深度架构，并详细解释了深度自编码器。4.3 深度强化学习强化学习使用奖惩系统预测学习模型的下一步。这主要用于游戏和机器人，解决平常的决策问题。Schmidthuber(2014) 描述了强化学习 (RL) 中深度学习的进展，以及深度前馈神经网络 (FNN) 和循环神经网络 (RNN) 在 RL 中的应用。Li(2017) 讨论了深度强化学习 (Deep Reinforcement Learning, DRL)、它的架构 (例如 Deep Q-Network, DQN) 以及在各个领域的应用。Mnih 等人 (2016) 提出了一种利用异步梯度下降进行 DNN 优化的 DRL 框架。van Hasselt 等人 (2015) 提出了一种使用深度神经网络 (deep neural network, DNN) 的 DRL 架构。

深度架构的演变人工神经网络 (ANN) 已经取得了长足的进步，同时也带来了其他的深度模型。第一代人工神经网络由简单的感知器神经层组成，只能进行有限的简单计算。第二代使用反向传播，根据错误率更新神经元的权重。然后支持向量机 (SVM) 浮出水面，在一段时间内超越 ANN。为了克服反向传播的局限性，人们提出了受限玻尔兹曼机（RBM），使学习更容易。此时其他技术和神经网络也出现了，如前馈神经网络 (FNN)、卷积神经网络 (CNN)、循环神经网络 (RNN) 等，以及深层信念网络、自编码器等。从那时起，为实现各种用途，ANN 在不同方面得到了改进和设计。Schmidhuber (2014)、Bengio (2009)、Deng 和 Yu (2014)、Goodfellow 等人 (2016)、Wang 等人 (2017) 对深度神经网络 (DNN) 的进化和历史以及深度学习 (DL) 进行了详细的概述。在大多数情况下，深层架构是简单架构的多层非线性重复，这样可从输入中获得高度复杂的函数。

本文转载自机器之心。相关研究   在过去的几年中，有许多关于深度学习的综述论文。他们以很好的方式描述了 DL 方法、方法论以及它们的应用和未来研究方向。这里，我们简要介绍一些关于深度学习的优秀综述论文。Young 等人（2017）讨论了 DL 模型和架构，主要用于自然语言处理（NLP）。他们在不同的 NLP 领域中展示了 DL 应用，比较了 DL 模型，并讨论了可能的未来趋势。Zhang 等人（2017）讨论了用于前端和后端语音识别系统的当前最佳深度学习技术。Zhu 等人（2017）综述了 DL 遥感技术的最新进展。他们还讨论了开源的 DL 框架和其他深度学习的技术细节。Wang 等人（2017）以时间顺序的方式描述了深度学习模型的演变。该短文简要介绍了模型，以及在 DL 研究中的突破。该文以进化的方式来了解深度学习的起源，并对神经网络的优化和未来的研究做了解读。Goodfellow 等人（2016）详细讨论了深度网络和生成模型，从机器学习（ML）基础知识、深度架构的优缺点出发，对近年来的 DL 研究和应用进行了总结。LeCun 等人（2015）从卷积神经网络（CNN）和递归神经网络（RNN）概述了深度学习（DL）模型。他们从表征学习的角度描述了 DL，展示了 DL 技术如何工作、如何在各种应用中成功使用、以及如何对预测未来进行基于无监督学习（UL）的学习。同时他们还指出了 DL 在文献目录中的主要进展。Schmidhuber（2015）从 CNN、RNN 和深度强化学习 (RL) 对深度学习做了一个概述。他强调了序列处理的 RNN，同时指出基本 DL 和 NN 的局限性，以及改进它们的技巧。Nielsen (2015) 用代码和例子描述了神经网络的细节。他还在一定程度上讨论了深度神经网络和深度学习。Schmidhuber (2014) 讨论了基于时间序列的神经网络、采用机器学习方法进行分类，以及在神经网络中使用深度学习的历史和进展。Deng 和 Yu (2014) 描述了深度学习类别和技术，以及 DL 在几个领域的应用。Bengio (2013) 从表征学习的角度简要概述了 DL 算法，即监督和无监督网络、优化和训练模型。他聚焦于深度学习的许多挑战，例如：为更大的模型和数据扩展算法，减少优化困难，设计有效的缩放方法等。Bengio 等人 (2013) 讨论了表征和特征学习即深度学习。他们从应用、技术和挑战的角度探讨了各种方法和模型。Deng (2011) 从信息处理及相关领域的角度对深度结构化学习及其架构进行了概述。Arel 等人 (2010) 简要概述了近年来的 DL 技术。Bengio (2009) 讨论了深度架构，即人工智能的神经网络和生成模型。最近所有关于深度学习（DL）的论文都从多个角度讨论了深度学习重点。这对 DL 的研究人员来说是非常有必要的。然而，DL 目前是一个蓬勃发展的领域。在最近的 DL 概述论文发表之后，仍有许多新的技术和架构被提出。此外，以往的论文从不同的角度进行研究。我们的论文主要是针对刚进入这一领域的学习者和新手。为此，我们将努力为新研究人员和任何对这一领域感兴趣的人提供一个深度学习的基础和清晰的概念。

文章来源于AI算法修炼营 ，作者周威Encode 前面提到过Encode的过程是将ground-truth bounding box信息映射为类似网络输出的格式。这样可以加速求解损失函数的计算。我们知道在CornerNet中将检测框的左上角点和右下角点映射到heatmap上的过程，并不是简单的一一对应关系的（也就是将原图中的某关键点映射到heatmap中的某一关键点中），而是将原图中的某关键点（在CenterNet中为检测框的中点）映射到heatmap中的某一高斯核区域内。如下图4所示，为每个检测框中心点的高斯核区域显示。又或者借用https://zhuanlan.zhihu.com/p/66048276中的图，为某一中心点在heatmap的映射可视化。可以直观地感受其呈现二维高斯分布。那么根据获得的heatmap，我们可以将ground-truth bbox的偏移信息和宽高信息按照该映射关系，等同地映射到前面提到的Offset特征图和Height&Width特征图中，实现整个encode的过程 4.损失函数的设置 实现了encode过程后，设定损失函数就变得非常简单了。4.1 focal loss原论文中令为网络输出的heatmap，为ground_truth信息，即heatmap的标签/监督信息。类似CornerNet使用focal loss进行损失函数设定，实现过程如下这里的和为focal loss的超参数，N是图片中关键点的个数。4.2 offset loss为了弥补由于stride的原因造成的偏移误差，论文中设定了一个关于偏移的损失函数，使得训练后的网络能够有效计算offset值，从而修正检测框的位置。不妨这里引用一下论文中的offset loss公式。这里的p是检测框中心点（原图中）的真实坐标，p/R是理论上该中心点映射到特征图的准确位置区域（很可能是浮点型）。但是我们知道在特征图中，所有的点的位置都是整型的（即不存在某一个点的位置为（1.1，2.9）的），所以实际上，原图中坐标为p的点映射到特征图后的位置应该是是p向下取整的结果，所以这里就造成了误差了，那么这个误差就是公式中的是网络的offset输出特征图。那么这个指的是关键点实际落入的区域。说明该offset loss只关注在关键点区域的offset输出。

文章来源于AI算法修炼营 ，作者周威网络结构 顾名思义,CornerNet以检测框的两个角点为基础进行物体的检测,而CenterNet以检测框的中心为基础进行物体位置的检测.CenterNet和CornerNet的网络结构类似，如下为CornerNet的网络结构。由于CornerNet需要进行两个关键点检测(左上角点和右下角点)来判断物体的位置，所以共有两个大分支（每个大分支中又包含了三个小分支）。而 CenterNet只需要进行一个关键点的检测（中心点的检测）来判断物体的位置，所以只有一个大的分支，该分支包含了三个小分支（虽然这三个小分支和CornerNet的还是有区别的）。基于Hourglass backbone的CenterNet结构如下图所示该网络要比CornerNet更简单，而且细心的小伙伴们应该也发现了和CornerNet分支输出存在一定的异同之处，该网络输出分支分别为（1）HeatMap，大小为（W/4,H/4,80），输出不同类别（80个类别）物体中心点的位置（2） Offset，大小为（W/4,H/4,2），对HeatMap的输出进行精炼，提高定位准确度（3） Height&Width,大小为（W/4,H/4,2），预测以关键点为中心的检测框的宽高显然，（1）（2）在CornerNet中也出现过，但是Corner的另一个分支是输出每个被检测角点的embedding，即左上点的embedding和右上点的embedding距离足够近，则被认定为同一检测框的角点对。另外在CornerNet中还有一个创新点，为Corner Pooling的提出，在CenterNet中被剔除了。那么结合CenterNet的结构图可以将其分为以下几个部分（1）pre,通过一个步长为2的7x7卷积和步长为2的残差单元，将图片宽高压缩为原来的1/4（2）Hourglass Module 1,第一个沙漏型的卷积神经网络模块（3）joint，连接Hourglass Module 2和Hourglass Module 2（4）Hourglass Module 2,第二个沙漏型的卷积神经网络模块（5）Head，输出三个分支输出

第一个基于电子计算语音识别统出现在1952年，AT&T贝尔实验室开发了一款Audrey的语音识别系统，能够识别10个英文数字，正确率高达98％。 70年代开始出现了大规模的语音识别研究，但当时的技术还处于萌芽阶段，停留在对孤立词、小词汇量句子的识别上。 80年代是技术取得突破的时代，一个重要原因是**全球性的电传业务**积累了大量文本，这些文本可作为机读语料用于模型的训练和统计。研究的重点也逐渐转向大词汇量、非特定人的连续语音识别。那时最主要的变化来自用**基于统计的思路**替代传统的基于匹配的思路，其中的一个关键进展是隐马尔科夫模型(HMM)的理论和应用都趋于完善。工业界也出现了广泛的应用，德州仪器研发了名为Speak&Spell语音学习机，语音识别服务商SpeechWorks成立，美国国防部高级研究计划局（DARPA）也赞助支持了一系列语音相关的项目。 90年代是语音识别基本成熟的时期，主流的高斯混合模型GMM-HMM框架逐渐趋于稳定，但与实用还有一定距离，语音识别研究的进展也逐渐趋缓。由于80年代末90年代初神经网络技术的热潮，神经网络也被用于语音识别，提出了多层感知器一隐马尔科夫模型(MLP-HMM)混合模型。但是性能上无法超越GMMHMM框架。 突破的产生始于深度学习的出现。随着深度神经网络（DNN）被应用到语音的声学建模中，人们陆续在音素识别任务和大词汇量连续语音识别任务上取得突破。基于GMM-HMM的语音识别框架被基于DNN-HMM的语音识别系统所替代，而随着系统的持续改进，又出现了深层卷积神经网络和引人长短时记忆模块（LSTM）的循环神经网络(RNN)，识别效果得到了进一步提升，在许多（尤其是近场）语音识别任务上达到了可以进人人们日常生活的标准。于是我们看到以Apple Siri为首的智能语音助手、以Echo为首的智能硬件人口等等。而这些应用的普及，又进一步扩充了语料资源的收集渠道，为语言和声学模型的训练储备了丰富的燃料，使得构建大规模通用语言模型和声学模型成为可能。

即使神经网络的发展如日中天，浅层算法也在一些任务中占有一席之地。 1984年，Breiman和Friedman提出决策树算法，作为一个预测模型，代表的是对象属性与对象值之间的一种映射关系。1995年，Vapnik和提出支持向量机(SVM)，用一个分类超平面将样本分开从而达到分类效果。  这种监督式学习的方法，可广泛地应用于统计分类以及回归分析。鉴于SVM强大的理论地位和实证结果，**机器学习研究也自此分为神经网络和SVM两派**。1997年，Freund和Schapire提出了另一个坚实的ML模型AdaBoost，该算法最大的特点在于组合弱分类器形成强分类器，在脸部识别和检测方面应用很广。2001年，Breiman提出可以将多个决策树组合成为随机森林，它可以处理大量输人变量，学习过程快，准确度高。随着该方法的提出，SVM在许多之前由神网络占据自任务中获得了更好的效果，神经网络已无力与SVN竞争。之后虽然深度学习的兴起给神经网络带来了第二春，使其在图像、语音、NLP等领域都取得了领先成果，但这并不意味着其他机器学习流派的终结。 深度神经网络所需的训练成本、调参复杂度等问题仍备受诟病，SVM则因其简单性占据了一席之地，在文本处理、图像处理、网页搜索、金融征信等领域仍有着广泛应用。

从20 世纪40 年代起， 就有学者开始从事神经网络的研究：McCulloch 和Pitts 发布了A Logical Calculus of the ldeas lmma-nent in Nervous Activity， 被认为是神经网络的第一篇文章；神经心理学家Hebb 出版了The Organazation of behavior书， 在书中提出了被后人称为"Hebb 规则”的学习机制。 1. 第一个大突破出现于1958 年， Rosenblatt 在计算机上模拟实现了一种他发明的叫作“ 感知机” （ Perceptron) 的模型， 这个模型可以完成一些**简单的视觉处理任务**， 也是后来神经网络的雏形、支持向量机（ 一种快速可靠的分类算法） 的基础。一时间， 这种能够模拟人脑的算法得到了追捧， 国防部等政府机构纷纷开始赞助神经网络的研究,风光持续了十余年， 1969 年， Minsky 等人论证了感知机在决XOR （ 异或） 等基本逻辑问题时能力有限， 浇灭了人们对神经网络的热情， 原来的政府机构也逐渐停止资助， 直接造成了此后长达10 年的神经网络的“ 冷静时期” 。  期间， Werbos 在1974 年证明了在神经网络中多加一层， 并且利用“ 后向传播”（ Back-propagation) 算法可以有效解决XOR 问题， 但由于当时仍处于神经网络的低潮， 这一成果并没有得到太多关注。 2. 直到80年代， 神经网络才终于迎来复兴。物理学家Hopfield在1982 年和1984 年发表了两篇关于人工神经网络研究的论文，提出了一种新的神经网络， 可以解决一大类模式识别问题， 还可以给出一类组合优化问题的近似解。他的研究引起了巨大的反响， 人们重新认识到神经网络的威力以及付诸应用的现实性。1985 年， Rumelhart 、Hinton 等许多神经网络学者成功实现了**使用“后向传播”BP算法来训练神经网络**，并在很长一段时间内将BP作为神经网络训练的专用算法。在这之后，越来越多的研究成果开始涌现。1995年，YannLeCun等人受生物视觉模型的启发，改进了**卷积神经网络（Convolution Neural Network，CNN)**。这个网络模拟了视觉皮层中的细胞（有小部分细胞对特定部分的视觉区域敏感，个体神经细胞只有在特定方向的边缘存在时才能做出反应），以类似的方式计算机能够进行图像分类任务（通过寻找低层次的简单特征，如边缘和曲线，然后运用一系列的卷积层建立一个更抽象的概念），在手写识别等小规模问题上取得了当时的最好结果。2000年之后，gio等人开创了神经网络构建语言模型的先河。直到2001年，Hochreiter等人发现使用BP算法时，**在神经网络单元饱和之后会发生梯度损失**，即模型训练超过一定迭代次数后容易产生过拟合，就是训练集和测试集数据分布不一致（就好比上学考试的时候，有的人采取题海战术，把每道题目都背下来。但是题目稍微一变，他就不会做了。因为机器非常复杂地记住了每道题的做法，却没有抽象出通用的规则）。神经网络又一次被人们所遗弃。  3. 然而，神经网络并未就此沉寂，许多学者仍在坚持不懈地进行研究。2006年，Hinton和他的学生在Science杂志上发表了一篇文章，从此掀起了深度学习（Deep Learning)的浪潮。深度学习能发现大数据中的复杂结构，也因此大幅提升了神经网络的效果。2009年微软研究院和Hinton合作研究基于深度神经网络语音识别，使得相对误识别率降低25％。2012年，Hinton带领学生目前最大的图像数据库ImageNet上，对分类问题取得了惊人成果，将错误率由26％降低至15%。 再往后的一个标志性时间是2014年，lan Goodfellow等学者发表论文提出题目中的“生成对抗网络"，标志着GANs的诞生，并自2016年开始成为学界、业界炙手可热的概念，它为创建无监督学习模型提供了强有力的算法框架。时至今日，神经网络经历了数次潮起潮落后，又一次站在了风口浪尖，在图像识别、语音识别、机器翻译等领域，都随处可见它的身影。

数字图像是一个二维的数组，对数字图像做卷积操作其实就是利用卷积核在图像上滑动，将图像点上的像素值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素点的像素值，并最终滑动完所有图像的过程。 通常，卷积核的宽度和高度一般是奇数，这样才有中心的像素点，所以卷积核一般都是3x3，5x5或者7x7等。$n×n$的卷积核的半径为$(n-1)/2$，例如5x5大小的卷积核的半径就是2。 函数介绍：python中的skimage图像处理模块，该函数可以方便的为图像添加各种类型的噪声。 `skimage.util.random_noise(image, mode, seed=None, clip=True, **kwargs)` 椒盐噪声也称为脉冲噪声，是图像中常常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。产生具有椒盐噪声的图像 from skimage import util import cv2 if __name__ == "__main__": img = cv2.imread("D:\\yt\\pictures2\\wink.jpg") #产生椒盐噪声，处理后图像变为float64格式 noise_sp_img = util.random_noise(img, mode="s&p") #显示图像 cv2.imshow("origin image",img) cv2.imshow("sp noise",noise_sp_img) #将图像转换为uint8格式，否则保存后是全黑的。 noise_sp_img = cv2.normalize(noise_sp_img, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U) #储存图像 cv2.imwrite("D:\\yt\\pictures2\\sp_noise.jpg",noise_sp_img) cv2.waitKey(0) cv2.destroyAllWindows() 效果：左边为原图，右边加入了椒盐噪声  高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。 高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯噪声是与光强没有关系的噪声，无论像素值是多少，噪声的平均水平（一般是0）不变。

KNN是什么？KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。那么K值有什么影响？K 值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样 KNN 分类就会产生过拟合。K 值比较大，相当于距离过远的点也会对未知物体的分类产生影响，虽然这种情况的好处是鲁棒性强，但是不足也很明显，会产生欠拟合情况，也就是没有把未分类物体真正分类出来。接下来让我们用实例来演算KNN算法使用下表给出的样本数据，采用KNN算法对元组<陶陶，M，1.86>进行分类，只用身高参与距离计算，K=3序号姓名性别身高类别1张红F1.6Short2王帅M2Tall3马华F1.65Medium4刘晓F1.75Tall5高源F1.5Short6刘海M1.75Medium7赵璐F1.55Short8郭好M1.7Short9李汉M1.95Tall10刘军M2.0Tall只用高度参与距离计算， k=3。跟踪 KNN算法执行如下：（1）对前 3个记录， N={<张红，F， 1.60>，<王帅，M，2>，<马华，F，1.65>}（2）对第4个记录 =<刘晓，F，1.75>，相比测试记录<陶陶，M，1.86>，需要替换掉N中和测试记录差别最大的< 张红，F，1.6>，得到 N={<刘晓，F，1.75>，<王帅，M，2>，<马华，F，1.65>}。（3）第5个记录 =<高源，F，1.50>，没变化（4）对第6个记录 =<刘海，M，1.75>，需要替换掉<马华，F，1.65>，得到N ={<刘晓，F，1.75>，<王帅，M，2>，<刘海，M，1.75>}。（5）对第7、8个记录，没变化。（6）对第9个记录 =<李汉，M，1.95>，需要替换掉<王帅，M，2>，得到N ={<刘晓，F，1.75>，<李汉，M，1.95>，<刘海，M，1.75>}。（7）对第10个记录 ，没变化。（8）最后输出N={<刘晓，F，1.75>，<李汉，M，1.95>，<刘海，M，1.75>}，这三项中两个属于Tall，一个属于Medium，所以<陶陶，M，1.86>属于Tall。

    本文的作者是 Twitter 首席科学家、DeepMind 人工智能教授 Michael Bronstein。    对称，无论从广义还是狭义的角度讲，都是人类一直以来试图理解和创造秩序与美的一种观念。——Hermann WeylHermann Weyl 这种诗意的描述强调了对称性在科学中的基石作用。Felix Klein 在 1872 年的「Erlangen Programme」中用对称群表征几何。这不仅是数学上的一个突破，即统一了「几何大家庭」，还推进了现代物理理论的发展，这些理论可以完全从对称性的第一原理推导出来。几何深度学习领域也出现了类似的原则，通过群不变性和等变性能够推导出大多数流行神经网络架构的通用蓝图。图神经网络可以被认为是几何深度学习蓝图的一个特例，其构建模块是具有对称群的域（在这种情况下是具有置换群的图）、域上的信号（节点特征）和此类信号的群等变函数（消息传递）。几何深度学习蓝图可以应用于不同的领域，例如 grid、mesh 或图 (graph)。然而，前两者具有明确的连续形式的类比对象，grid 可以被认为是欧几里得空间或更一般的均匀空间（如球体）的离散化，mesh 则是二维流形的常见离散化），图却没有直接的连续形式的类比。这种不可类比有点令人不安，因此我们决定仔细研究用于图学习的连续模型。图神经网络扩散。图神经网络 (GNN) 通过在图上执行某种形式的消息传递来学习。其中，特征通过边从一个节点传递到另一个节点。这种机制与图上的扩散过程有关，可以用称为「扩散方程」的偏微分方程 (PDE) 形式表示。我们最近在一篇论文中展示了这种具有非线性可学习扩散函数的 PDE 的离散化（称为 GRAND），泛化了一大类 GNN 架构，例如图注意力网络（GAT。PDE 的思维方式提供了多种优势，例如可以利用兼具稳定性和收敛性的高效数值求解器（例如隐式、多步、自适应和 multigrid 方案）。其中一些求解器在流行的 GNN 架构中没有直接的类比，可能会促成一些新型图神经网络设计。由于我们考虑的扩散 PDE 可以看作是一些相关能量的梯度流 ，因此这种架构可能比典型架构更易于解释。同时，虽然 GRAND 模型提供连续时间来代替传统 GNN 中的层，但方程的空间部分仍然是离散的，并且依赖于输入图。重要的是，在这个扩散模型中，域（图）是固定的，其上定义的某些属性会演化。微分几何中常用的一个不同概念是几何流（geometric flow），域本身的属性不断演化。我的博士生导师 Ron Kimmel 等研究者 20 世纪 90 年代在图像处理领域就采用了这个想法。他们将图像建模为嵌入在联合位置和颜色空间中的流形，并通过 PDE 对它们进行推导演化，以最小化嵌入的谐波能量。这样的偏微分方程称为贝尔特拉米流（Beltrami flow），具有各向同性非欧几里得扩散的形式，并产生保边图像去噪。我们将这种范式应用于「Beltrami 神经扩散（BLEND）」框架中的图。图的节点现在由位置坐标和特征坐标来表征，这两个坐标都是经过演化的，并且都决定了扩散性。在这种思维模式下，图本身就变成了一个辅助角色：它可以从位置坐标生成（例如作为 k - 最近邻图）并在整个演化过程中重新连接。下图说明了这种同时演化的过程。转发自：https://www.jiqizhixin.com/articles/2022-03-27-2