使用Dropout训练时的随机性不是这个方法成功的必要条件。它仅仅是近似所有子模型总和的一个方法。Wang and Manning (2013) 导出了近似这种边缘分布的解析解。他们的近似被称为快速 Dropout（fast dropout），减小梯度计算中的随机性而获得更快的收敛速度。这种方法也可以在测试时应用，能够比权重比例推断规则更合理地（但计算也更昂贵）近似所有子网络的平均。快速 Dropout在小神经网络上的性能几乎与标准的Dropout相当，但在大问题上尚未产生显著改善或尚未应用。随机性对实现Dropout的正则化效果不是必要的，同时也不是充分的。为了证明这一点，Warde-Farley et al. (2014) 使用一种被称为 Dropout Boosting（Dropout Boosting）的方法设计了一个对照实验，具有与传统Dropout方法完全相同的噪声掩码，但缺乏正则化效果。Dropout Boosting训练整个集成以最大化训练集上的似然。从传统Dropout类似于Bagging的角度来看，这种方式类似于Boosting。如预期一样，和单一模型训练整个网络相比，Dropout Boosting几乎没有正则化效果。这表明，使用Bagging解释Dropout比使用稳健性噪声解释Dropout更好。只有当随机抽样的集成成员相互独立地训练好后，才能达到Bagging集成的正则化效果。

Dropout的另一个显著优点是不怎么限制适用的模型或训练过程。几乎在所有使用分布式表示且可以用随机梯度下降训练的模型上都表现很好。包括前馈神经网络、概率模型，如受限玻尔兹曼机(Srivastava et al., 2014)，以及循环神经网络(Bayer and Osendorfer, 2014; Pascanu et al., 2014a)。许多效果差不多的其他正则化策略对模型结构的限制更严格。虽然Dropout在特定模型上每一步的代价是微不足道的，但在一个完整的系统上使用Dropout的代价可能非常显著。因为Dropout是一个正则化技术，它减少了模型的有效容量。为了抵消这种影响，我们必须增大模型规模。不出意外的话，使用Dropout时最佳验证集的误差会低很多，但这是以更大的模型和更多训练算法的迭代次数为代价换来的。对于非常大的数据集，正则化带来的泛化误差减少得很小。在这些情况下，使用Dropout和更大模型的计算代价可能超过正则化带来的好处。只有极少的训练样本可用时，Dropout不会很有效。在只有不到 5000 的样本的Alternative Splicing数据集上 (Xiong et al., 2011)，贝叶斯神经网络 (Neal, 1996)比Dropout表现得更好 (Srivastava et al., 2014)。当有其他未分类的数据可用时，无监督特征学习也比Dropout更有优势。

涉及Dropout的一个重要观点 (Hinton et al., 2012b) 是，我们可以通过评估模型中 p(y | x) 来近似 pensemble：该模型具有所有单元，但我们将模型的权重修改为和单元 i 的概率的乘积。这个修改的动机是得到从该单元输出的正确期望值。我们把这种方法称为权重比例推断规则（weight scaling inference rule）。目前还没有在深度非线性网络上对这种近似推断规则的准确性作任何理论分析，但经验上表现得很好。然后像平常一样使用模型。实现相同结果的另一种方法是在训练期间将单元的状态乘 2。无论哪种方式，我们的目标是确保在测试时一个单元的期望总输入与在训练时该单元的期望总输入是大致相同的（即使近半单位在训练时丢失）。

在Bagging的情况下，每一个模型在其相应训练集上训练到收敛。在Dropout的情况下，通常大部分模型都没有显式地被训练，因为通常父神经网络会很大，以致于到宇宙毁灭都不可能采样完所有的子网络。取而代之的是，在单个步骤中我们训练一小部分的子网络，参数共享会使得剩余的子网络也能有好的参数设定。这些是仅有的区别。除了这些，Dropout与Bagging算法一样。例如，每个子网络中遇到的训练集确实是替换采样的原始训练集的一个子集。Bagging集成必须根据所有成员的累积投票做一个预测。在这种背景下，我们将这个过程称为推断（inference）。目前为止，我们在介绍Bagging和Dropout时没有要求模型具有明确的概率。现在，我们假定该模型的作用是输出一个概率分布。在Bagging的情况下，每个模型 i 产生一个概率分布 p(i)(y | x)。集成的预测由这些分布的算术平均值给出。

回想一下Bagging学习，我们定义 k 个不同的模型，从训练集有替换采样构造k 个不同的数据集，然后在训练集 i 上训练模型 i。Dropout的目标是在指数级数量的神经网络上近似这个过程。具体来说，在训练中使用Dropout时，我们会使用基于小批量的学习算法和较小的步长，如梯度下降等。我们每次在小批量中加载一个样本，然后随机抽样应用于网络中所有输入和隐藏单元的不同二值掩码。对于每个单元，掩码是独立采样的。掩码值为 1 的采样概率（导致包含一个单元）是训练开始前一个固定的超参数。它不是模型当前参数值或输入样本的函数。通常在每一个小批量训练的神经网络中，一个输入单元被包括的概率为 0.8，一个隐藏单元被包括的概率为 0.5。然后，我们运行和之前一样的前向传播、反向传播以及学习更新。说明了在Dropout下的前向传播。

Bagging（bootstrap aggregating）是通过结合几个模型降低泛化误差的技术(Breiman, 1994)。主要想法是分别训练几个不同的模型，然后让所有模型表决测试样例的输出。这是机器学习中常规策略的一个例子，被称为模型平均（model averaging）。采用这种策略的技术被称为集成方法。模型平均（model averaging）奏效的原因是不同的模型通常不会在测试集上产生完全相同的误差。

提前终止为何具有正则化效果: 目前为止，我们已经声明提前终止是一种正则化策略，但我们只通过展示验证集误差的学习曲线是一个 U 型曲线来支持这种说法。提前终止正则化模型的真正机制是什么呢？Bishop (1995a) 和 Sjöberg and Ljung (1995) 认为提前终止可以将优化过程的参数空间限制在初始参数值 θ0 的小邻域内。更具体地，想象用学习率 ϵ 进行 τ 个优化步骤（对应于 τ 个训练迭代）。我们可以将 ϵτ 作为有效容量的度量。假设梯度有界，限制迭代的次数和学习速率能够限制从θ0 到达的参数空间的大小，在这个意义上，ϵτ 的效果就好像是权重衰减系数的倒数。事实上，在二次误差的简单线性模型和简单的梯度下降情况下，我们可以展示提前终止相当于 L2正则化。

另一个策略是保持从第一轮训练获得的参数，然后使用全部的数据继续训练。在这个阶段，已经没有验证集指导我们需要在训练多少步后终止。相反，我们可以监控验证集的平均损失函数，并继续训练，直到它低于提前终止过程终止时的目标值。此策略避免了重新训练模型的高成本，但表现并没有那么好。例如，验证集的目标不一定能达到之前的目标值，所以这种策略甚至不能保证终止。我们会在算法中更正式地介绍这个过程。提前终止对减少训练过程的计算成本也是有用的。除了由于限制训练的迭代次数而明显减少的计算成本，还带来了正则化的益处（不需要添加惩罚项的代价函数或计算这种附加项的梯度）。

另一个提前终止的额外代价是需要保持最佳的参数副本。这种代价一般是可忽略的，因为可以将它储存在较慢较大的存储器上（例如，在 GPU 内存中训练，但将最佳参数存储在主存储器或磁盘驱动器上）。由于最佳参数的写入很少发生而且从不在训练过程中读取，这些偶发的慢写入对总训练时间的影响不大。提前终止是一种非常不显眼的正则化形式，它几乎不需要改变基本训练过程、目标函数或一组允许的参数值。这意味着，无需破坏学习动态就能很容易地使用提前终止。相对于权重衰减，必须小心不能使用太多的权重衰减，以防网络陷入不良局部极小点(对应于病态的小权重)。提前终止可单独使用或与其他的正则化策略结合使用。即使为鼓励更好泛化，使用正则化策略改进目标函数，在训练目标的局部极小点达到最好泛化也是非常罕见的。提前终止需要验证集，这意味着某些训练数据不能被馈送到模型。为了更好地利用这一额外的数据，我们可以在完成提前终止的首次训练之后，进行额外的训练。在第二轮额外的训练步骤中，所有的训练数据都被包括在内。有两个基本的策略都可以用于第二轮训练过程。

这个超参数在验证集上具有 U 型性能曲线。很多控制模型容量的超参数在验证集上都是这样的 U 型性能曲线。在提前终止的情况下，我们通过拟合训练集的步数来控制模型的有效容量。大多数超参数的选择必须使用高代价的猜测和检查过程，我们需要在训练开始时猜测一个超参数，然后运行几个步骤检查它的训练效果。‘‘训练时间’’ 是唯一只要跑一次训练就能尝试很多值的超参数。通过提前终止自动选择超参数的唯一显著的代价是训练期间要定期评估验证集。在理想情况下，这可以并行在与主训练过程分离的机器上，或独立的 CPU，或独立的 GPU 上完成。如果没有这些额外的资源，可以使用比训练集小的验证集或较不频繁地评估验证集来减小评估代价，较粗略地估算取得最佳的训练时间。

在比较机器学习基准测试的结果时，考虑其采取的数据集增强是很重要的。通常情况下，人工设计的数据集增强方案可以大大减少机器学习技术的泛化误差。将一个机器学习算法的性能与另一个进行对比时，对照实验是必要的。在比较机器学习算法 A 和机器学习算法 B 时，应该确保这两个算法使用同一人工设计的数据集增强方案进行评估。假设算法 A 在没有数据集增强时表现不佳，而 B 结合大量人工转换的数据后表现良好。在这样的情况下，很可能是合成转化引起了性能改进，而不是机器学习算法 B 比算法 A 更好。有时候，确定实验是否已经适当控制需要主观判断。例如，向输入注入噪声的机器学习算法是执行数据集增强的一种形式。通常，普适操作（例如，向输入添加高斯噪声）被认为是机器学习算法的一部分，而特定于一个应用领域（如随机地裁剪图像）的操作被认为是独立的预处理步骤。

让机器学习模型泛化得更好的最好办法是使用更多的数据进行训练。当然，在实践中，我们拥有的数据量是很有限的。解决这个问题的一种方法是创建假数据并添加到训练集中。对于一些机器学习任务，创建新的假数据相当简单。对分类来说这种方法是最简单的。分类器需要一个复杂的高维输入 x，并用单个类别标识 y 概括 x。这意味着分类面临的一个主要任务是要对各种各样的变换保持不变。我们可以轻易通过转换训练集中的 x 来生成新的 (x, y) 对。这种方法对于其他许多任务来说并不那么容易。例如，除非我们已经解决了密度估计问题，否则在密度估计任务中生成新的假数据是很困难的。数据集增强对一个具体的分类问题来说是特别有效的方法：对象识别。图像是高维的并包括各种巨大的变化因素，其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术（第九章）对部分平移保持不变，沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。许多其他操作如旋转图像或缩放图像也已被证明非常有效。

在某些情况下，为了正确定义机器学习问题，正则化是必要的。机器学习中许多线性模型，包括线性回归和 PCA，都依赖于求逆矩阵 X⊤X。只要 X⊤X 是奇异的，这些方法就会失效。当数据生成分布在一些方向上确实没有差异时，或因为例子较少（即相对输入特征（X 的列）来说）而在一些方向上没有观察到方差时，这个矩阵就是奇异的。在这种情况下，正则化的许多形式对应求逆 X⊤X + αI。这个正则化矩阵可以保证是可逆的。相关矩阵可逆时，这些线性问题有闭式解。没有闭式解的问题也可能是欠定的。一个例子是应用于线性可分问题的逻辑回归。如果权重向量 w 能够实现完美分类，那么 2w 也会以较高似然实现完美分类。类似随机梯度下降的迭代优化算法将持续增加 w 的大小，理论上永远不会停止。在实践中，数值实现的梯度下降最终会达到导致数值溢出的超大权重，此时的行为将取决于程序员如何处理这些不是真正数字的值。大多数形式的正则化能够保证应用于欠定问题的迭代方法收敛。例如，当似然的斜率等于权重衰减的系数时，权重衰减将阻止梯度下降继续增加权重的大小。使用正则化解决欠定问题的想法超出了机器学习的范畴。同样的想法在几个基本线性代数问题中也非常有用。

来源：读特 近日，2021全球人工智能技术大会在杭州成功举办，在计算机视觉论坛上，腾讯优图实验室副总经理黄飞跃正式宣布，腾讯优图联合厦门大学人工智能研究院正式发布《2021十大人工智能趋势》（以下简称趋势报告），该趋势报告基于腾讯优图和厦门大学人工智能研究院长期对人工智能尤其是计算机视觉的研究洞察，提出3D视觉技术、数字内容产业、AI深度学习算法、人工智能内核芯片等方向的前沿预测。 趋势报告指出，自动机器学习的自动化程度与可解释性得到进一步提升，AutoML整个体系架构的日趋完善，将推动新一代普适性AutoML平台的建设，并实现机器学习的大众化。过去几年，深度学习所取得的巨大成功离不开大规模标注的数据集，但随着业务规模的不断扩大，数据标注成本成为制约企业降本增效的主要因素之一，无监督、弱监督学习将成为企业降本增效的新利器。 大会上，黄飞跃表示，随着算法和硬件能力的不断升级，3D视觉智能技术将推动商业发展和个人消费升级；深度学习迈向多模态融合，边缘计算与人工智能加速融合，AI算法的公平性研究将推动AI应用走向普惠。 以下为《2021十大人工智能趋势》详细内容： **1、自动机器学习的自动化程度与可解释性得到进一步提升** 自动机器学习（AutoML）目前已经在多个领域中初步实现对机器学习方法的自动化设计过程，但其仍然存在自动化程度不足，可解释性不强的问题。如神经网络结构搜索（NAS）在一些应用领域中取得了可以与人类机器学习专家可比较的水平，然而现有的NAS方法实际需要基于人工设计的神经网络基础结构。此外，AutoML的自动化过程往往被认为是一种 “黑箱”，缺乏可解释性。今后自动化程度及可解释性仍然是AutoML研究的热点问题，通过提高AutoML中的超参数选择，特征表示与机器学习算法的确定和神经网络结构搜索的自动化程度及可解释性，AutoML将实现对机器学习涉及的每个环节的真正的自动化设计过程。AutoML整个体系架构的日趋完善，将推动新一代普适性AutoML平台的建设，并实现机器学习的大众化。 **2、无监督/弱监督学习逐渐成为企业降本增效新利器** 在过去的几年中，深度学习所取得的巨大成功离不开大规模标注的数据集。大规模标注的背后，是传统的监督学习对于每一个训练样本完备标签的要求。随着业务规模的不断扩大，越来越多的企业发现数据的标注开始成为抬高交付成本、制约效果提升的主要因素之一。在此背景下，无监督学习和弱监督学习通过不使用标签或减少对标签数量、质量的要求来迅速降低深度模型对于数据的标注需求，使得原本无法利用的数据如今都可以加入到模型的训练中去，进而由量变引发质变。在NLP领域，基于Transformer的无监督训练模型已持续霸榜各种NLP任务数据集；在CV领域，最新的MPL方法也通过额外的无标注数据集首次将ImageNet的Top-1分类准确率提升到了90%+的水平。可以预见的是，将有越来越多的人工智能企业会面临从前期的迅速扩张到稳定期高效化运作的新阶段，而在这个过程中，无监督/弱监督学习无疑将成为他们过渡到这个阶段的重要手段之一。 **3、3D视觉技术助力产业消费升级，淡化虚实边界** 作为视觉AI领域多年热点研究方向之一，3D视觉技术的核心任务是对三维空间、物体及环境进行真实还原与重建。随着相关算法与硬件计算能力的不断升级， 3D视觉算法效果得到大幅提升，三维几何重建更加精细，表面纹理重建更加清晰，带来更加逼真的视觉观感。近年来，诸多3D视觉研究成果为低成本高质量的3D内容生成提供了良好技术支撑，基于3D虚拟形象的舞台演出、直播带货、教育互动等应用层出不穷，成为AI内容产业全新发展方向。以此为基础，结合5G时代流量带宽的全面升级，带有交互功能的3D虚拟现实、增强现实、混合现实的3D视觉应用将用户体验向真实与虚拟的完美融合进一步迈进。用户会因为虚拟偶像生动自然的舞台表演进行打赏，会由于虚拟主播“卖力”地带货促销而下单购买，而线上平台则依靠3D视觉技术大大降低内容制作和IP运营成本，最终带来社会商业发展模式与个人消费习惯的颠覆与变革。展望未来，3D视觉技术将持续在包括游戏娱乐、影视制作、电商直播、医疗整形等众多领域广泛应用，虚拟与现实的边界将不断淡化。 **4、多模态融合加速AI认知升维** 深度学习在多个人工智能的细分领域（如视觉，自然语言处理等）已日趋成熟化和规模化，然而要真正实现通用人工智能，必然要将这些细分领域各自所针对的信息模态整合利用，即多模态融合。多模态融合的目标是建立在图像、文字、语音等的多模态信息识别的基础上，实现不同模态信息的统一表征框架，从而起到1+1>2的作用。典型的场景之一是通过图文语音联合识别，实现对隐晦和暗示性，招嫖广告，儿童不良表情包等图文混合内容识别，支持审核业务深度打击不良内容。除了图文融合等跨域模态融合，同域内的不同信息维度同样可以融合，如随着深度生成技术的发展，当前的人脸识别除了传统的RGB图外，还需要融合深度图、红外图等信息来更好的防御越来越多元化的人脸伪造攻击，实现更强的人脸防御。随着人工智能认知能力的提升，多模态融合也将会从图文等实质性模态，逐渐拓展到如物理关系，逻辑推断，因果分析等知识性模态，从感知智能迈向认知智能。 **5、人工智能推动数字内容生成向新范式演进** 随着数字文化产业的蓬勃发展，尤其是二次元文化渗透出圈，数字内容产业面临新一轮的需求升级，伴随着5G商业化进程的不断加深，多元化、精品化的优质数字内容将面临更快的消费节奏，与此同时，供给侧仍存在巨大的产能缺口，数字内容产业正处于劳动密集型向科技密集型的转型阶段。AI与数字内容产业的深度耦合，将有希望为行业释放更大的科技势能，以GPT-3、DALL-E为代表的AI技术，已在文本、语音、图像、视频等内容生成中取得了令人惊艳的结果，然而在精确性、泛化性、合理性方面仍然面临挑战，目前的前沿研究一方面探索从模型结构（自动化搜索等），训练形式（无监督对比学习等）等方面提升精度效果；另一方面引入知识图谱领域知识，向机器介绍常识和其他特定领域的知识进而提升常识推理效果。伴随着技术的持续升级演进，我们预见AI将逐步在数字内容生成领域释放引擎级的影响力，在内容、平台、技术多方合力引导下，构筑数字内容生成新范式。 **6、边缘计算与人工智能加速融合** 近年来，随着深度学习算法的迅猛发展，计算机视觉、自然语言处理、搜索推荐广告等各种领域的任务性能得到不断刷新。同时，随着边缘智能设备的广泛普及和硬件改进，基于深度学习的人工智能技术在边缘端应用落地成为了可能。然而，在边缘端上部署深度学习模型具有很大的难度。其主要挑战表现在，边缘端等智能设备在计算、存储、功耗等方面有很大的限制。因此，边缘端模型必须满足低计算复杂度、小模型尺寸、低模型功耗等要求。未来将趋向硬件友好型的剪枝加速。根据边缘硬件的CPU类型来设计特定的网络稀疏化模式，适配不同硬件的模型压缩与优化加速技术是未来研究热点趋势。其次，基于自动化的1-bit量化方法有上百倍的理论性能提升，因此也是未来研究热点趋势。 **7、人工智能内核芯片向类脑神经计算方向演进** 人工智能内核芯片已经成为人工智能时代的关键技术之一，在某些领域中的具体任务上人工智能内核芯片能够实现超越人脑的表现，但针对人工智能内核芯片的研究依然落后于人工智能的发展，人工智能内核芯片无法同时满足多种人工智能算法的加速要求，并且面对各种新型人工智能技术不断涌现的局面，人工智能内核芯片与人脑相比其自我学习能力与可扩展性存在明显不足。未来人工智能内核芯片将在结构上更接近人脑的神经构造，获得类神经计算的能力，通过不断整合最新的人工智能技术，定制型人工智能内核芯片将逐渐演变为通用型人工智能内核芯片，在提高自我学习能力的同时，实现对不同人工智能技术在不同任务上的加速计算，从而推动人工智能内核芯片实现真正的落地。 **8、算法公平性研究推动AI应用走向普惠无偏见** 由于数据偏差、算法本身缺陷、甚至是人为偏见的存在，现有AI算法普遍存在对于某些特定人群效果不公平的"歧视性现象"。随着AI算法在社会各行业的广泛落地应用，作为辅助人们决策的重要工具，算法的公平性问题正受到越来越多的关注。过去的几年业界已在逐步探索一些针对性的解决方案，包括构建更公正的数据集、算法训练中引入公平性约束损失、提高机器学习算法的可解释性等。但就整体而言，当前公平性研究在精度和公平性的平衡、不同场景的泛化性有效性等问题上正处于方兴未艾的阶段。随着欧盟发布《人工智能白皮书》《人工智能伦理:问题和倡议》，中国发布《协同落实人工智能治理原则的行动建议》，人工智能的治理正成为一个愈加热门的议题，而算法的公平性正是人工智能治理的关键问题。我们预见算法公平性的研究将持续深化，在人脸识别等最广泛的AI应用领域取得突破，为不同人群带来更加普惠无偏见的效果。 **9、隐私保护AI落地实用帮助算法可持续进化** 人工智能和机器学习算法的广泛应用，在为人们提供便利的同时，也带来了极大的隐私泄露风险。这种隐私泄露包括用户数据在授权范围以外被处理共享、机器学习算法训练后存在数据记忆等现象。AI算法开发中的数据隐私保护问题受到的关注以及监管日益增长，美国于2020年生效《加利福利亚消费者隐私法案》，中国于2020年公布《个人信息保护法(草案)》。针对机器学习中上述隐私保护问题，研究工作近年来逐步深入走向成熟，发展出了数据匿名化、联邦学习、差分隐私等一系列方法。我们预见能够保护用户数据隐私的更加灵活高效的AI学习方法将在金融、医疗、社交等场景实用化落地，消减用户的隐私担忧，帮助AI算法在场景中可持续地进化。 **10、人工智能技术向安全智能方向迈进** 随着人工智能技术在各行各业的广泛应用，滥用或恶意破坏人工智能系统将会给社会带来巨大的负面影响。近年来算法后门攻击、对抗样本攻击、模型窃取攻击等针对人工智能算法的攻击技术持续发展，通过篡改构造特殊数据诱骗人工智能应用产生不可信的错误结果，带来了更大的算法安全风险，因此保障人工智能应用安全可靠的需求日渐迫切。未来人工智能技术将向着安全智能方向持续演化，一方面从算法的可解释性入手提升模型的鲁棒性，另一方面化被动为主动，通过主动安全检测机制对各类攻击进行侦测与拦截，最终实现人工智能可用性与可信性双轨并重的现实需求，推动人工智能技术在更广泛领域的安全落地。 作为腾讯旗下顶级的人工智能实验室，腾讯优图始终专注基础研究、产业落地两条腿走路的发展战略，通过腾讯云持续输出顶尖的视觉AI能力。目前，优图实验室已拥有超过1000余项AI相关国内外专利，300余篇论文被CVPR、AAAI、ICCV等国际顶级AI会议收录，输出超过30个行业解决方案，在推动产业互联网发展中提供源源不断的动力。 （原标题《腾讯优图联合厦大发布2021十大人工智能趋势：AI与边缘计算加速融合，AI应用走向普惠》） （作者：深圳特区报记者 周雨萌 文/图)

尊敬的沙箱实验室用户：您好！因产品功能特性更新，《使用MindSpore开发训练模型识别手写数字》实验将于2021年8月6日下线优化，预计将于2021年8月31日重新上线，届时请您关注，给您造成不便，请谅解。 对此，我们将采取以下措施：1．暂时关闭该实验入口，此前所进行该实验的记录及实验报告等信息可在【开发者个人中心】-【我的实验】中进行查看；2．对于曾体验该实验的用户，若您上次结束实验时有剩余实验时间，我们将保留您的剩余实验时间，可在重新上线后使用剩余实验时间进行实验；如您有任何问题，可随时通过工单或者服务热线（+86-4000-955-988 ）与我们联系。感谢您对华为云培训中心沙箱实验室的支持！  发布日期：2021年8月5日