• [其他] 深度学习之噪声鲁棒性
    作为数据集增强策略。对于某些模型而言,向输入添加方差极小的噪声等价于对权重施加范数惩罚 (Bishop, 1995a,b)。在一般情况下,噪声注入远比简单地收缩参数强大,特别是噪声被添加到隐藏单元时会更加强大。向隐藏单元添加噪声是值得单独讨论重要的话题; Dropout 算法是这种做法的主要发展方向。另一种正则化模型的噪声使用方式是将其加到的权重。这项技术主要用于循环神经网络 (Jim et al., 1996; Graves, 2011)。这可以被解释为关于权重的贝叶斯推断的随机实现。贝叶斯学习过程将权重视为不确定的,并且可以通过概率分布表示这种不确定性。向权重添加噪声是反映这种不确定性的一种实用的随机方法。
  • [其他] 深度学习之数据集增强的作用
    在比较机器学习基准测试的结果时,考虑其采取的数据集增强是很重要的。通常情况下,人工设计的数据集增强方案可以大大减少机器学习技术的泛化误差。将一个机器学习算法的性能与另一个进行对比时,对照实验是必要的。在比较机器学习算法 A 和机器学习算法 B 时,应该确保这两个算法使用同一人工设计的数据集增强方案进行评估。假设算法 A 在没有数据集增强时表现不佳,而 B 结合大量人工转换的数据后表现良好。在这样的情况下,很可能是合成转化引起了性能改进,而不是机器学习算法 B 比算法 A 更好。有时候,确定实验是否已经适当控制需要主观判断。例如,向输入注入噪声的机器学习算法是执行数据集增强的一种形式。通常,普适操作(例如,向输入添加高斯噪声)被认为是机器学习算法的一部分,而特定于一个应用领域(如随机地裁剪图像)的操作被认为是独立的预处理步骤。
  • [其他] 深度学习之语音识别
    我们必须要小心,不能使用会改变类别的转换。例如,光学字符识别任务需要认识到 “b’’ 和 “d’’ 以及 “6’’ 和 “9’’ 的区别,所以对这些任务来说,水平翻转和旋转180◦ 并不是合适的数据集增强方式。能保持我们希望的分类不变,但不容易执行的转换也是存在的。例如,平面外绕轴转动难以通过简单的几何运算在输入像素上实现。数据集增强对语音识别任务也是有效的 (Jaitly and Hinton, 2013)。在神经网络的输入层注入噪声 (Sietsma and Dow, 1991) 也可以被看作是数据增强的一种方式。对于许多分类甚至一些回归任务而言,即使小的随机噪声被加到输入,任务仍应该是能够被解决的。然而,神经网络被证明对噪声不是非常健壮 (Tang and Eliasmith, 2010)。改善神经网络健壮性的方法之一是简单地将随机噪声添加到输入再进行训练。输入噪声注入是一些无监督学习算法的一部分,如去噪自编码器(Vincent et al., 2008a)。向隐藏单元施加噪声也是可行的,这可以被看作在多个抽象层上进行的数据集增强。Poole et al. (2014) 最近表明,噪声的幅度被细心调整后,该方法是非常高效的。我们将 节介绍一个强大的正则化策略 Dropout,该策略可以被看作是通过与噪声相乘构建新输入的过程。
  • [其他] 深度学习之数据集增强
    让机器学习模型泛化得更好的最好办法是使用更多的数据进行训练。当然,在实践中,我们拥有的数据量是很有限的。解决这个问题的一种方法是创建假数据并添加到训练集中。对于一些机器学习任务,创建新的假数据相当简单。对分类来说这种方法是最简单的。分类器需要一个复杂的高维输入 x,并用单个类别标识 y 概括 x。这意味着分类面临的一个主要任务是要对各种各样的变换保持不变。我们可以轻易通过转换训练集中的 x 来生成新的 (x, y) 对。这种方法对于其他许多任务来说并不那么容易。例如,除非我们已经解决了密度估计问题,否则在密度估计任务中生成新的假数据是很困难的。数据集增强对一个具体的分类问题来说是特别有效的方法:对象识别。图像是高维的并包括各种巨大的变化因素,其中有许多可以轻易地模拟。即使模型已使用卷积和池化技术(第九章)对部分平移保持不变,沿训练图像每个方向平移几个像素的操作通常可以大大改善泛化。许多其他操作如旋转图像或缩放图像也已被证明非常有效。
  • [其他] 深度学习之正则化和欠约束问题
    在某些情况下,为了正确定义机器学习问题,正则化是必要的。机器学习中许多线性模型,包括线性回归和 PCA,都依赖于求逆矩阵 X⊤X。只要 X⊤X 是奇异的,这些方法就会失效。当数据生成分布在一些方向上确实没有差异时,或因为例子较少(即相对输入特征(X 的列)来说)而在一些方向上没有观察到方差时,这个矩阵就是奇异的。在这种情况下,正则化的许多形式对应求逆 X⊤X + αI。这个正则化矩阵可以保证是可逆的。相关矩阵可逆时,这些线性问题有闭式解。没有闭式解的问题也可能是欠定的。一个例子是应用于线性可分问题的逻辑回归。如果权重向量 w 能够实现完美分类,那么 2w 也会以较高似然实现完美分类。类似随机梯度下降的迭代优化算法将持续增加 w 的大小,理论上永远不会停止。在实践中,数值实现的梯度下降最终会达到导致数值溢出的超大权重,此时的行为将取决于程序员如何处理这些不是真正数字的值。大多数形式的正则化能够保证应用于欠定问题的迭代方法收敛。例如,当似然的斜率等于权重衰减的系数时,权重衰减将阻止梯度下降继续增加权重的大小。使用正则化解决欠定问题的想法超出了机器学习的范畴。同样的想法在几个基本线性代数问题中也非常有用。
  • [技术干货] 【大厂内参】第7期:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT
    【摘要】 截止到今年年底将有117亿物联网设备实现连接,这是在全球217亿活跃的联网设备的连接量首次突破50%。在不知不觉中,万物互联已经成为一个不可逆的趋势。华为云IoT全栈云服务提供“端边云”产品技术服务,编制消费物联网和产业互联网,驱动行业共同前行。截止到今年年底将有117亿物联网设备实现连接,这是在全球217亿活跃的联网设备的连接量首次突破50%。在不知不觉中,万物互联已经成为一个不可逆的趋势。华为云IoT全栈云服务提供“端边云”产品技术服务,编制消费物联网和产业互联网,驱动行业共同前行。      要掌握IoT,我们先从什么是IoT开始      ——♦ 什么是物联网?物联网能为我们带来什么?TA离我们远吗?♦——1、物联网是什么,带你走进物联网的前世今生:物联网之所以诞生,是因为一个咖啡壶。2、物联网发展简史与概述 :物联网(Internet of Things)简称:IoT,是新一代信息技术的重要组成部分,也是“信息化”时代的重要发展阶段。3、《流浪地球》中都有哪些物联网技术?: 都说科幻电影是站在前沿科技的肩膀上眺望未来,《流浪地球》当然也不例外。从中,我们可以看到很多现有物联网产品的影子。4、物联网架构超强解读来了!:物联网的本质很简单:传感+通信+IT技术。5、物联网真正意义是什么?:简而言之,“物联网”互联网是实现人与物、物、物之间关系的网络系统。6、揭秘一瓶可乐的指令“旅程”:你知道自动售货机中的可乐,需要经历哪些指令才能来到我们手中吗?7、为什么说物联网平台是城市数字化的必备底座:面向海量物联即将补面而来的5G时代,城市开始有了些“焦虑”!8、物联网这么火,传统行业数字化转型也能用吗?:物联网对于未来 ICT 行业的发展、工业制造领域的发展,乃至于未来智能社会的发展,都有着巨大的推动作用,前景广阔。      “端、边、云”立体解读华为云IoT产品技术      ——♦ 从LiteOS、边缘设备、到平台,揭秘华为云IoT全栈云服务产品技术 ♦——1、【LiteOS】漫谈Huawei LiteOS五大内核模块:Huawei LiteOS,一个统一物联网操作系统和中间件软件的平台。2、【IoT数据分析】什么是IoT数据分析?它的优势是什么?五分钟带你入门!:华为云IoT数据分析服务是以物联网资产模型为中心的分析服务,具备物联网资产模型感知、一站式开发体验,以及时序数据优化三大优势。3、【IoT边缘】IoT边缘商用,快来Pick边缘计算4大核心功能:边云协同,一触即发!四大功能助力轻松体验IoT边缘服务。4、【IoT边缘】当物联网遇上边缘计算:针对设备直联云端方案的痛点,将边缘计算概念引入物联网解决方案的IoT边缘服务应运而生。5、【全球SIM联接】轻松实现物联网设备全球移动联接,有它就可以啦!奔走相告!!华为云IoT全球SIM联接服务正式商用啦!!!6、【OceanConnect】OceanConnect物联网平台概念全景:系统性介绍华为云OceanConnect 物联网平台的各种开发工具及其概念。7、一分钟了解华为边缘计算物联网解决方案:华为边缘计算物联网解决方案包括:物联网操作系统 LiteOS、敏捷控制器、敏捷物联网关三个部分。8、让“物”能说会道,揭晓华为云IoT黑科技: 什么是物联网?如何让“物”说话?怎样让“物”说出有价值的话?9、新晋“网红”Cat1 是什么:此Cat非披Cat,它是今年物联网通信圈新晋网红“靓仔”。10、华为云IoT全栈云服务:华为云IoT致力于提供极简接入、智能化、安全可信等全栈全场景服务和开发、集成、托管、运营等一站式工具服务。11、辞旧迎新:“设备接入服务”功能与“OceanConnect开发中心”功能的区别对比:如果您是华为云IoT平台的新用户,请直接使用IoTDA云服务!!!!      走进IoT开发,华为云带你认知IoT产品技术的开发本质      ——♦ 畅谈IoT开发实践案例,轻松教你上手IoT开发 ♦——1、畅谈IoT开发实践案例,轻松教你上手IoT开发:LiteOS传感框架将物联网终端设备上不同类型的传感器统一管理,通过抽象不同类型传感器接口,屏蔽其硬件细节,做到“硬件”无关性,非常方便于物联网设备的开发、维护和功能扩展。2、基于IoT Studio自助生成10万行代码的奥秘:华为应用引擎,提供物联网应用基础能力、应用框架扩展能力和微服务框架及托管的能力。3、智慧物联网大背景下,如何在消防系统行业“开花结果”?:智慧物联网大背景下,如何借助物联网技术实现远程报警与控制,及早发现与控制火灾,减少损失。4、Android设备接入华为IoT物联网平台开发实战:图文并茂教你安卓设备如何接入华为IoT物联网平台开发。5、觉得自己的汽车不够智能? 这三个字能帮到你:对于有车一族,是否也希望自己的车也变成智能小管家,根据行程提前预知油耗,为钱包“省力”,或者在故障时,准确告知故障零件,避免修车厂过度维修。6、详解 OceanConnect 物联网平台 | 物联网平台 独孤九剑:市面上物联网平台很多,定位也各不相同,以华为 OceanConnect 为例进行平台的概述。7、华为云车联网解决方案:让汽车开起来更智慧化:华为云基于全栈大数据服务提供车辆智能体,助力企业实现业务创新。8、华为云发布物联网生态工作台,加速物联网技术与企业业务融合:在HUAWEI CONNECT 2020期间,华为云发布了 IoT Stage ——物联网生态工作台。9、基于华为云一站式智能loT平台快速打造行业解决方案:华为云IoT专家分享如何使用基于华为云一站式智能IoT平台,快速打造一个行业解决方案。10、超详细“华为IoT物联网(OceanConnect)平台环境搭建教程:详细讲述了“华为IoT物联网(OceanConnect)平台环境的搭建”教程,让新手更快的上手华为物联网开发平台。11、【IoT最佳实践】智慧烟感语音报警(配置篇):本篇文章为大家带来模拟一个烟雾报警器上报烟雾浓度和温度,当温度浓度和温度都超过应用服务器设置的阈值时,应用服务器调用华为云语音通知服务拨打用户的手机进行告警。12、【IoT最佳实践】智慧烟感语音报警(代码篇):本篇文章为大家解读智慧烟感语音报警DEMO的代码逻辑,助您开发自己的智慧烟感语音报警系统。13、玩转华为物联网IoTDA:自动售货机销售分析场景示例:如何分析与利用庞大的物联网设备数据对物联网企业来说又是一个新的挑战。本文以自动售货机销售分析场景示例,分析售货销量状况。14、玩转华为物联网IoTDA:智慧路灯场景示例:通过该文档的学习,您可以对智慧路灯场景有一定的了解。15、玩转华为物联网IoTDA:智能网关:如何将已对接存量设备的网关,不用迁移就可以实现对既有设备和新设备的兼容控制。16、【物联网数据分析】基于华为云物联网数据分析服务的实践案例:随着物联网设备接入数量的增长,数据量急速增长,快捷有效的数据分析的价值越来越重要。      成为IoT开发者,开启您的物联网之旅      ——♦ 听开发者讲述他们和华为云IoT产品技术的故事 ♦——1、开发者说:愿为你点亮智能的灯:看一个城市发的白光多还是黄光多,就能看出它的经济水平和智能化水平。2、开发者说:当垃圾箱有了智慧:对于一个开发者而言,最大的梦想就是自己的产品能影响或改变一部分人的工作和生活,能为大众和社会带来价值。3、解秘一杯茶的物联之旅:春雷乍动,万物生长,来跟华为云一起品茶吧!4、为防止交通事故,95后学生运用“黑科技”这样做!: 智能车伙伴基于AIoT,利用实时抓取到的图像信息融合实时监测的体征数据,综合判断驾驶员疲劳程度和状态,并发出提醒5、让电变“机灵”,华为云与开发者共同打造智慧用电:“天干物燥,小心火烛”古有打更人提醒人们注意用火安全“铸造智慧数字未来,守护人类用电安全”今有开发者守护我们用电安全。6、华为云MVP朱有鹏:做IoT开发乐趣无穷,年轻开发者更要厚积薄发:年轻的开发者应该要拥抱IoT、拥抱AI、拥抱新技术。7、【实验笔记】智慧路灯沙箱实验之真实设备接入:基于物理网解决方案,我们可以实现路灯的远程监控与控制,实现远程控制、按需照明等功能,降低路灯运行成本。8、华为云MVP熊保松谈物联网开发:华为云IoT是首选,小熊派是神器:在AI、5G的技术驱动下,物联网行业的发展愈加如火如荼,开发者在技术的快速更迭间,也得乘风破浪跟上新技术的节奏。9、基于LiteOS Studio零成本学习LiteOS物联网操作系统:LiteOS社区现在对外开放对Qemu模拟器的适配工程,在不使用开发板的情况下,也可以搭建LiteOS开发环境,做到零成本,非常方便初学者学习。       小熊派IoT开发板开发实战指南      ——♦ 实践出真知,上手开发一个属于自己的IoT应用吧! ♦——1、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程01-IoT-Studio介绍及安装:动手实操先从软件安装开始。2、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程02-HelloWorld:跟着我学,带你创建HelloWorld工程。3、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程03 - 任务管理:Huawei LiteOS 内核提供任务的创建、删除、延迟、挂起、恢复等功能。4、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程04-信号量:信号量(Semaphore)是一种实现任务间通信的机制,实现任务之间同步或临界资源的互斥访问。5、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程05-互斥锁:互斥锁(mutex)又称互斥型信号量,是一种特殊的二值信号量,用于实现对共享资源的独占式处理。6、小熊派IoT开发板华为物联网操作系统LiteOS内核实战教程06 - 内存管理:在系统运行的过程中,一些内存空间大小是不确定的,用户可以在使用的时候申请需要的内存空间,使用完毕释放该空间,以便再次利用。7、用小熊派DIY一款指纹门锁:你有没有因为出门太急忘带钥匙?那有没有兴趣做一个指纹门锁呢?本合集为《大厂内参》007期,欢迎大家持续关注。大厂内参根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT【第八期】数据仓库:8大场景系列玩转数仓运维,做个不秃头的DBA
  • [其他] 2021 年上半年深度学习框架平台市场份额排名
    近日,权威数据调研机构 IDC 发布 2021 年上半年深度学习框架平台市场份额报告。 调研显示,百度在中国深度学习平台市场中的综合份额持续增长,跃居第一。 看上去百度还是很厉害的~
  • [其他] 深度学习领域这些年取得的经典成果(4)
    Adam优化器     神经网络通过运用优化器将损失函数(如平均分类误差)最小化进行训练。优化器负责调整网络参数来使网络学习目标。大多数优化器都是基于随机梯度下降(Stochastic Gradient Descent, SGD)的变量。但是,也有很多此类优化器包含了可调节的参数,比如优化器本身的学习率。针对特定问题寻找正确设置不仅能减少训练时间,还能通过找到局部最小损失函数来获取更好的结果。    大型研究实验室往往会运行成本高昂的、使用了复杂学习速率调度器(learning rate schedules)的超参数检索来获取简单但对超参数敏感的优化器(比如SGD)中最好的那一个。有时候,他们的效果虽然超越了现有基准,但是往往是花费了大笔资金调节优化器的结果。科研论文里往往不会提到研究成本这些细节。也就是说,研究人员如果没有足够的资金预算来优化他们的优化器,就只能深陷“效果不佳”的泥潭。    Adam优化器主张使用梯度的一阶矩和二阶矩来自动调整学习率。研究也表明,运用Adam优化器所获取的结果非常“鲁棒”,且对超参数的调整不敏感。换句话说,Adam在大部分情况下无需太多调整就可以正常运行。就研究结果而言,目前一个被调整得很好的SGD表现更好,但Adam能帮助研究人员以较少成本进行研究。这是因为,如果实现的效果不好,研究者起码知道并不是由于某个调整得不佳的优化器所造成的。相关论文:Adam: A Method for Stochastic Optimization,https://arxiv.org/abs/1412.6980
  • [其他] 分享深度学习领域这些年取得的经典成果(3)
    三.采用“注意力”的编码器-解码器网络    深度学习最卓越的成就大多体现在与视觉相关的任务中,并且由卷积神经网络驱动。虽然NLP研究已使用LSTM网络和编码器-解码器架构在语言建模和翻译方面取得了一定成功,但该领域也是直到注意力机制的出现才开始取得令人瞩目的成就。在处理语言时,每个 token 都会被输入循环网络(如LSTM)中,并对先前处理过的输入保持了记忆。token可能是字符,可能是单词,也可能是介于字符和单词之间的某物。换句话说,每个token都是一个时间步,一个句子就像一个时间序列。这些循环模型通常不擅长处理间隔长时间的依赖关系。在处理序列时,他们很容易“忘记”较早之前的输入,因为它们的梯度需要通过大量时间步进行传播。通过梯度下降方法优化这些模型非常困难。新的注意力机制则有助于缓冲这一阻碍。它引入快捷连接(shortcut connections),给网络提供了一个能够在早期的时间步上适应性地“回头看”的选择。这些连接可以帮助网络决定生成特定输出时哪些输入是重要的。一个典型的例子就是机器翻译:在生成输出词时,它通常会映射一个甚至多个特定的输入词。    相关论文:    Sequence to Sequence Learning with Neural Networks,https://arxiv.org/abs/1409.3215NeuralMachine Translation by Jointly Learning to Align and Translate,https://arxiv.org/abs/1409.0473
  • [其他] 深度学习之作为约束的范数惩罚
    这和最小化 J˜ 的正则化训练问题是完全一样的。因此,我们可以把参数范数惩罚看作对权重强加的约束。如果 Ω 是 L2 范数,那么权重就是被约束在一个 L2 球中。如果 Ω 是 L1 范数,那么权重就是被约束在一个 L1 范数限制的区域中。通常我们不知道权重衰减系数 α∗ 约束的区域大小,因为 α∗ 的值不直接告诉我们 k 的值。原则上我们可以解得 k,但 k 和 α∗ 之间的关系取决于 J 的形式。虽然我们不知道约束区域的确切大小,但我们可以通过增加或者减小 α 来大致扩大或收缩约束区域。较大的 α,将得到一个较小的约束区域。较小的 α,将得到一个较大的约束区域。有时候,我们希望使用显式的限制,而不是惩罚。如第4.4节所述,我们可以修改下降算法(如随机梯度下降算法),使其先计算 J(θ) 的下降步,然后将 θ 投影到满足 Ω(θ) < k 的最近点。如果我们知道什么样的 k 是合适的,而不想花时间寻找对应于此 k 处的 α 值,这会非常有用。
  • [其他] 深度学习之参数范数惩罚
    正则化在深度学习的出现前就已经被使用了数十年。线性模型,如线性回归和逻辑回归可以使用简单、直接、有效的正则化策略。许多正则化方法通过对目标函数 J 添加一个参数范数惩罚 Ω(θ),限制模型(如神经网络、线性回归或逻辑回归)的学习能力。我们将正则化后的目标函数记为˜(θ; X, y) = J(θ; X, y) + αΩ(θ)。其中 α ∈ [0, ∞) 是权衡范数惩罚项 Ω 和标准目标函数 J(X; θ) 相对贡献的超参数。将 α 设为 0 表示没有正则化。α 越大,对应正则化惩罚越大。当我们的训练算法最小化正则化后的目标函数 J˜ 时,它会降低原始目标 J 关于训练数据的误差并同时减小参数 θ 的规模(或在某些衡量下参数子集的规模)。选择不同的参数范数 Ω 会偏好不同的解法。我们会讨论各种范数惩罚对模型的影响。在探究不同范数的正则化表现之前,我们需要说明一下,在神经网络中我们通常只对每一层仿射变换的权重做惩罚而不对偏置做正则惩罚。精确拟合偏置所需的数据通常比拟合权重少得多。每个权重会指定两个变量如何相互作用。我们需要在各种条件下观察这两个变量才能良好地拟合权重。而每个偏置仅控制一个单变量。这意味着,我们不对其进行正则化也不会导致太大的方差。另外,正则化偏置参数可能会导致明显的欠拟合。因此,我们使用向量 w 表示所有应受范数惩罚影响的权重,而向量 θ 表示所有参数 (包括 w 和无需正则化的参数)。在神经网络的情况下,有时希望对网络的每一层使用单独的惩罚,并分配不同的 α 系数。拟合多个超参数的代价很大,因此为了减少搜索空间,我们会在所有层使用相同的权重衰减。
  • [其他] 深度学习之模型族训练
    在深度学习的背景下,大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的 ‘‘交易’’,也就是能显著减少方差而不过度增加偏差。主要侧重模型族训练的 3 个情形:(1)不包括真实的数据生成过程——对应欠拟合和含有偏差的情况,(2)匹配真实数据生成过程,(3)除了包括真实的数据生成过程,还包括许多其他可能的生成过程——方差(而不是偏差)主导的过拟合。正则化的目标是使模型从第三种情况转化为第二种情况。在实践中,过于复杂的模型族不一定包括目标函数或真实数据生成过程,甚至也不包括近似过程。我们几乎从未知晓真实数据的生成过程,所以我们永远不知道被估计的模型族是否包括生成过程。然而,深度学习算法的大多数应用都是针对这样的情况,其中真实数据的生成过程几乎肯定在模型族之外。深度学习算法通常应用于极为复杂的领域,如图像、音频序列和文本,本质上这些领域的真实生成过程涉及模拟整个宇宙。从某种程度上说,我们总是持方枘(数据生成过程)而欲内圆凿(我们的模型族)。
  • [其他] 深度学习之正则化
    机器学习中的一个核心问题是设计不仅在训练数据上表现好,并且能在新输入上泛化好的算法。在机器学习中,许多策略显式地被设计为减少测试误差(可能会以增大训练误差为代价)。这些策略被统称为正则化。我们将在后文看到,深度学习工作者可以使用许多不同形式的正则化策略。事实上,开发更有效的正则化策略已成为本领域的主要研究工作之一。我们将正则化定义为 ‘‘对学习算法的修改——旨在减少泛化误差而不是训练误差’’。目前有许多正则化策略。有些策略向机器学习模型添加限制参数的额外约束。有些策略向目标函数增加参数值软约束的额外项。如果我们仔细选择,这些额外的约束和惩罚可以改善模型在测试集上的表现。有时侯,这些约束和惩罚被设计为编码特定类型的先验知识;其他时候,这些约束和惩罚被设计为偏好简单模型,以便提高泛化能力。有时,惩罚和约束对于确定欠定的问题是必要的。其他形式的正则化(如集成方法)结合多个假说来解释训练数据。
  • [其他] 深度学习之前馈网络的历史
    当 2006 年深度学习开始现代复兴时,前馈网络仍然有不良的声誉。从 2006 年至 2012 年,人们普遍认为,前馈网络不会表现良好,除非它们得到其他模型的辅助,例如概率模型。现在已经知道,只要具备适当的资源和工程实践,前馈网络表现得非常好。今天,前馈网络中基于梯度的学习被用作发展概率模型的工具,例如第二十章中描述的变分自编码器和生成式对抗网络。前馈网络中基于梯度的学习自 2012年以来一直被视为一种强大的技术,并应用于许多其他机器学习任务,而不是被视为必须由其他技术支持的不可靠技术。在 2006 年,业内使用无监督学习来支持监督学习,现在更讽刺的是,更常见的是使用监督学习来支持无监督学习。
  • [其他] 深度学习之稀疏激活
    对于小的数据集,Jarrett et al. (2009b) 观察到,使用整流非线性甚至比学习隐藏层的权重值更加重要。随机的权重足以通过整流网络传播有用的信息,允许在顶部的分类器层学习如何将不同的特征向量映射到类标识。当有更多数据可用时,学习开始提取足够的有用知识来超越随机选择参数的性能。Glorot et al. (2011a) 说明,在深度整流网络中的学习比在激活函数具有曲率或两侧饱和的深度网络中的学习更容易。整流线性单元还具有历史意义,因为它们表明神经科学继续对深度学习算法的发展产生影响。Glorot et al. (2011a) 从生物学考虑整流线性单元的导出。半整流非线性旨在描述生物神经元的这些性质:(1) 对于某些输入,生物神经元是完全不活跃的。(2) 对于某些输入,生物神经元的输出和它的输入成比例。(3) 大多数时间,生物神经元是在它们不活跃的状态下进行操作(即它们应该具有稀疏激活(sparse activation))。
总条数:1305 到第 页
上滑加载中