-
多重线性回归 普通线性回归的第一个明显变体是多元线性回归。当只有一个特征时,我们有单变量线性回归,如果有多个特征,我们有多元线性回归。对于多元线性回归,模型可以以一般形式表示为:模型的训练即寻找最佳参数θ,以使模型最贴合数据。预测值与目标值之间的误差最小的直线称为最佳拟合线或回归线,这些误差被称为残差(Residuals)。可以通过从目标值到回归线的垂直线来可视化残差,如下图所示,灰色直线即回归线,紫色点为目标值,黄色垂直距离即残差。我们将整个模型的误差(即损失函数)定义为残差平方和,表示如下:最经典的多元线性回归问题是波士顿房价问题(Boston Housing Dataset)
-
线性回归 为什么从线性回归开始?因为即使在高中阶段,我们也开始接触到了这个概念。首先从“学习”这个概念讲起,在机器学习(监督学习)中,学习的过程即寻找一个数学方程式,从而使得每一个输入和输出都能够通过这个方程一一对应。在最简单的情境下,这个方程是线性的。什么是线性关系?线性关系指的是可以用一条直线表示的两个变量(x和y)之间的关系。许多现象都是线性关系,如双手拉橡皮所使用的力量和橡皮被拉伸的长度,我们可以用线性方程来表示如上关系:在线性关系中,改变自变量(x)的值会导致因变量(y)的值发生改变,因此线性关系可以用来预测诸如销售预估、用户行为分析等实际问题。线性关系如下图所示:线性回归问题意在寻找可以描述一个或多个特征(自变量)与目标值(因变量)之间关系的方程。如上图所示的线性回归问题,我们通常称之为普通线性回归,即最简单的线性回归。现在我们来考虑由简单线性回归引申出的三个问题:多元线性回归广义线性模型多项式回归
-
然而,为什么基于深度学习的方法在实测效果上并未比施易昌等的方法好多少呢?我认为主要有两个原因:深度学习方法需要大量数据来训练,而数据非常昂贵谭婧等所用的评判结果好坏的标准和人类的主观感受还无法完全一致我们先来看看评价方法和标准的缺陷,如下图所示,作者们用的评价方法是采样图像上的特定的线段,希望这些线段与Ground Truth之间的夹角越小越好。那么这里就可能存在这些采样的线段不足以描述人类的主观感受这样的问题了,比如是不是当发生畸变时,有更多的无法简单用线段的偏转来描述的特征?这是一个非常本质和深入的问题,可以留待将来进行更深入的研究。更现实的问题是,不管是用于训练,还是用于验证和评价,数据都非常宝贵。高质量的数据非常难于得到。几乎对每一张样本图像,都需要手工进行调整,以得到它去掉畸变后的完美图像——这实际上是一个非常主观的事情。昂贵的数据采集手段,使得谭婧等最终得到的是大概5000张图像的数据集。实际上,这些数据集很可能因为时间和精力原因,存在一定的瑕疵,影响最终的效果。那么,有没有可能降低对数据采集的需求呢?半监督学习是一个可能的方向,下面这篇旷视研究院的预印版文章(arxiv.org/abs/2109.0802)可供参考:作者们的想法也很简单,他们在网络训练过程中加入了一个分割的任务,使得分割任务去分割校正map中的各个部分(不同方向的大位移以及小位移)。那么分割结果和校正map之间就建立起了某种关系,另外分割结果、校正map与各自的Ground Truth之间也有约束关系。现在加入没有标注过的数据,这些数据经过网络推理后也会得到分割图和校正map。作者认为这两者之间的关系应该和有标注的数据对应的信息有相同的约束关系——就用这个约束去迭代优化网络。听起来,跟模型蒸馏颇有异曲同工之妙,文章中也展示了挺不错的效果,例如下图中的效果,确实相比谭婧和施易昌等人的方法有了提升。
-
网络结构如下图所示,其中LineNet用于进行镜头畸变校正,经过LineNet后直线被校直ShapeNet则用于进行人脸的球极畸变校正。通过两个注意力模块LAM(Line Attention Module)和FAM(Face Attention Module),图像中的直线和人脸被特意强调TM用于保持LineNet和ShapeNet在背景区域的一致性损失函数下面是LineNet和ShapeNet的损失函数,其中下标flow代表在计算map表的一致性,而下标proj和下标out则用于表示计算image的一致性。而2,s2则表示分别计算原始的L2 Loss,以及先对图像或map做Sobel计算,然后再计算L2 Loss。类似的,两个注意力模块LAM和FAM也有自己的损失函数:.这几个损失函数之和构成了最终的损失函数,用于约束整个网络的训练
-
为了评价算法的效果,作者引入了两个评价指标: LineAcc(评价直线的保直度),以及ShapeAcc(评价人脸校正的准确度)。简单说来,LineAcc计算的是已标注的线段在校正后图像上的像素点的平均夹角,夹角越小,直线越直。而ShapeAcc则是计算校正前后人脸上每个关键点与中心点形成的线段的夹角,夹角越小,人脸效果越接近Ground Truth。下图说明作者的最终输出在LineAcc和ShapeAcc两方面均超过了输入,且达到了较好的平衡。
-
谭婧等的方法总体上来说是一种监督型的训练方法,因此需要一个带有Ground Truth信息的数据集。然而以前从来没有广角畸变校正的标准数据集,因此作者用5个超广角的拍照手机,在各种场景下进行采集,制作了一个超过5000张图像的数据集,每张图像的人像分布在1到6人之间。由于有这几个相机的畸变参数,因此可以很容易的获得镜头畸变校正的map,作为LineNet训练时的Ground Truth。接下来,为了获得每张图像对应的透视畸变校正后的图像,作者们基于施易昌等的方法开发了一个自动化的校正工具,其中刻意在原方法的目标函数的基础上添加了一个人脸附近的直线约束,使得能够更好的保持人脸附近的直线。作者们还开发了一个微调工具,可以基于Mesh来对图像的局部进行微调。通过联合使用校正工具+微调工具,她们得到了一个效果很好的数据集,下图d是最终手动优化后的效果,可以看到它确实比施易昌等的方法结果好(图b),例如这里人脸附近的大楼阳台保持了直线。下面展示了数据集中需要包括的内容输入的图像(完全未经畸变校正)经过镜头畸变校正后的图像(此时直线被校直)经过透视畸变校正后的图像(此时背景直线校直,且人脸畸变被消除)人脸Mask直线标注信息镜头畸变校正Map透视畸变校正Map
-
在手机中的计算摄影4-超广角畸变校正中,我为你描述了广角镜头的镜头畸变校正和透视畸变校正,尤其是花了很多篇幅讲述施易昌等人的论文如何校正因为透视畸变导致的人脸拉伸现象。然而,正如我文章中所讲,这个方法依然有它的不足之处:没有准确的人脸Mask就无法进行校正校正只针对人脸,会出现头小身大的现象某些情况下无法保证直线不弯曲,有些时候还无法很好的校正人脸速度慢,单张图像需要接近1秒钟完成那么如何解决这些问题呢?今天要介绍的方法,就是尝试对上述缺陷进行改进。一. 第一个基于深度学习的畸变校正算法我们先来想想为什么施易昌等人的方法存在一定缺陷需要FOV信息作为输入,作者提到他们用到了图像的EXIF信息来获取焦距和传感器信息,但我们都知道很多图像在传输和保存过程中是丢失了这些信息的因为他们的算法只针对人脸区域采用球极投影进行校正,因此一定需要输入人脸的Mask,而这个Mask是通过专门训练的人脸分割网络计算出来的。很显然,这里带来了两个问题:算法需要额外的外部输入,增加了复杂度外部输入的质量高低决定了人脸校正的效果好坏3. 整个算法包含多个可调整的参数。但作者只在20张图像上进行了参数的调整,然后在167张图像上进行了仔细的验证,最后在4131张图像上观察是否有明显的错误。总体来说,真正用于检验并调整参数只有不到两百张图像,确实可能有泛化性问题。4. 另外目标函数也是非常复杂的,因此最优化也比较慢。针对这几个问题,潜在的解决方案有:完全不用相机内参数输入,将背景的镜头畸变校正也整合到流程中,用一些图像上的特征来约束镜头畸变校正将人脸校正所需的Mask的计算整合到整个流程中,不需要外部输入使用大量的图像来验证算法的泛化性和有效性旷视研究院的谭婧、赵姗等人在2021年CVPR发表的文章,就很好的把这几个方案整合到了一起:这篇文章展示了第一个用深度学习来完成的自动去畸变算法,其中用两个子网络分别完成镜头畸变的校正和透视畸变的校正,而且它不需要相机的畸变参数,效果据作者描述比施易昌等人的方法更好。这里,LineNet用于进行镜头畸变校正,经过LineNet后直线被校直。而ShapeNet则用于进行人脸的球极畸变校正。通过两个注意力模块LAM(Line Attention Module)和FAM(Face Attention Module),图像中的直线和人脸被特意强调。由于训练数据有人脸和直线的标注信息,因此训练出的网络不需要外部的相机参数及人脸Mask也能够进行很好的校正,最后得到了和施易昌等方法相当,甚至某些情况下更好的结果。
-
展会规模历史空前 更加注重创新企业发展作为中国规模、影响力及权威性的智能家居经贸展—2022深圳国际智能家居展览会(简称:C-SMART2022)将于2022年11月2-4日在深圳国际会展中心(宝安新馆)举办,预计展出面积达4万平方米,汇聚全球超500家参展企业,观众人数预计5万人次,并组织上百人的买家参观团。C-SMART2022将在粤港澳大湾区及新展馆的强力赋能下,在合作、联合、做大、做强、做专、做精的发展理念下,全力将C-SMART2022打造成集贸易合作、展示交易、宣传推广、技术交流、高端研讨、品牌展示于一体的国际性品牌展会。据数据显示,上届展会吸引了来自全国各地将近300多家知名品牌参与,三天开展时间,有来自18多个国家和地区的近3.9万名观众莅临参观,同比增加16.1%,其中专业观众将近1.6万人次,占比41%,专业观众中采购及决策层占比高达90%,当中海外观众占5%,国内观众达95%;本届展会参展商和观众人数再创新高。专业观众精准化 更多覆盖买方市场用户C-SMART2022作为中国智能家居专业展,具有极强的影响力和号召力,主办方将打造一站式全屋智能家居采购平台,为智能家居产业链各个环节打通垂直细分市场,让展商精准布局行业应用,让观众快速一览产业链全景。从服务业单位、政府机构到商贸企业,C-SMART2022全面邀请国内外用户企业参与。邀请专业买家参观团,并参与商务配对活动。用户行业来自房地产、酒店、公寓、别墅、建筑、能源、工业、社区、楼宇、物业、办公、教育、养老、园区、学校、医院、农业、会所、餐厅、消费、民宿、五金、超市、家具、连锁店、百货、商场、电商等,几乎覆盖到智能家居行业所能触及到的各个行业。同时将邀请来自全国各地区智能家居行业的建材公司、装饰装修公司、电力电气公司、学会、协会、商会及公共设施代表、研究院、设计院、市政管理、分销商、批发商、进出口商、经销代理商、零售商、承包商、弱电系统集成商、机电工程商、节能服务商、建筑承建商、住宅电子集成与定制安装商、建筑设计师、规划工程师、体验厅、消费者、新闻媒体等参观洽谈。运用多种宣传方式,全网深度推广本届展会,通过展讯推送、新媒体平台推广、传统媒体、行业网络媒体、行业专业杂志等传播方式,搭建供需双方交流平台,实施“走出去”“引进来”发展战略,提高产业聚集效应,促进产业集群升级发展。同期活动精彩纷呈 让展会更加看点多多展会将举办新产品(项目)展示、现场体验、高峰论坛等同期活动,会议主题为“智能创新、改变生活”,将有来自国内外集中围绕全屋智能产品及技术;智能安防技术及配套产品;智能家电及家庭娱乐产品;智慧社区及楼宇对讲系统;智能酒店及智能照明产品;IOT智能化综合应用;5G+AIOT等智能家居新技术及产品陆续展开一系列同期热点议题,希望通过展会与论坛结合的形式以增加供求双方的了解和友谊,以提升智能家居服务领域的国际竞争力和影响力,论坛汇聚智能家居新理论、新技术、新成果,围绕智能家居在各场景的应用展开研讨,助推智能家居融合与地方科技生态建设,联通着产学研各界释放更大合力。伴随着智能家居行业发展又走向一个新的发展阶段,C-SMART2022将以更加靓丽的姿态迎接您的到来,共同谱写智能家居行业新篇章!报名参展C-SMART2022可登陆主办官网www.c-smarthome.cn 与我们共赴2022深圳国际智能家居展览会现场,相信2022年11月2-4日在深圳国际会展中心将迎来一场震撼空前的智能家居盛宴。
-
TensorFlow是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief 。Tensorflow拥有多层级结构,可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算,被广泛应用于谷歌内部的产品开发和各领域的科学研究 。TensorFlow由谷歌人工智能团队谷歌大脑(Google Brain)开发和维护,拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口(Application Programming Interface, API) 。自2015年11月9日起,TensorFlow依据阿帕奇授权协议(Apache 2.0 open source license)开放源代码 。 语言与系统支持TensorFlow支持多种客户端语言下的安装和运行。截至版本1.12.0,绑定完成并支持版本兼容运行的语言为C和Python,其它(试验性)绑定完成的语言为JavaScript、C++、Java、Go和Swift,依然处于开发阶段的包括C#、Haskell、Julia、Ruby、Rust和Scala
-
最早的自然语言理解方面的研究工作是机器翻译 。1949年,美国人威弗首先提出了机器翻译设计方案 。其发展主要分为三个阶段。早期自然语言处理第一阶段(60~80年代):基于规则来建立词汇、句法语义分析、问答、聊天和机器翻译系统。好处是规则可以利用人类的内省知识,不依赖数据,可以快速起步;问题是覆盖面不足,像个玩具系统,规则管理和可扩展一直没有解决。统计自然语言处理第二阶段(90年代开始):基于统计的机器学习(ML)开始流行,很多NLP开始用基于统计的方法来做。主要思路是利用带标注的数据,基于人工定义的特征建立机器学习系统,并利用数据经过学习确定机器学习系统的参数。运行时利用这些学习得到的参数,对输入数据进行解码,得到输出。机器翻译、搜索引擎都是利用统计方法获得了成功。神经网络自然语言处理第三阶段(2008年之后):深度学习开始在语音和图像发挥威力。随之,NLP研究者开始把目光转向深度学习。先是把深度学习用于特征计算或者建立一个新的特征,然后在原有的统计学习框架下体验效果。比如,搜索引擎加入了深度学习的检索词和文档的相似度计算,以提升搜索的相关度。自2014年以来,人们尝试直接通过深度学习建模,进行端对端的训练。目前已在机器翻译、问答、阅读理解等领域取得了进展,出现了深度学习的热潮。
-
如果06年Hinton的深度置信网络是深度学习时代的开启,12年的Alexnet在ImageNet上的独孤求败是深度学习时代的爆发,那么至今也有近15年的发展历程。15年足够让一个青涩懵懂的少年成长为一个成熟稳重的壮年。下面盘点一下深度学习CV领域瞩目的成果:基础研究:Relu,Dropout,Adam,BN,AtrousConv,DCN系列分类骨架:VGG,ResNet(系列),SeNet,NIN,Inception系列,MobileNet系列,ShuffleNet系列语义分割:FCN,U-Net,PSPNet,Deeplab系列实例分割:Mask R-CNN,PanNet目标检测:Faster R-CNN,Yolo系列,FPN,SSD,CenterNet,CornerNet,FCOS,Cascade R-CNN,DETR生成对抗:GAN,CGAN,DCGAN,pix2pix,CycleGAN,W-GANloss 相关:Focalloss,IOUloss系列,diceloss, CTCloss部署加速:tf int8,network-slimming,KD其他方面:CAM,Grad-CAM,Soft-NMS,CRNN,DBNet
-
搞深度学习的人,两大必备日常除了读论文之外就是读代码。读论文笔者在第4问的时候讲了阅读路线,但如何读用什么技巧读每个人都有不同的见解,这里不多说。读代码跟读论文、读书多少有相似的地方,毕竟都是读的性质。但话又说回来,读代码又跟读paper读书大有不同,代码是一种将论文中的模型和算法进行实现的过程,是一种需要你思维时刻在线的过程。又因为我们读的是深度学习项目代码,不是像Linux内核代码那样的鸿篇巨制,所以在代码性质上多少又有些不同。 笔者这里说的一份深度学习项目代码,小到几百行的测试demo,大到成千万行的开源项目,读起来方法肯定各有不同。如下图Mask R-CNN项目代码和PyTorch源码的对比: 可以看到,Mask R-CNN作为一个经典的实例分割框架,其代码量可以说是中规中矩,3k的代码量在我们读完论文后集中花几天时间差不多可以过一遍。但PyTorch的源码对大多数人而言就不那么友善了,750k的代码量,而且底层的C++代码占到整个项目中的一半之多,作为深度学习研究而言,堪称巨无霸级别了。这样的代码量,就像初学者拿到一本PRML,往往投入巨大精力后不了了之。所以,对于这两种类型的项目代码,阅读方法肯定会有所区别。 因为我们读代码的目的、场景和对象不尽相同,下面笔者从三个方面来和大家探讨如何阅读一份深度学习项目代码。 首先读代码的一些通用方法。这一点而言不局限于深度学习项目代码,任何项目、任何语言的代码阅读都适用。我们日常读代码无非是两个工具,一是将代码下载到本地,打开IDLE,在IDLE里安静的阅读: 第二个就是直接在GitHub的web端直接阅读,但GitHub没有像编辑器那样在左侧设置阅读目录,每次进入一个代码文件就必须退出来才能进入另一个文件,用户体验极差。当然了,这都不是事。chrome给我们提供了Octotree这样的辅助阅读插件,直接在chrome扩展程序里搜索安装即可。 安装后我们就可以直接在web端就有IDLE读代码的体验: 可以看到在页面左侧有一个类似IDLE的目录栏,大大方便了我们查看和阅读项目代码。这是通用方法中的工具层面,我们再来看一些基本的阅读规矩。有了IDLE和Octotree工具,我们第一点一定是仔细看代码目录,对整个项目代码结构和分布有一个整体的认识,对于深度学习而言通常目录中各个模块相对比较固定,比如是models目录下放着模型搭建和训练的代码,conifg目录下放着模型的一些配置文件,data目录下放着项目所使用的数据信息等等。如下面语义分割项目的目录结构: 对深度学习项目代码的结构熟络之后,读的多了自然就会轻车熟路起来,后面阅读效率也就提高了。 通用方法的第二个是快速找到readme文档。通常来说,根目录下的readme文档包含了这份代码的使用方法,里面有可以让你快速了解这个项目的关键信息。一般来说,开源项目的readme里作者都会写明如何使用代码和进行部署。下图是DenseNet的readme文档: 对于大型项目,可能每一个子目录下都有readme文档,这都是我们需要仔细阅读的部分,作者把关键信息都放里面了。所以不管这样,第一时间读找到readme进行阅读是你了解该项目的必备步骤和通用方法。 第三个通用方法就是具体如何读的问题。就是我们得确定一个阅读主线。这一点是针对于深度学习项目代码的通用方法,对于一个深度学习项目,我们一般想要了解的最关键点无非就是数据、模型和如何训练等几个方面。如果你想快速看看这个开源项目的测试效果,直接读readme看使用方法即可。如果这个项目作者提出了一个新的模型框架,比如说bert,你想了解它的模型框架细节,直接定位到models目录下的带有model字眼的.py文件开始读。或者是你想看这个项目是如何训练的,都用了哪些训练的tricks,它的参数初始化是如何做的,batchsize用的多大,训练过程中学习率如何调整的等等,那么话不多说,直接定位到带train的.py文件即可。如下图faster-rcnn的3个训练文件。 根据目的不管是model还是train的主线,在阅读过程中一定会涉及到其他分支,比如说数据和配置等其他分支线。在主线阅读过程中不断完善对分支的理解,久而久之,一个完整的项目就会被你消化了。 以上说的是深度学习项目代码阅读的一些通用方法。下面再具体讲两个场景的代码阅读。毕竟大家做事讲究目的性,往往带有较强的目的性去做某事效率一般会特别高。 第一个场景是在大家做研究做项目时遇到问题时。不知道这个问题如何解决,直接谷歌又找不到好合适的方法的时候。这时候我们可能会寄希望于在GitHub上搜罗一番。比如说我们想要知道对于极度数据不平衡时如何给损失函数加权重的方法,再比如对于多标签问题进行模型预测时如何找到最佳分类阈值等等。这些问题都是我们在做实际项目时都可能会碰上的,在这种情况下若是能在GitHub上找到类似场景的处理方法,相信你会瞬间来了精神。 下述基于keras的CNN多标签分类项目对于多标签分类阈值寻优使用了matthews_corrcoef来确定最佳分类预测阈值。至于什么是matthews_corrcoef,这些都是你在解决问题过程中需要学习和吸收的地方。总之,带有目的性的读某个项目的代码往往是只读某个block甚至是某几个关键行,数量不在多,在于能够解决你的问题。 第二个场景就是为了自我个人精进的读代码。所谓个人精进,就是有大量可支配的个人学习和研究时间,高度的自律性和超强的学习力的人进行能力跃迁的关键所在。笔者虽然平时偶尔会有去GitHub读一些代码,但说要达到个人精进的level,还远远不够。比如说前面的PyTorch 750k的源码,这么大的代码量,阅读策略一定是分治思想,分散包围和各个击破。把项目进行分解,设定阅读计划和目标,在超强的执行力下还是有可能完成的。这不是普通人干的事,但我相信能在深度学习领域精进的人都不会是普通人。 诚然,无论是读教材、读论文还是本篇所说的读代码,这些本身都是一个个人学习能力提升和知识汲取的过程。对于从事深度学习工作的我们而言,arxiv上的论文和GitHub上的代码都无穷尽,关键在于保持学习的劲头,做一名终身学习者。
-
扩展卡尔曼滤波可以将非线性系统在其参考点上做泰勒级数展开,取其一阶线性部分作为该非线性模型的逼近,从而得到非线性系统在当前时刻的线性化描述。所以它的状态方程和观测方程如下:状态方程:观测方程:当我们将非线性系统线性化后,扩展卡尔曼滤波后面的原理和推导流程就和卡尔曼滤波一样了。扩展卡尔曼滤波利用线性化来近似非线性函数,但是如果在近似点非线性程度越高、概率分布本身越不确定,得到的近似结果就会越差,通俗点说就是泰勒展开式中被忽略的高阶项带来的误差有可能是滤波发散。
-
目标跟踪就是在连续的数据序列中,建立所需要跟踪目标的位置关系,得到目标完整的运动轨迹。通常是给定上一帧的目标位置特征,在下一帧中对该目标的位置以及边界框的尺寸大小进行预测。目标跟踪的常用算法有很多,从传统的滤波算法到深度学习的网络预测,可以分为两大类:生成式模型:建立目标模型或者提取目标特征,利用外观表征在后续帧中进行相似性搜索,最小化跟踪目标和候选目标之间的误差进行定位。判别式模型:通过对比目标模型和背景信息的差异,将目标模型提取出来,从而得到当前帧中的目标位置。传统的跟踪算法大多属于生成式模型,而深度学习的算法大多属于判别式模型,几种经典的算法如下:基于均值漂移的跟踪:均值漂移是基于概率密度分布,使目标的搜索一直沿着概率梯度上升的方向,迭代收敛到概率分布的峰值上。基于卡尔曼滤波的跟踪:通过检测或者其他方式得到目标的观测位置,并根据运动方程从上一时刻的位置信息预测当前时刻的位置信息,将观测结果和预测结果进行加权平均得到最终的目标位置信息。基于粒子滤波的跟踪:对目标基于粒子分布进行建模,定义一种相似度度量来确定与目标之间的匹配程度。然后按照高斯分布撒粒子,统计其相似度来确定目标可能的位置信息。基于核相关滤波的跟踪:通过设计一个滤波模板,利用该模板与目标候选区域做相关运算,最大输出响应的位置即为当前帧的位置信息。基于深度学习的跟踪:利用卷积神经网络将目标从背景中提取出来,利用其对目标强大的特征抽象能力以及对目标运动过程的拟合能力实现跟踪任务。均值漂移和卡尔曼滤波算法实现简单,但是参数调节麻烦,鲁棒性一般;相关滤波类算法跟踪速度较快,深度学习类方法精度较高,但是对硬件资源有一定要求。根据不同的需要选择最适合的滤波算法是工程中的关键。
-
有些优化算法本质上是非迭代的,只是求解一个解点。有些其它优化算法本质上是迭代的,但是应用于这一类的优化问题时,能在可接受的时间内收敛到可接受的解,并且与初始值无关。深度学习训练算法通常没有这两种奢侈的性质。深度学习模型的训练算法通常是迭代的,因此要求使用者指定一些开始迭代的初始点。此外,训练深度模型是一个足够困难的问题,以致于大多数算法都很大程度地受到初始化选择的影响。初始点能够决定算法是否收敛,有些初始点十分不稳定,使得该算法会遭遇数值困难,并完全失败。当学习收敛时,初始点可以决定学习收敛得多块,以及是否收敛到一个代价高或低的点。此外,差不多代价的点可以具有区别极大的泛化误差,初始点也可以影响泛化。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签