-
理论让GBDT和GNN结合起来:Criteo AI Lab提出全新架构BGNNGBDT 和 GNN 方法各有各的优势,现在,来自法国、俄罗斯两家机构的研究者将二者的优势结合起来,探索使用 GBDT 模型处理图结构数据。2021/02/28 22:27原文链接手机实时人工智能之「三维动作识别」:每帧只需9ms来自美国东北大学(Northeastern University)的王言治研究组、威廉与玛丽学院(William & Mary)的任彬研究组以及北卡罗来纳州立大学(North Carolina State University)的慎熙鹏研究组提出了一种用于三维卷积神经网络(3D CNN)的模型压缩和移动加速框架 RT3D。2021/02/28 22:15原文链接未参与论文竟有自己署名,MIT-IBM Watson实验室主任怒斥「合著」中国学者及出版商几年前「被」发表了两篇论文,与素不相识的中国学者「合著」两次,自己竟毫不知情。这是「合著者」还是出版商的锅?2021/02/28 22:02原文链接Hinton独立发布44页论文火爆社区,没有实验:给你们个idea,自己去试吧大佬Hinton独立署名的论文:好家伙,给你们一个idea,大家放手去试吧!2021/02/28 21:44原文链接拒绝不公平的师生关系,MIT霸气护学生:你换导师,我替你买单读书期间,你有过换导师的想法吗?2021/02/28 12:15原文链接漏洞预警,VMware远程代码执行漏洞的严重等级达到9.8(满分10)数千台运行 vCenter server 的服务器可能会遭遇一个可怕的惊吓。2021/02/28 12:12原文链接这竟然不是阿汤哥?这个「真的吓人」视频火爆全网好莱坞影星「阿汤哥」又一次成为深度造假视频的主角。2021/02/28 12:08原文链接产业全自由定制?美国初创公司Framework发布模块化笔记本电脑在这款笔记本上,我们所发现的亮点绝不是某一配置,而是它带来的有关「自由定制」的体验。2021/02/28 22:20原文链接工程都2021年了,为什么想回看5分钟前写的代码就这么难写代码的时候,反复修改是常见的事,修改之后忘记以前是什么样子好像也很常见。2021/02/28 22:07原文链接真·技术改变生活:他用矿机帮中央空调制热,每月电费减半一边挖矿,一边取暖,电费却减半,怎么还能遇到这样的好事?2021/02/28 21:53原文链接其他26岁数学天才回国任教,刚以中科大教授之名攻破世界级难题08级中科大少年班学生2021-02-28 13:41:52原文链接
-
在CV很多方向所谓改进模型,改进网络,都是在按照人的主观思想在改进,常常在说CNN的本质是提取特征,但并不知道它提取了什么特征,哪些区域对于识别真正起作用,也不知道网络是根据什么得出了分类结果。如在上次解读的一篇论文《Feature Pyramid Transformer》(简称FPT)中,作者提出背景信息对于识别目标有重要作用,因为电脑肯定是在桌上,而不是水里,大街上,背景中的键盘鼠标的存在也能辅助区分电脑与电视机,因此作者提出要使用特征金字塔融合背景信息。从人的主观判断来看,这点非常合理。但对于神经网络来说,FPT真的有融合背景信息,而普通CNN网络没有融合背景信息?又或者说,一般而言,除了提出的新模型,还会加上主观设计的各种tricks,确定最后是因为融合了背景信息而精度提高了,还是说背景确实融合了,但实际上对精度没有影响,而是各种tricks起了作用?这一切并不确定,因为并不确定CNN到底学到了什么。解决这个问题的办法有很多,一个是想办法看看CNN内部学到了什么,一个是控制变量法。提到这个控制变量法,在某一篇论文中(我对不起我的读者,论文累积量太大,忘记是哪一篇,只记得该论文的一些新颖之处),在设计了一个新的模型后,通过改变卷积层的某些通道,来看最后模型的精度的变化,从而确定哪些通道对这个模型是真正起作用的,而哪些是冗余的。按照这个思路,我们或许可以在数据预处理时,故意裁剪掉人主观认为有用的背景信息,例如裁剪辅助识别电脑的桌子,键盘鼠标,重新训练FPT,从而看最终精度有没有影响。很明显,这种方法理论上是可行的,但实际上工作量巨大,不现实。而CNN可视化是值得考虑的方法。除了上面提到的一点,CNN可视化的作用还有哪些?在少数提出新模型或新methods的论文中,往往会给出这个模型的一些可视化图来证明这个模型或这个新methods对于任务的作用,这一点不仅能增加新模型或新methods可信度,也能起到增加工作量,增加论文字数的作用,如研究者想到一个method,一两页就介绍加推理加证明完了,效果明显,但作为一篇论文却字数太少,工作量不够多,就可以考虑可视化使用了这个methods的网络与没有使用这个methods的网络,进行对比,分析分析,就可以变成一篇完整的论文了。此外,CNN可视化还有一个作用,根据可视化某个网络的结果分析其不足之处,从而提出新的改进方法。例如:ZFNet正是对AlexNet进行可视化后改进而来,获得了ILSVRC2014的冠军。CNN可视化方法一、特征图可视化。特征图可视化有两类方法,一类是直接将某一层的feature map映射到0-255的范围,变成图像。另一类是使用一个反卷积网络(反卷积、反池化)将feature map变成图像,从而达到可视化feature map的目的。二、卷积核可视化。三、类激活可视化。这个主要用于确定图像哪些区域对识别某个类起主要作用。如常见的热力图(Heat Map),在识别猫时,热力图可直观看出图像中每个区域对识别猫的作用大小。这个目前主要用的方法有CAM系列(CAM、Grad-CAM、Grad-CAM++)。四、一些技术工具。通过一些研究人员开源出来的工具可视化CNN模型某一层。CNN技术总结将按照这四个方法,分成四个部分总结CNN可视化技术。对于以后出现新的技术,或者补充,将更新在公众号CV技术指南的技术总结部分。在本文,主要介绍第一类方法,特征图可视化。
-
深入认识我们习以为常的现象ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness ( ICLR 2019 ) 现代 CNN 网络有很强的特征表示学习能力,能在 ImageNet 上得到很高的识别准确率。不过,不断改进网络架构、不断刷分的人多,探究 CNN 到底学到了怎么样的特征表示的人少。按理说,对象识别的边界和纹理之争早就存在,不过我们终于还是在 2019 年看到了针对性的研究论文。这篇论文中的实验表明,展示了在 ImageNet 上训练的 CNN 会带有纹理偏倚;增加形状偏倚可以提高准确度和鲁棒性,在 ImageNet 上训练的 CNN 网络在对象识别中依赖纹理远多于依赖形状;这其实和人类对自己的识别模式的认知有很大区别,也和我们对 CNN 工作方式的理解有所不同。作者们的结论有充分的实验支持,他们甚至用生成的风格转换数据集训练了依赖形状更多的 CNN,这样的 CNN 在识别准确率和鲁棒性方面都有提高。这篇论文被 ICLR 2019 接收。 论文地址:https://arxiv.org/abs/1811.12231 转自,杨晓凡,https://www.leiphone.com/news/201912/TK9EEFIUdjdbAC4J.html
-
序列到序列:处理序列数据另一个比较流行的方法是序列到序列的转换,即将一个序列转换为另一个序列。此方法一般机器翻译常用,通常依赖于具有编码器-解码器结构的神经网络模型,其中编码器神经网络接收输入序列并学习提取重要特征,然后解码器神经网络使用该特征来产生目标输出。该范式已经用于生物学和能源预测,其中在里面发挥重要作用的是Attention技术。递归神经网络模型的示意图问答也能够作为处理序列数据的一个基准,此类神经网络模型的标准是:一段文字(作为上下文)和一个具体的问题作为输入,回答的段落作为输出。值得一提的是,问答模型要求的神经网络模型必须能够理解不同序列集的相关性和相似性。处理序列数据比较强大的神经网络有递归神经网络、注意力机制、Transformers。递归神经网络(RNN)包括一层内的加权连接(与传统前馈网络相比,连接仅馈送到后续层)。因为RNN包含循环,所以它们可以在处理新输入的同时存储信息。这种记忆使它们非常适合处理必须考虑事先输入的任务(比如时间序列数据)。递归神经网络(RNN)非常适合处理文本、语音、视频等时间序列数据样本。注意力在深度学习中可以大致理解为对于某一个向量关注的程度如何,这个向量可能表示的是图像中的某一局部区域或是句子中的某个词,使用注意力向量来估计关注的部分和其他元素之间的关系强弱,并将不同部分的值的和用注意力向量加权得到的结果作为目标的近似值。虽然注意力有助于解决远程依赖中的挑战,但RNN训练起来仍然很慢,NLP中的Transformer是全新的框架,旨在解决序列到序列的任务,同时轻松处理长时依赖。其用全attention的结构代替了lstm,能够在翻译任务上取得了更好的成绩。在科研中也有几个有趣的例子,如在蛋白质序列上进行训练并找到编码有意义的生物特性的表征。转自,蒋宝尚,https://www.leiphone.com/news/202004/P17m2mt9pwdUgpwP.html
-
首次在大规模图像数据集(ImageNet)实现了深层卷积神经网络结构,引发深度学习热潮的AlexNet 论文(https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf)在 2012 年引入了分组卷积。实现分组卷积的主要原因是让网络训练可在 2 个内存有限(每个 GPU 有 1.5 GB 内存)的 GPU 上进行。下面的 AlexNet 表明在大多数层中都有两个分开的卷积路径。这是在两个 GPU 上执行模型并行化(当然如果可以使用更多 GPU,还能执行多 GPU 并行化)。分组卷积的优点高效训练由于卷积可分为多个路径,因此每个路径可以由不同的GPU进行处理。此过程允许以并行的方式对多个GPU进行模型训练。这种基于多GPU的模型并行化允许网络在每个步骤处理更多图像。一般认为模型并行化比数据并行化效果更好,后者将数据集分成多个批次(Batch),然后分开训练每一批次。但是当批次大小过小时,本质上执行的是随机梯度下降,而非批梯度下降,这会造成收敛速度缓慢切收敛结果更差。在训练非常深的神经网络时,分组卷积会非常重要,正如下图ResNeXt中那样,图片来自论文(https://arxiv.org/abs/1611.05431)模型性能更优这有一点让人惊讶,分组卷积在某些情况下能提供比标准2D卷积更好的模型。这在文章(https://blog.yani.io/filter-group-tutorial/)有很好地解释,这里仅做简要的分析。原因主要和稀疏滤波器(稀疏矩阵)有关。下图是相邻层滤波器的相关性,为稀疏关系。图为在 CIFAR10 上训练的一个 Network-in-Network 模型中相邻层的过滤器的相关性矩阵。高度相关的过滤器对更明亮,而相关性更低的过滤器则更暗。图片来自:https://blog.yani.io/filter-group-tutorial
-
扩张卷积由这两篇引入:https://arxiv.org/abs/1412.7062;https://arxiv.org/abs/1511.07122这是一个标准的离散卷积:扩张卷积如下:
-
在使用转置卷积时观察到一个棘手的现象(尤其是深色部分常出现)就是"棋盘格子状伪影",被命名为棋盘效应(Checkboard artifacts)。下图直观地展示了棋盘效应(来源:https://distill.pub/2016/deconv-checkerboard/)本文仅做简要介绍,详细部分请参考论文:Deconvolution and Checkerboard Artifacts(https://distill.pub/2016/deconv-checkerboard)棋盘效应是由于转置卷积的“不均匀重叠”(Uneven overlap)的结果。使图像中某个部位的颜色比其他部位更深。尤其是当卷积核(Kernel)的大小不能被步长(Stride)整除时,反卷积就会不均匀重叠。虽然原则上网络可以通过训练调整权重来避免这种情况,但在实践中神经网络很难完全避免这种不均匀重叠。下面通过一个详细的例子,更为直观展示棋盘效应。下图的顶部部分是输入层,底部部分为转置卷积输出结果。结果转置卷积操作,小尺寸的输入映射到较大尺寸的输出(体现在长和宽维度)。在(a)中,步长为1,卷积核为2*2。如红色部分所展示,输入第一个像素映射到输出上第一个和第二个像素。而正如绿色部分,输入的第二个像素映射到输出上的第二个和第三个像素。则输出上的第二个像素从输入上的第一个和第二个像素接收信息。总而言之,输出中间部分的像素从输入中接收的信息存在重叠区域。在示例(b)中的卷积核大小增加到3时,输出所接收到的大多数信息的中心部分将收缩。但这并不是最大的问题,因为重叠仍然是均匀的。如果将步幅改为2,在卷积核大小为2的示例中,输出上的所有像素从输入中接收相同数量的信息。由下图(a)可见,此时描以转置卷积的重叠。若将卷积核大小改为4(下图(b)),则均匀重叠区域将收缩,与此同时因为重叠是均匀的,故仍然为有效输出。但如果将卷积核大小改为3,步长为2(下图(c)),以及将卷积核大小改为5,步长为2(下图(d)),问题就出现了,对于这两种情况输出上的每个像素接收的信息量与相邻像素不同。在输出上找不到连续且均匀重叠区域。在二维情况下棋盘效应更为严重,下图直观地展示了在二维空间内的棋盘效应。
-
对于很多生成模型(如GAN中的生成器、自动编码器(Autoencoder)、语义分割等模型)。我们通常希望进行与正常卷积相反的装换,即我们希望执行上采样,比如自动编码器或者语义分割。(对于语义分割,首先用编码器提取特征图,然后用解码器回复原始图像大小,这样来分类原始图像的每个像素。)实现上采样的传统方法是应用插值方案或人工创建规则。而神经网络等现代架构则倾向于让网络自己自动学习合适的变换,无需人类干预。为了做到这一点,我们可以使用转置卷积。转置卷积在文献中也被称为去卷积(Deconvolution)或微步幅卷积(Fractionally strided convolution)。但是,需要指出去卷积这个名称并不是很合适,因为转置卷积并非信号/图像处理领域定义的那种真正的去卷积。从技术上讲,信号处理中的去卷积是卷积运算的逆运算。但这里却不是这种运算。后面我们会介绍为什么将这种运算称为转置卷积更自然且更合适。我们可以使用常见卷积实现转置卷积。这里我们用一个简单的例子来说明,输入层为2*2,先进行填充值Padding为2*2单位步长的零填充,再使用步长Stride为1的3*3卷积核进行卷积操作则实现了上采样,上采样输出的大小为4*4。值得一提的是,可以通过各种填充和步长,我们可以将同样的2*2输入映射到不同的图像尺寸。下图,转置卷积被应用在同一张2*2的输入上(输入之间插入了一个零,并且周围加了2*2的单位步长的零填充)上应用3*3的卷积核,得到的结果(即上采样结果)大小为5*5通过观察上述例子中的转置卷积能够帮助我们构建起一些直观的认识。但为了进一步应用转置卷积,我们还需要了解计算机的矩阵乘法是如何实现的。从实现过程的角度我们可以理解为何转置卷积才是最合适的名称
-
在上一个插图中,可以看出,这实际上是在完成3D卷积。但通常意义上,仍然称之为深度学习的2D卷积。因为将滤波器深度和输入层深度相同,3D滤波器仅在2个维度上移动(例如图像的高度和宽度),得到的结果为单通道。通过将2D卷积的推广,在3D卷积定义为滤波器的深度小于输入层的深度(即卷积核的个数小于输入层通道数),故3D滤波器需要在三个维度上滑动(输入层的长、宽、高)。在滤波器滑动的每个位置执行一次卷积操作,得到一个数值。当滤波器滑过整个3D空间,输出的结构也是3D的2D卷积和3D卷积的主要区别为滤波器滑动的空间维度。3D卷积的优势在于描述3D空间中的对象关系。3D关系在某一些应用中十分重要,如3D对象的分割以及医学图像的重构等。
-
2D卷积(2D Convolution)3D卷积(3D Convolution)1*1卷积(1*1 Convolution)反卷积(转置卷积)(Transposed Convolution)扩张卷积(Dilated Convolution / Atrous Convolution)空间可分卷积(Spatially Separable Convolution)深度可分卷积(Depthwise Separable Convolution)平展卷积(Flattened Convolution)分组卷积(Grouped Convolution)混洗分组卷积(Shuffled Grouped Convolution)逐点分组卷积(Pointwise Grouped Convolution)
-
工程TensorFlow 2.X,会是它走下神坛的开始?都1202年了,机器学习还要用TensorFlow吗?2020/12/25 19:24原文链接产业登上NIST竞赛榜单,获得BCTC增强级活体认证:小视再攀高峰!国内的计算机视觉创业公司中,有一家因为先进的活体检测技术正在迅速引起人们的关注。2020/12/25 19:22原文链接NPU时代,边缘智能走向何方?加入这场技术工作坊,一起解读边缘智能引擎趋势!OPEN AI LAB 专场—NPU时代的边缘智能引擎趋势2020/12/25 15:00原文链接IT不重要这篇写于十七年前的文章《IT Doesn't Matter》研究了信息技术在商业中的发展规律,结果发现,它遵循着与铁路、电力等早期技术极为相似的传播和演化规律。通过一系列示例,作者展示了IT创新如何迅速成为共享业务基础设施的一部分,从而抵消了它们提供竞争优势的能力。2020/12/25 14:57原文链接深度对话杨植麟博士:NLP科研和创业的方法论对话循环智能联合创始人2020/12/25 10:20原文链接理论速度、准确率与泛化性能媲美SOTA CNN:Facebook提出高效图像TransformerFacebook提出数据高效图像Transformer (DeiT),高效处理图像分类任务。2020/12/25 19:21原文链接入门只有170字节,最小的64位Hello World程序这样写成如何编写出最小的 64 位 Hello World 程序?2020/12/25 19:20原文链接其他用iPhone给林徽因拍照是啥样?这款“穿越相机”把老照片变现代风开发“水淹食堂”的ACM班校友罗璇又出新作2020-12-25 14:49:36原文链接会议摘要怎么写?这篇论文手把手教你科研新手福音2020-12-25 13:10:09原文链接知道了05后的隐藏技能之后,我酸了…05后要上“天”了2020-12-25 12:31:50原文链接
-
1.人脑与计算机面部感知对比:深度卷积神经网络在计算等特定任务上(比如身份识别)要比人类熟练得多,但在学习对称性、均匀性和一致性等语义概念时却比人类困难得多。2.预训练的CNN模型:所有用于人脸图像的样式转换方法在应用样式转换之前都需要在样式图像和内容图像之间进行某种类型的匹配。否则会造成伪影和面部结构的变形。3.变分自编码器VAE:关于人脸图像,VAE模型在学习变化的隐藏因素方面非常有效。性能不如最大化数据可能性本身的生成模型。与其他生成模型相比,VAEs生成的样本更模糊,质量更低。提高VAEs生成样本的质量是一个开放的问题,正在积极研究。找到让他们学习潜在表征的方法仍然是具有挑战性的研究问题。4.生成性对抗网络:GANs没有显式建模和求解数据集密度函数,而是专注于从该分布生成样本。GANs对这个问题的解决方案是首先从简单的已知潜在分布(如随机噪声)中采样,然后学习将这个样本转换成训练分布的样本。用GANs的主要缺点是试图同时训练两个网络。这可能具有挑战性,因为它会导致对超参数的选择非常敏感的不稳定和困难的过程。一个非常活跃的研究领域是寻找更好的损失函数,使GANs的训练更加稳定。遗传神经网络的另一个主要问题是模式崩溃现象,这是在遗传神经网络生成的样本中普遍观察到的缺乏多样性。许多研究人员一直致力于通过提高GAN组织样本的多样性来解决这个问题。5.自回归模型:PixelRNNs和PixelRNNs是强大的生成模型,提供了一个显式和易处理的数据似然计算框架。由于这种显式似然计算,他们能够生成高质量的样本。这些型号的主要缺点是速度慢。因此,寻找提高这组生成模型速度的方法是一个活跃的研究领域。关于人脸图像,像素神经网络和像素神经网络在生成像素级细节方面工作良好,并且能够提高生成的人脸的视觉质量。然而,与前面提到的生成模型组不同,它们不能从人脸图像中提取高级语义概念。因此,当涉及到对人脸图像执行语义操作时,它们在混合框架中工作得最好,在混合框架中,一些其他的生成模型负责提取语义概念,而自回归模型通过向生成的图像添加真实的细节来提高图像的质量。6.基于流的模型:基于流的生成模型总结了所有以前成功的模型的优点。类似于自回归模型,它们定义了一个易于处理的对数似然估计。与VAEs类似,它们的功能形式是灵活的。此外,他们的采样过程快速准确,类似于GANs。此外,它们能够以精确和有效的方式实现可解释的潜在空间表示。然而,与其他三组生成模式相比,它们迄今为止在研究人员中受到的关注较少,这意味着有相当大的改进空间。7.混合深层生成模型:生成模型中的另一个强大趋势是将两个以前回顾过的模型组合在一个框架中的模型组,因为它们试图利用各自的优点,同时避免它们的缺点。混合深度生成模型是一组很有前途的用于人脸图像合成和语义操作的深度生成模型。他们利用不同模型中的优点,同时通过将具有相反强度的模型结合到框架中来弥补它们的缺点。因此,他们能够生成具有显著的真实感和视觉质量的语义编辑的人脸图像。
-
第1章中介绍了梯度下降算法训练回归模型,神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数,那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播(Backward Propagation)算法,使得计算梯度更加有效率。在介绍反向传播之前,先来介绍一下链式法则。假设有两个函数y=g(x)和z=h(y),那么z对x的求导过程如下:假设有三个函数x=g(s)、y=h(s)和z=k(x,y),z对s的求导过程如下:神经网络的梯度计算,就是依赖链式法则一层层反向传播的。如图3.4所示的前向神经网络,输入层有n个属性x1,x2,…,xn,中间隐藏层有p个神经元,第j个神经元为hj,j∈(0,p-1)。输出层为q维。对隐藏层的每一个神经元hj,先经过一个线性变换,公式如下:式中,wj0——偏置值;wj1,wj2,…,wjn——作用在属性x1,x2,…,xn上的权重。[插图]输入给神经元后,经过激活函数的作用得到[插图]。第二层同理有神经元输入:输出。以上为前向神经网络的前向传播(ForwardPropagation)过程。对单个数据样本(x,y),假设损失函数为均方差,则对第k个输出项的损失为:通过链式法则,损失函数对权重vkj的梯度为:式中,第一项第三项而对于第二项,假设激活函数为sigmoid函数,则梯度有一个很好的性质,即:三项相乘可以得到:由于真实标签yk由数据给定,而输出值[插图]与hj均由前向传播算法计算得到,则可以轻易地计算得到每个中间层权重vkj,并且该计算过程可以并行进行。类似地,可以得到损失值在隐藏单元hj上的累积梯度为同理,可以通过链式法则,得到损失函数对第一层权重wji的梯度为(假设隐藏层激活函数为ReLU函数):在上一步计算得到后,也可以高效并行地计算出。在上述过程中,假设了损失函数是均方差,激活函数为sigmoid和ReLU,其实这样的计算法则对任意可微的损失函数和激活函数都是有效的。从计算过程来看,在前向传播得到隐藏层与输出层数值后,先从损失函数算起,接着从顶层逐渐计算梯度,将梯度逐层往输入层传播。这与前向传播的顺序是相反的,也是该算法为什么被称为反向传播的原因。反向传播(见图3.5)得到所有参数的梯度之后,可以利用梯度下降算法对参数进行更新迭代,从而达到训练神经网络的目的。神经网络训练过程如算法3.1所示。输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:训练完成的神经网络(1) 初始化网络参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机无放回选取b个样本mb(4) 前向传播逐层计算隐藏层的参数值,得到样本输出(5) 根据损失函数计算误差,得到输出层梯度(6) 反向逐层计算隐藏层梯度(7) 计算连接参数梯度并更新参数 本文转载自华为云社区 作者:HWCloudAI
-
本章介绍了深度神经网络的几个相关概念,并给出了用MindSpore实现简单神经网络的样例。深度学习(Deep Learning)与传统机器学习最大的不同在于其利用神经网络对数据进行高级抽象。而最基础的神经网络结构为前向神经网络(Feed forwardNeural Network,FNN),又称多层感知机(Multi-Layer Perceptron,MLP)。在介绍多层感知机之前,先来认识一下神经网络的基础单元——感知机。如图3.1所示,x1,x2,…,xn为输入,w1,w2,…,wn为与之对应的权重,w0为偏置。感知机对这些输入进行加权求和,再加上偏置值w0,最后通过激活函数f(·)得到神经元的输出。在分类问题中提到的逻辑函数为一种常用的激活函数(Activation Function),目的是将一个在较大范围变化的值挤压到(0,1)的输出值范围内,或者输出0/1对应的概率值。此外,双余弦函数以及修正线性单元(Rectified Linear Unit,ReLU)函数ReLU(x)=max(x,0)也经常作为神经元的激活函数。这些激活函数的目的都是为神经元带来非线性运算。相比线性函数而言,非线性函数的表达能力更强,图3.2展示了这三种激活函数的形状。尽管非线性激活函数的单个神经元带来了非线性特征,但它只拥有一层神经元,学习能力非常有限,仍然只能处理线性可分的问题。为了解决更复杂的非线性可分问题,多层感知机(MLP)被提出。图3.3为一个简单的三层前向神经网络模型,包括输入层、隐藏层和输出层。数据x作为输入提供给输入层,经过线性映射和非线性激活函数,得到隐藏层。隐藏层再经过一层运算得到输出层。其中输入层的节点数由数据本身的属性数量决定,输出层的节点数可以是类别个数、抽象特征个数等。隐藏层的层数人为指定,并且层数可以是一层或多层,每个隐藏层上都可设置一类非线性激活函数。经过线性组合与非线性变换,这个由多层神经元组成的函数模型,具有更强大的学习能力。 本文转载自华为云社区 作者:HWCloudAI
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签