• [其他] 深度学习的应用
    计算机视觉香港中文大学的多媒体实验室是最早应用深度学习进行计算机视觉研究的华人团队。在世界级人工智能竞赛LFW(大规模人脸识别竞赛)上,该实验室曾力压FaceBook夺得冠军,使得人工智能在该领域的识别能力首次超越真人。语音识别微软研究人员通过与hinton合作,首先将RBM和DBN引入到语音识别声学模型训练中,并且在大词汇量语音识别系统中获得巨大成功,使得语音识别的错误率相对减低30%。但是,DNN还没有有效的并行快速算法,很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。在国际上,IBM、google等公司都快速进行了DNN语音识别的研究,并且速度飞快。 国内方面,阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位,也在进行深度学习在语音识别上的研究。自然语言处理等其他领域很多机构在开展研究,2013年,Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean发表论文Efficient Estimation of Word Representations in Vector Space建立word2vector模型,与传统的词袋模型(bag of words)相比,word2vector能够更好地表达语法信息。深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。
  • [其他] 深度学习训练过程
    深度学习训练过程语音2006年,Hinton提出了在非监督数据上建立多层神经网络的一个有效方法,具体分为两步:首先逐层构建单层神经元,这样每次都是训练一个单层网络;当所有层训练完后,使用wake-sleep算法进行调优。将除最顶层的其他层间的权重变为双向的,这样最顶层仍然是一个单层神经网络,而其他层则变为了图模型。向上的权重用于“认知”,向下的权重用于“生成”。然后使用wake-sleep算法调整所有的权重。让认知和生成达成一致,也就是保证生成的最顶层表示能够尽可能正确的复原底层的节点。比如顶层的一个节点表示人脸,那么所有人脸的图像应该激活这个节点,并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。wake-sleep算法分为醒( wake)和睡(sleep)两个部分。wake阶段:认知过程,通过外界的特征和向上的权重产生每一层的抽象表示,并且使用梯度下降修改层间的下行权重。sleep阶段:生成过程,通过顶层表示和向下权重,生成底层的状态,同时修改层间向上的权重。自下上升的非监督学习就是从底层开始,一层一层地往顶层训练。采用无标定数据(有标定数据也可)分层训练各层参数,这一步可以看作是一个无监督训练过程,这也是和传统神经网络区别最大的部分,可以看作是特征学习过程。具体的,先用无标定数据训练第一层,训练时先学习第一层的参数,这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层,由于模型容量的限制以及稀疏性约束,使得得到的模型能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征;在学习得到n-l层后,将n-l层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数。自顶向下的监督学习就是通过带标签的数据去训练,误差自顶向下传输,对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数,这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程,由于第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。
  • [其他] 科学工程 - 线性代数
    分支  线性代数作为数学的一个分支,广泛应用于科学和工程中。离散数学  然而,因为线性代数主要是面向连续数学,而非离散数学,所以很多计算机科学家很少接触它。算法  掌握好线性代数对于理解和从事机器学习算法相关工作是很有必要的,尤其对于深度学习算法而言。深度学习  因此,在开始介绍深度学习之前,我们集中探讨一些必备的线性代数知识。跳过  如果你已经很熟悉线性代数,那么可以轻松地跳过。概念  如果你已经了解这些概念,但是需要一份索引表来回顾一些重要公式,那么我们推荐\emph{The Matrix Cookbook} {cite?}。文献  如果你没有接触过线性代数,那么本章将告诉你本书所需的线性代数知识,不过我们仍然非常建议你参考其他专门讲解线性代数的文献,例如~{shilov1977linear}。知识  最后,本章略去了很多重要但是对于理解深度学习非必需的线性代数知识。
  • [其他] 机器学习 基础
    分析  因为各种媒体宣传,最近问问学校新入学计算机科学的学生们,想搞什么研究,结果十个里有九个要研究机器学习,中间还一些弄不清深度学习和机器学习的关系,实际上是想搞深度学习。  原本深度学习(深度神经网络)只是机器学习领域一个分支,但因为其最近大火,导致对整个领域出现了这样的划分:深度的和非深度,或者说深度的和传统的。虽然现在自然语言处理研究主要用深度学习,但因为很多概念来自机器学习,还是有必要了解传统机器学习的。而且如最近周志华提出的深度森林,将其他传统机器学习方法和深度学习的理念结合起来,就可以提出一些很有意思的模型。入门  最开始想简单了解一下,那么第一步,可以只将 Goodfellow 的 Deep Learning 前面介绍小节读一下,第四小节的 Numerical Computations 以及第五小节的 Machine Learning Basics. 主要会介绍简单的数值运算,梯度更新,还有机器学习基本概念,但没怎么提太详细。  之后就是鼎鼎有名吴教授在 Cousera 上的 Machine Learning。这门课没太多说的,太有名了。一如吴教授的风格,简单易懂,练习也不难,相信网上也都能找到答案。有点麻烦的是,作业是用 Octave 来完成,当然因为 Octave 和 MATLAB的关系,用MATLAB 也是可以的。里面有些东西挺老的,但核心概念都很有用,特别是模型训练策略,错误分析。基础  接着,可以读读我挺喜欢的 NLP 大佬 Kyunghyun Cho 的 ML w/o DL Lecture Notes (没有深度学习的机器学习课堂笔记)。介绍了机器学习中经典的一些问题,比如分类,回归,还有聚类,还提到各自的一些算法以及与深度学习的一些联系。值得一提的是,该资料带有 Jupyter Notebook 的习题作业,所以很推荐把这些作业也做了,可以打下很好的基础。但这个资料介绍不太全面,而且没有课程视频。  还有一个额外的资源是,加州理工 Yaser Abu-Mostafa 的 Learning From Data,这个没上过,也不好评价。但是根据其他评价是门很棒的课。  中文资料,可以读李航的《统计学习方法》还有周志华的《机器学习》,两本都不是太难读。进阶  了解了基础,如果还想挑战自己,可以试试卡内基梅隆大学,Tom Mitchell 教授的 Machine Learning 课程。相比之前的资料,这门课涉及到很多更深入的话题,概率图模型,Boosting,SVM的核方法,强化学习...
  • [其他] 深度学习 - 图像检索
    一  随着深度学习的引入,基于深度学习的图像检索技术,主要是将深度学习方法应用在图像检索中的特征提取模块,利用卷积神经网络提取图片特征。二  主要步骤即给定一张图片,通过卷积神经网络对图片进行特征提取得到表征图片的特征,利用度量学习方法如欧式距离对图片特征进行计算距离。三  对图片距离进行排序,得到初级检索结果,再根据图片数据的上下文信息和流形结构对图像检索结果进行重排序,从而提高图像检索准确率,得到最终的检索结果。
  • [其他] 人脸识别算法介绍 - 局部二值模式
    一  局部二值模式(Local binary patterns LBP)是计算机视觉领域里用于分类的视觉算子。二  LBP,一种用来描述图像纹理特征的算子,该算子由芬兰奥卢大学的T.Ojala等人在1996年提出。。三  2002年,T.Ojala等人在PAMI上又发表了一篇关于LBP的文章非常清楚的阐述了多分辨率、灰度尺度不变和旋转不变、等价模式的改进的LBP特征。四  LBP的核心思想就是:以中心像素的灰度值作为阈值,与他的领域相比较得到相对应的二进制码来表示局部纹理特征。五  LBP是提取局部特征作为判别依据的。六  LBP方法显著的优点是对光照不敏感,但是依然没有解决姿态和表情的问题。七  不过相比于特征脸方法,LBP的识别率已经有了很大的提升。
  • [其他] 人工智能走向深度学习
      据介绍,人工智能比较大的挑战之一是识别度不高、准确度不高,提高准确度就要提高模型的规模和精细度,提高线下训练的频次,这需要更强的计算力。当前随着人工智能算法模型的复杂度和精度愈来愈高,互联网和物联网产生的数据呈几何倍数增长,在数据量和算法模型的双层叠加下,人工智能对计算的需求越来越大。   “2016年3月,谷歌人工智能阿尔法围棋(AlphaGo)战胜韩国棋手李世石时,人们慨叹人工智能的强大,而其背后巨大的‘付出’却鲜为人知——数千台服务器、上千块CPU、高性能显卡以及对弈一场棋所消耗的惊人电量。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示。   “相比云计算和大数据等应用,人工智能对计算力的需求几乎无止境。”中国工程院院士、浪潮集团首席科学家王恩东也指出。   据介绍,人工智能比较大的挑战之一是识别度不高、准确度不高,提高准确度就要提高模型的规模和精细度,提高线下训练的频次,这需要更强的计算力。   当前随着人工智能算法模型的复杂度和精度愈来愈高,互联网和物联网产生的数据呈几何倍数增长,在数据量和算法模型的双层叠加下,人工智能对计算的需求越来越大。   从中国信息通信研究院王蕴韬在通信世界网发表的文章了解,人工智能基础设施建设重要一方面是继续夯实通用算力基础。  当前算力供给已经无法满足智能化社会构建,根据OpenAI统计,从2012年至2019年,随着深度学习“大深多”模型的演进,模型计算所需计算量已经增长30万倍,无论是计算机视觉还是自然语言处理,由于预训练模型的广泛使用,模型所需算力直接呈现阶跃式发展。   据斯坦福《AIINDEX2019》报告,2012年之前,人工智能的计算速度紧追摩尔定律,算力需求每两年翻一番,2012年以后,算力需求的翻番时长则直接缩短为3、4个月。  面对已经每过20年才能翻一番的通用计算供给能力,算力捉襟见肘已经不言而喻。   无疑,人工智能走向深度学习,计算力已成为评价人工智能研究成本的重要指标。   未来如何解决算力难题,据科技日报报道,目前计算存储一体化正在助力、推动算法升级,成为下一代AI系统的入口。  存内计算提供的大规模更高效的算力,使得AI算法设计有更充分的想象力,不再受到算力约束。从而将硬件上的先进性,升级为系统、算法的领先优势,最终加速孵化新业务。   而除了计算存储一体化的趋势,量子计算或是解决AI所需巨额算力的另一途径。  目前量子计算机的发展已经超越传统计算机的摩尔定律,以传统计算机的计算能力为基本参考,量子计算机的算力正迅速发展。
  • [其他] 机器学习的方法论
      在深度学习中,经常有“end-to-end(端到端)”学习的提法,与之相对应的传统机器学习是“Divide and Conquer(分而治之)”。这些都是什么意思呢?    “end-to-end”(端到端)说的是,输入的是原始数据(始端),然后输出的直接就是最终目标(末端),中间过程不可知,因此也难以知。比如说,基于深度学习的图像识别系统,输入端是图片的像素数据,而输出端直接就是或猫或狗的判定。这个端到端就是:像素-->判定。    再比如说,“end-to-end”的自动驾驶系统,输入的是前置摄像头的视频信号(其实也就是像素),而输出的直接就是控制车辆行驶指令(方向盘的旋转角度)。这个端到端就是:像素-->指令。    就此,有人批评深度学习就是一个黑箱(Black Box)系统,其性能很好,却不知道为何而好,也就是说,缺乏解释性。其实,这是由于深度学习所处的知识象限决定的。从图1可以看出,深度学习,在本质上,属于可统计不可推理的范畴。“可统计”是很容易理解的,就是说,对于同类数据,它具有一定的统计规律,这是一切统计学习的基本假设。那“不可推理”又是什么概念?其实就是“剪不断、理还乱”的非线性状态了。    在哲学上讲,这种非线性状态,是具备了整体性的“复杂系统”,属于复杂性科学范畴。复杂性科学认为,构成复杂系统的各个要素,自成体系,但阡陌纵横,其内部结构难以分割。简单来说,对于复杂系统,1+1≠2,也就是说,一个简单系统,加上另外一个简单系统,其效果绝不是两个系统的简单累加效应,而可能是大于部分之和。因此,我们必须从整体上认识这样的复杂系统。于是,在认知上,就有了从一个系统或状态(end)直接整体变迁到另外一个系统或状态(end)的形态。这就是深度学习背后的方法论。    与之对应的是“Divide and Conquer(分而治之)”,其理念正好相反,在哲学它属于“还原主义(reductionism,或称还原论)”。在这种方法论中,有一种“追本溯源”的蕴意包含其内,即一个系统(或理论)无论多复杂,都可以分解、分解、再分解,直到能够还原到逻辑原点。    在意象上,还原主义就是“1+1=2”,也就是说,一个复杂的系统,都可以由简单的系统简单叠加而成(可以理解为线性系统),如果各个简单系统的问题解决了,那么整体的问题也就得以解决。比如说,很多的经典力学问题,不论形式有多复杂,通过不断的分解和还原,最后都可以通过牛顿的三大定律得以解决。经典机器学习(位于第Ⅱ象限),在哲学上,在某种程度上,就可归属于还原主义。传统的机器学习方式,通常是用人类的先验知识,把原始数据预处理成各种特征(feature),然后对特征进行分类。    然而,这种分类的效果,高度取决于特征选取的好坏。传统的机器学习专家们,把大部分时间都花在如何寻找更加合适的特征上。因此,早期的机器学习专家们非常苦逼,故此,传统的机器学习,其实可以有个更合适的称呼——特征工程(feature engineering)。    但这种苦逼,也是有好处的。这是因为,这些特征是由人找出来的,自然也就为人所能理解,性能好坏,机器学习专家们可以“冷暖自知”,灵活调整。
  • [其他] 机器学习 概述
      机器学习(Machine Learning,ML) 是使用计算机来彰显数据背后的真实含义,它为了把无序的数据转换成有用的信息。是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。  它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。  海量的数据  获取有用的信息机器学习 研究意义  机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能”。  “机器学习是对能通过经验自动改进的计算机算法的研究”。     “机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。”  一种经常引用的英文定义是:A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.  机器学习已经有了十分广泛的应用,例如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。机器学习 场景例如:识别动物猫模式识别(官方标准):人们通过大量的经验,得到结论,从而判断它就是猫。机器学习(数据学习):人们通过阅读进行学习,观察它会叫、小眼睛、两只耳朵、四条腿、一条尾巴,得到结论,从而判断它就是猫。深度学习(深入数据):人们通过深入了解它,发现它会'喵喵'的叫、与同类的猫科动物很类似,得到结论,从而判断它就是猫。(深度学习常用领域:语音识别、图像识别)模式识别(pattern recognition): 模式识别是最古老的(作为一个术语而言,可以说是很过时的)。我们把环境与客体统称为“模式”,识别是对模式的一种认知,是如何让一个计算机程序去做一些看起来很“智能”的事情。通过融于智慧和直觉后,通过构建程序,识别一些事物,而不是人,例如: 识别数字。机器学习(machine learning): 机器学习是最基础的(当下初创公司和研究实验室的热点领域之一)。在90年代初,人们开始意识到一种可以更有效地构建模式识别算法的方法,那就是用数据(可以通过廉价劳动力采集获得)去替换专家(具有很多图像方面知识的人)。“机器学习”强调的是,在给计算机程序(或者机器)输入一些数据后,它必须做一些事情,那就是学习这些数据,而这个学习的步骤是明确的。机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能的学科。深度学习(deep learning): 深度学习是非常崭新和有影响力的前沿领域,我们甚至不会去思考-后深度学习时代。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
  • [其他] 上溢 和 下溢
      连续数学在数字计算机上的根本困难是,我们需要通过有限数量的位模式来表示无限多的实数。 这意味着我们在计算机中表示实数时,几乎总会引入一些近似误差。 在许多情况下,这仅仅是舍入误差。 舍入误差会导致一些问题,特别是当许多操作复合时,即使是理论上可行的算法,如果在设计时没有考虑最小化舍入误差的累积,在实践时也可能会导致算法失效。  一种极具毁灭性的舍入误差是下溢。 当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。 例如,我们通常要避免被零除(一些软件环境将在这种情况下抛出异常,有些会返回一个非数字(not-a-number, NaN)的占位符)或避免取零的对数(这通常被视为$-\infty$,进一步的算术运算会使其变成非数字)。  另一个极具破坏力的数值错误形式是上溢。 当大量级的数被近似为$\infty$或$-\infty$时发生上溢。 进一步的运算通常会导致这些无限值变为非数字。  必须对上溢和下溢进行数值稳定的一个例子是softmax函数。 softmax函数经常用于预测与~Multinoulli分布相关联的概率,定义为 \begin{align} \text{softmax}(\Vx)i = \frac{\exp(\Sx_i)}{\sum{j=1}^n \exp(\Sx_j)} . \end{align} 考虑一下当所有$\Sx_i$都等于某个常数$\Sc$时会发生什么。 从理论分析上说,我们可以发现所有的输出都应该为$\frac{1}{n}$。 从数值计算上说,当$\Sc$量级很大时,这可能不会发生。 如果$\Sc$是很小的负数,$\exp(c)$就会下溢。 这意味着~softmax函数的分母会变成0,所以最后的结果是未定义的。 当$\Sc$是非常大的正数时,$\exp(c)$的上溢再次导致整个表达式未定义。 这两个困难能通过计算$\text{softmax}(\Vz)$同时解决,其中$\Vz = \Vx - \max_i \Sx_i$。 简单的代数计算表明,$\text{softmax}$解析上的函数值不会因为从输入向量减去或加上标量而改变。 减去$\max_i x_i$导致$\exp$的最大参数为$0$,这排除了上溢的可能性。 同样地,分母中至少有一个值为1的项,这就排除了因分母下溢而导致被零除的可能性。  还有一个小问题。 分子中的下溢仍可以导致整体表达式被计算为零。 这意味着,如果我们在计算$\log ~\text{softmax}(\Vx)$时,先计算$\text{softmax}$再把结果传给$\log$函数,会错误地得到$-\infty$。 相反,我们必须实现一个单独的函数,并以数值稳定的方式计算$\log \text{softmax}$。 我们可以使用相同的技巧来稳定$\log \text{softmax}$函数。  在大多数情况下,我们没有明确地对本书描述的各种算法所涉及的数值考虑进行详细说明。 底层库的开发者在实现深度学习算法时应该牢记数值问题。 本书的大多数读者可以简单地依赖保证数值稳定的底层库。 在某些情况下,我们有可能在实现一个新的算法时自动保持数值稳定。 Theano~{cite?}就是这样软件包的一个例子,它能自动检测并稳定深度学习中许多常见的数值不稳定的表达式。
  • [行业动态] 5 至 8 层人工神经元才能达到单个生物神经元的复杂度
    人工神经元和生物神经元之间最基本的比较是它们如何处理传入的信息。这两种神经元都接收传入信号,并根据输入信息决定是否将信号发送给其他神经元。虽然人工神经元依赖简单的计算做出决定,但数十年的研究表明,生物神经元的这个过程要复杂得多。计算神经科学家使用输入 - 输出函数来模拟生物神经元树突接收到的输入与神经元发出信号之间的关系。研究者让一个人工深度神经网络模仿输入 - 输出函数(生物神经元树突接收到的输入与神经元发出信号之间的关系),以确定其复杂性。他们首先对一种神经元的输入 - 输出函数进行了大规模模拟,这种神经元的顶部和底部有不同的树突分支,称为锥体神经元,来自大鼠的皮层。然后,他们将模拟结果输入到一个深度神经网络中,该神经网络每层最多有 256 个人工神经元。接着,他们不断的增加层数,直到在模拟神经元的输入和输出之间达到毫秒级别 99% 的准确率。深度神经网络成功地预测了神经元的输入 - 输出函数的行为,所使用的层数至少有 5 层,但不超过 8 层。在大多数网络中,这相当于 1000 个人工神经元对应一个生物神经元。如下图 2 所示,具有 7 个隐藏层、每层包含 128 个特征图的时间卷积网络(TCN)忠实地捕获了一个 L5PC (layer 5 pyramidal neuron)模型。在下图 3 中,研究者展示了没有 N - 甲基天冬氨酸(NMDA)突触的 L5PC 神经元,它能够被具有单个隐藏层(包含 128 个隐藏单元)的深度神经网络忠实地捕获。其中 A 为 L5PC 模型示意图、B 为类比的深度神经网络。现在已经了解了单个神经元的计算复杂度,如下动图所示,左边的椎体神经元依赖树突状的分支,这些分支会受到信号的影响。在神经元决定是否发送 spike 信号之前,信号变化会导致局部电压变化,表现为神经元颜色的变化(红色表示高电压,蓝色表示低电压)。这一 spike 出现了 3 次,如右侧单个分支的轨迹所示,颜色代表树突从顶部(红色)到底部(蓝色)的位置。来自贝勒医学院的计算神经科学家 Andreas Tolias 表示,这种结果建立了从生物神经元到人工神经元的桥梁。但研究者表示,这还不是一个直接的对应关系(生物神经元到人工神经元)。Michael London 认为「神经网络中的层数与网络的复杂性之间的关系并不明显,所以我们不能说网络层数从四层增加到五层复杂度会增加多少。我们也不能说需要 1,000 个人工神经元就意味着生物神经元的复杂度恰好是生物神经元的 1,000 倍。最终,即使在每一层中使用指数级的人工神经元,最终也有可能形成只有一层的深层神经网络——但这可能需要更多的数据和时间来让算法学习。」研究者尝试了很多架构,几乎都失败了。他们还公开了代码,以鼓励其他研究人员找到更少层的解决方案。但是,找到一种能够模仿神经元且准确率高达 99% 的深度神经网络是非常困难,研究者相信他们的结果为进一步的研究提供了有意义的比较。Timothy  Lillicrap 认为,这可能提供了一种新的方法,将图像分类网络(通常需要 50 层以上)与大脑联系起来。如果每个生物神经元都像一个五层人工神经网络,那么一个 50 层的图像分类网络可能相当于一个生物网络中的 10 个真实神经元。此外,该研究还希望他们的结果将改变 SOTA 人工智能深度网络架构。「我们呼吁替换深度网络技术,使其工作方式更接近大脑,这一实现过程是将深度网络中的每个简单单元替换为代表神经元单元,而这种神经元单元本身就是有深度的,」Segev 表示。在这种替代方案中,AI 研究人员和工程师可以插入一个五层深度网络作为「迷你网络」,用来取代每一个人工神经元。
  • [其他] 华为云深度学习
    全托管基于容器的serverless服务,您无需关心升级与维护,安心搞业务简单易用预置多种网络模型、向导式开发界面、一键开启模型训练与部署开发工作量少自研MoXing分布式框架,让您的分布式训练代码开发量缩短近10倍训练速度快1000块GPU集群和0.8的线性加速比,原先一个月的模型训练时间,现在1小时搞定机会难得,小伙伴们还不抓紧来体验,数量有限,先到先得哦!!点击访问华为云深度学习官网
  • [技术干货] MindSpore-LeNet模型理解深度学习一般化过程
    深度学习一般化过程理解Mindspore docs工程代码:https://gitee.com/mindspore/docs.gitLeNet实例源码位置:*/docs/tutorials/tutorial_code/lenet    接续上一篇的实例实践,通过前面运行MindSpore的LeNet实例代码了解了一个经典的手写字体识别模型在框架中使用的情况,本篇尝试从该代码实例开始,围绕模型为核心来深入分析和总结深度学习的一般化过程以及需要重点掌握的知识点。    从实践来看深度学习的领域“模型”是核心,所有的操作最终都是围绕模型来建立的。通常深度学习应用过程抽象为以下一般过程。1)深度学习应用结构-“输入-处理-输出”    深度学习尽管本身是专属领域的范畴,但是其在应用过程中依然离不开IT通用的化的过程,任何的部署成可执行程序的模式基本的结构都是相通的。 “输入-处理-输出”的结构是通用IT应用的基本结构,对于人工智能的深度学习方法也是同样适用;不同之处人工智能的深度学习方法到能够落地应用通常分为两个关键步骤:模型学习训练(深度学习的学习就凸显在模型的学习训练上,通过规模数据训练学习输出符合要求的模型)模型的推理应用(其中推理会涉及应用的场景化部署,所以可能部署的方式各不同,比如数据中心、边缘等方式)2)核心围绕-“数据”    深度学习离不开数据,所有的模型训练即学习的过程,通过数据的输入处理不断的完善模型,在数据方面涉及规模数据的称呼为“数据集”。通常一个模型要能够到达应用的地步,离不开两类数据集:训练数据集(LeNet例子中MNIST数据集中的train-images-idx3-ubyte和train-labels-idx1-ubyte)测试数据集(LeNet例子中MNIST数据集中的t10k-images-idx3-ubyte和t10k-labels-idx1-ubyte)另外在模型训练完成后:会生成带有训练参数优化的输出的模型文件数据,比如MindSpore中提供的模型输出文件,后续会深入分析。实际部署应用中会涉及相应的模型验证评估和推理处理的请求和输出结果数据,比如图像识别中人脸识别应用,实时捕捉人脸数据作为服务“请求数据”进行识别,以及结果数据的输出。3)深度学习的两个关键过程“模型训练”和“模型推理”    深度学习的学习就体现在学习数据、训练模型上面,通过海量的数据输入结合特定的网络模型来进行训练和学习,最终输出具备一定精准度的模型文件,供后续推理使用。模型训练    在人工智能的深度学习方面,模型是核心,其中基于神经网络构建的模型是当前主流的模型方法,因此模型训练包括如下过程:        1)输入数据的准备;模型训练通常输入数据采用数据集的方式来管理,不同的数据集可能存在不同的格式,后续会介绍MindSpore在数据集处理上提供的核心能力。        2)模型训练过程,根据神经网络先选择定义匹配的网络,结合训练的数据集来训练相应的模型,这个模型是带有某种内置数学手段的输出物,最终会生成模型的文件(存放训练结果的数据)。        3)模型是一个训练的结果输出物,在MindSpore上采用了checkpoints的快照模式,来支持多次训练的输出或者中断时候恢复,同时MindSpore还提供了统一的模型文件MindIR格式,用于部署态不同云、边等环境统一部署。模型评估和推理模型评估    结合数据集和相应的神经网络等训练方法输出相应的模型数据,该模型数据如何评估其准确性和精度,就需要通过模型评估的方法,结合输入的测试数据集(如MNIST数据集中的测试数据集t10k-images-idx3-ubyte和t10k-labels-idx1-ubyte)    评估的结果往往是输出模型的精度,比如图片训练结合测试数据的识别度,精度往往可以通过选择不同的神经网络方法、包括网络参数的调整来提升。模型推理    当模型训练输出后,要进入应用场景时候,需要发布和部署成功输出的模型,通常如果要提供在线服务,都会部署成可以提供在线处理的服务模式,供在线应用。Mindspore框架的相应能力说明官方入门教程地址:https://www.mindspore.cn/tutorial/zh-CN/r1.2/quick_start.ht    MindSpore官方网站提供了以LeNet模型为开篇入门教程,总结了Mindspore作为一个深度学习框架在其提供的开放能力之上使用的一般过程。    这里我们借助这个过程来简单分析MindSpore为其使用者提供了哪些核心的能力来支持深度学习的一般化过程。    MindSpore中提供给用户使用的是最上层的高阶API,高阶的API虽然也有java和c++语言提供的,大多数情况下还是以python提供为主。    要完成一个基本的LeNet模型训练及推理,MindSpore中提供的几个基础核心能力应用即可:1)框架上下文(mindspore.context)    MindSpore框架的上下文封装,框架提供的相关图模式、PYNATIVE_MODE、并行计算相关的配置都在其中设定,比如前面实例指定LeNet在CPU上运行,默认模式device_target指定为CPU。context.set_context(mode=context.GRAPH_MODE, device_target=args.device_target)2)数据集(mindspore.dataset)    MindSpore在数据集方面提供了丰富的能力,dataset中针对不同的数据集的格式都有统一的封装,具体的说明如下。https://www.mindspore.cn/doc/api_python/en/r1.2/mindspore/mindspore.dataset.html    对于LeNet模型实例,选择对应的数据集封装使用“mindspore.dataset.MnistDataset”类即可。3)构建神经网络相关(mindspore.nn)    MindSpore在核心的神经网络模型的构建上通过Cell类的基本神经网络单元类来构建最终的网络。比如LeNet中,就采用继承mindspore.nn.Cell的方式来构建,在该类中可以定义各类具体的神经网络方法来训练相应的模型。比如在LeNet中采用Conv2d来定义卷积神经网络的方式来构建网络。class LeNet5(nn.Cell):    """Lenet network structure."""    # define the operator required    def __init__(self, num_class=10, num_channel=1):        super(LeNet5, self).__init__()        self.conv1 = nn.Conv2d(num_channel, 6, 5, pad_mode='valid')        self.conv2 = nn.Conv2d(6, 16, 5, pad_mode='valid')        ......4)模型训练、推理相关(mindspore.train)    其中主要的提供的模型训练、推理的核心API封装,LeNet实例中直接使用提供Model封装类即可完成大部分模型训练和推理的操作。比如在LeNet实例中封装的train_net训练模型、test_net评估模型、test_predict推理三个主要方法,内部核心都使用了Model类提供的方法。#提供模型训练APInetwork_model.train(epoch_size, ds_train, callbacks=[ckpoint_cb, LossMonitor()], dataset_sink_mode=sink_mode)#提供模型评估APInetwork_model.eval(ds_eval, dataset_sink_mode=False)#提供模型推理APInetwork_model.predict(Tensor(data['image']))5)输出模型文件相关    在MindSpore的输出模型文件方面,提供了两类核心能力:一类采用类似快照机制,输出训练的过程文件,用于多次训练能够回溯或者中断恢复之前的模型数据处理,在MindSpore中封装在回调mindspore.train.callback中,LeNet实例中如下。每次训练结束都输出一个checkpoint模型文件,可以用于推理处理。# save the network model and parameters for subsequence fine-tuningckpoint = ModelCheckpoint(prefix="checkpoint_lenet", config=config_ck)一类最终发布的模型文件,采用自定义的MindIR格式,目的是为了可以在不同的硬件体系,如云中心或者边缘、终端等体系直接运行。可以基于某个checkpoint模型文件来最终输出。def export_mr():    print("============== Export MindIR ==============")    resnet = LeNet5()    # load the parameter into net    param_dict = load_checkpoint("checkpoint_lenet-1_1875.ckpt")    load_param_into_net(resnet, param_dict)    input = np.random.uniform(0.0, 1.0, size=[32, 1, 32, 32]).astype(np.float32)    export(resnet, Tensor(input), file_name='checkpoint_lenet-2-1_1875', file_format='MINDIR')总结:    MindSpore是一个全场景的深度学习框架,全场景体现在其适应云端、边缘、终端等各类基础设施形态上运行;深度学习框架是其总结抽象了深度学习的一般化过程,通过可以被应用开发者使用的API方式开放其支持深度学习应用开发的能力。    下一篇结合LeNet模型实例,来尝试深入理解下神经网络模型是怎么回事。————————————————原文链接:https://blog.csdn.net/wangfengwf/article/details/117596887
  • [其他] 四种深度学习模型介绍
    深度学习源于神经网络的研究,可理解为深层的神经网络。通过它可以获得深层次的特征表示,免除人工选取特征的繁复冗杂和高维数据的维度灾难问题。目前较为公认的深度学习的基本模型包括:    基于受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)的深度信念网络(Deep Belief Network,DBN);    基于自动编码器(AutoEncoder, AE)的堆叠自动编码器(Stacked AutoEncoders,SAE);    卷积神经网络(Convolutional Neural Networks,CNN);    递归神经网络(Recurrent Neural Networks,RNN)。1、深度信念网络DBNDBN可用于特征提取和数据分类等。基于RBM的DBN由多个RBM堆叠而成网络前向运算时,输入数据从低层RBM输入网络,逐层向前运算,得到网络输出。网络训练过程,不同于传统的人工神经网络(Artificial Neural Network),分为两个阶段:    预训练(Pretraining)    全局微调(Fine tuning)预训练阶段,从低层开始,每个RBM单独训练,以最小化RBM的网络能量为训练目标。低层RBM训练完成后,其隐层输出作为高层RBM的输入,继续训练高层RBM。以此类推,逐层训练,直至所有RBM训练完成。预训练阶段,只使用了输入数据,没有使用数据标签,属于无监督学习(Unsupervised Learning)。全局微调阶段,以训练好的RBM之间的权重和偏置作为深度信念网络的初始权重和偏置,以数据的标签作为监督信号计算网络误差,利用BP(Back Propagation)算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节。2、堆叠自动编码器SAE类似于DBN,SAE由多个AE堆叠而成SAE前向计算类似于DBN,其训练过程也分为预训练和全局微调两个阶段。不同于RBM的是,AE之间的连接是不对称的。每个AE可视为一个单隐层的人工神经网络,其输出目标即此AE的输入。在预训练阶段,从低层开始,每个AE单独训练,以最小化其输出和输入之间的误差为目标。低层AE训练完成后,其隐层输出作为高层AE的输入,继续训练高层AE。以此类推,逐层训练,直至将所有AE训练完成。同样地,SAE的预训练阶段也只使用了输入数据,属于无监督学习。在全局微调阶段,以训练好的AE的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏置,以数据的标签作为监督信号计算网络误差,利用BP算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节。3、卷积神经网络CNNCNN可提取输入数据的局部特征,并逐层组合抽象生成高层特征,可用于图像识别等。CNN由卷积层和次采样层(也叫Pooling层)交叉堆叠而成网络前向计算时,在卷积层,可同时有多个卷积核对输入进行卷积运算,生成多个特征图,每个特征图的维度相对于输入的维度有所降低。在次采样层,每个特征图经过池化(Pooling)得到维度进一步降低的对应图。多个卷积层和次采样层交叉堆叠后,经过全连接层到达网络输出。网络的训练类似于传统的人工神经网络训练方法,采用BP算法将误差逐层反向传递,使用梯度下降法调整各层之间的参数。4、递归神经网络RNNRNN可用于处理时序数据或前后关联数据。RNN还可以和CNN结合使用,处理考虑样本之间相关性的问题。无论是DBN和SAE,还是CNN,都没有考虑样本之间的关联问题。RNN则考虑了样本之间的关联关系,将这种关联关系以神经网络之间的连接体现出来。一般情况下,单向RNN中,单个神经网络的隐层连接至下一个神经网络的隐层。这种连接方式考虑了前面样本对后面样本的影响。还有一种双向RNN的连接方式,单个神经网络的隐层连接了其前后神经网络的隐层,这种连接方式考虑了前后样本对当前样本的影响。一般认为RNN的各个神经网络具有相同的权重和偏置。RNN训练时,可使用RBM或AE对其进行预训练来初始化网络参数,然后计算每个样本的输出误差,并以累积误差训练网络参数。
  • [其他] 分享机器学习趋势论文——将符号知识嵌入深度网络
    论文 :Embedding Symbolic Knowledge into Deep Networks链接:https://papers.nips.cc/paper/8676-embedding-symbolic-knowledge-into-deep-networks.pdf        论文  提出了模型LENSR,这是一个具有语义正则化的逻辑嵌入网络,它可以通过图卷积网(GCN)将逻辑规则嵌入到d-DNNF(决策确定性否定范式)当中。在这篇文章中,作者专注于命题逻辑(与上述论文中更具表现力的描述逻辑相反),并且表明将AND和OR的两个正则化组件添加到损失函数就足够了,而不用嵌入此类规则。这个框架可以应用在视觉关系预测任务中,当给定一张图片,你需要去预测两个objects之间的正确关系。在这篇文章中,Top-5的准确率直接将原有84.3%的SOTA提升到92.77%。
总条数:1305 到第 页
上滑加载中