- 2.4节已经介绍了深度学习系统中的过拟合和欠拟合的概念以及它们所带来的问题,过拟合和欠拟合可以视为模型在测试数据中的不佳表现。而正则化(Regularization)正是解决这些问题的途径。正则化旨在通过对学习算法进行修改来减少模型的泛化误差。但注意,正则化往往会增加模型的训练误差。一般来说,修改学习算法的唯一方法是通过增加某些函数给原先的学习算法或者减少某些原有的学习函数来增加或者减少模型... 2.4节已经介绍了深度学习系统中的过拟合和欠拟合的概念以及它们所带来的问题,过拟合和欠拟合可以视为模型在测试数据中的不佳表现。而正则化(Regularization)正是解决这些问题的途径。正则化旨在通过对学习算法进行修改来减少模型的泛化误差。但注意,正则化往往会增加模型的训练误差。一般来说,修改学习算法的唯一方法是通过增加某些函数给原先的学习算法或者减少某些原有的学习函数来增加或者减少模型...
- 下面从大数据集需求、硬件需求、过拟合、超参数优化、不透明性、缺少灵活性这六个方面来简要说明深度学习系统所面临的挑战。4.1.1 大数据集需求在深度学习系统中,人们往往需要大型的数据集去训练一个有效的深度学习模型。一般来说,越多的数据就越有可能使深度学习模型变得更强大。例如,在语音识别领域中,为了学习一种语言,模型往往需要大量各种口音、各种时长的语音数据。这需要研究人员拥有非常强的数据处理能力... 下面从大数据集需求、硬件需求、过拟合、超参数优化、不透明性、缺少灵活性这六个方面来简要说明深度学习系统所面临的挑战。4.1.1 大数据集需求在深度学习系统中,人们往往需要大型的数据集去训练一个有效的深度学习模型。一般来说,越多的数据就越有可能使深度学习模型变得更强大。例如,在语音识别领域中,为了学习一种语言,模型往往需要大量各种口音、各种时长的语音数据。这需要研究人员拥有非常强的数据处理能力...
- 说明:随着开发迭代MindSpore的接口及流程的不断演进,书中代码仅为示意代码,完整可运行代码请大家以线上代码仓中对应章节代码为准。网址为:https://mindspore.cn/resource。读者可扫描右侧二维码获取相关资源。LeNet主要用来进行手写字符的识别与分类,并已在美国的银行中投入使用。LeNet的实现确立了卷积神经网络(CNN)的结构,现在神经网络中的许多内容在LeNe... 说明:随着开发迭代MindSpore的接口及流程的不断演进,书中代码仅为示意代码,完整可运行代码请大家以线上代码仓中对应章节代码为准。网址为:https://mindspore.cn/resource。读者可扫描右侧二维码获取相关资源。LeNet主要用来进行手写字符的识别与分类,并已在美国的银行中投入使用。LeNet的实现确立了卷积神经网络(CNN)的结构,现在神经网络中的许多内容在LeNe...
- 第1章中介绍了梯度下降算法训练回归模型,神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数,那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播(Backward Propagation)算法,使得计算梯度更加有效率。在介绍反向传播之前,先来介绍一下链式法则。假设有两个函数y=g(x)和z=h(y),那么z对x的求导过程如下:假设... 第1章中介绍了梯度下降算法训练回归模型,神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数,那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播(Backward Propagation)算法,使得计算梯度更加有效率。在介绍反向传播之前,先来介绍一下链式法则。假设有两个函数y=g(x)和z=h(y),那么z对x的求导过程如下:假设...
- 本章介绍了深度神经网络的几个相关概念,并给出了用MindSpore实现简单神经网络的样例。深度学习(Deep Learning)与传统机器学习最大的不同在于其利用神经网络对数据进行高级抽象。而最基础的神经网络结构为前向神经网络(Feed forwardNeural Network,FNN),又称多层感知机(Multi-Layer Perceptron,MLP)。在介绍多层感知机之前,先来认识... 本章介绍了深度神经网络的几个相关概念,并给出了用MindSpore实现简单神经网络的样例。深度学习(Deep Learning)与传统机器学习最大的不同在于其利用神经网络对数据进行高级抽象。而最基础的神经网络结构为前向神经网络(Feed forwardNeural Network,FNN),又称多层感知机(Multi-Layer Perceptron,MLP)。在介绍多层感知机之前,先来认识...
- 在机器学习中,过拟合(Overfitting)与欠拟合(Underfitting)都是指模型选择不能够很好地拟合数据本身,即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数,为了拟合尽可能多的数据,甚至包括一些错误的样本,这些参数会因过度拟合数据而产生一些噪声。而欠拟合与之相反,其原因是选择的参数或模型不够复杂,例如用线性模型去拟合非线性结构,显然是欠拟合的。图2.7... 在机器学习中,过拟合(Overfitting)与欠拟合(Underfitting)都是指模型选择不能够很好地拟合数据本身,即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数,为了拟合尽可能多的数据,甚至包括一些错误的样本,这些参数会因过度拟合数据而产生一些噪声。而欠拟合与之相反,其原因是选择的参数或模型不够复杂,例如用线性模型去拟合非线性结构,显然是欠拟合的。图2.7...
- 回归问题算法通常是利用一系列属性来预测一个值,预测的值是连续的。例如给出一套房子的一些特征数据,如面积、卧室数等来预测房价,利用最近一周的气温变化和卫星云图来预测未来的气温情况等。如果一套房子实际价格为500万元,通过回归分析的预测值为499万元,则认为这是一个比较好的回归分析。在机器学习问题中,常见的回归分析有线性回归(Linear Regression)、多项式回归(Polynomial... 回归问题算法通常是利用一系列属性来预测一个值,预测的值是连续的。例如给出一套房子的一些特征数据,如面积、卧室数等来预测房价,利用最近一周的气温变化和卫星云图来预测未来的气温情况等。如果一套房子实际价格为500万元,通过回归分析的预测值为499万元,则认为这是一个比较好的回归分析。在机器学习问题中,常见的回归分析有线性回归(Linear Regression)、多项式回归(Polynomial...
- 前言YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆(小于4M)。 NanoDet作者开源代码地址:https://github.com/RangiLyu/nano... 前言YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆(小于4M)。 NanoDet作者开源代码地址:https://github.com/RangiLyu/nano...
- 前面我们用过顺序结构实现过tensorflow2实现手写数字识别,顺序结构的好处是易于初学者理解,但是在实际开发当中,我们一般都用面向对象的方式来进行项目开发,以便达到代码的复用。 前面我们用过顺序结构实现过tensorflow2实现手写数字识别,顺序结构的好处是易于初学者理解,但是在实际开发当中,我们一般都用面向对象的方式来进行项目开发,以便达到代码的复用。
- 前面我们讲过tensorflow2实现手写数字识别,那个是用全连接层做的,这次我们使用卷积层搭建一个模型,并且把模型的准确率和损失的变化过程可视化出来。 前面我们讲过tensorflow2实现手写数字识别,那个是用全连接层做的,这次我们使用卷积层搭建一个模型,并且把模型的准确率和损失的变化过程可视化出来。
- 以pytorch 1.5和tensorflow 1.14为例,如何在Notebook,训练作业,和模型管理上进行配置。 以pytorch 1.5和tensorflow 1.14为例,如何在Notebook,训练作业,和模型管理上进行配置。
- 以pytorch 1.5和tensorflow 1.14为例,如何在Notebook进行配置自定义深度学习框架版本 以pytorch 1.5和tensorflow 1.14为例,如何在Notebook进行配置自定义深度学习框架版本
- 人工智能定义很多,但都不太准确。 中国科学院院士、清华大学人工智能研究院院长张钹院士认为,人工智能是“研究和设计智能体,所谓智能体,是用计算机模拟人类的智能行为”。 人工智能定义很多,但都不太准确。 中国科学院院士、清华大学人工智能研究院院长张钹院士认为,人工智能是“研究和设计智能体,所谓智能体,是用计算机模拟人类的智能行为”。
- 首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个... 首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个...
- 知识蒸馏(knowledge distillation)是模型压缩的一种常用的方法,不同于模型压缩中的剪枝和量化,知识蒸馏是通过构建一个轻量化的小模型,利用性能更好的大模型的监督信息,来训练这个小模型,以期达到更好的性能和精度。本文将知识蒸馏技术与检测网络YOLOv5进行结合,对知识蒸馏流程进行详尽的介绍。 知识蒸馏(knowledge distillation)是模型压缩的一种常用的方法,不同于模型压缩中的剪枝和量化,知识蒸馏是通过构建一个轻量化的小模型,利用性能更好的大模型的监督信息,来训练这个小模型,以期达到更好的性能和精度。本文将知识蒸馏技术与检测网络YOLOv5进行结合,对知识蒸馏流程进行详尽的介绍。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签