- 我们知道,在一定程度上,网络越深,参数越多,模型越复杂,其最终效果越好。神经网络的压缩算法是,旨在将一个庞大而复杂的预训练模型(pre-trained model)转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度,我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。 前端压缩,是指在不改变原网络结构的压缩技术,主要包括知识蒸馏、轻量级网络(紧凑的模型结构设计)以及滤波器(filte 我们知道,在一定程度上,网络越深,参数越多,模型越复杂,其最终效果越好。神经网络的压缩算法是,旨在将一个庞大而复杂的预训练模型(pre-trained model)转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度,我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。 前端压缩,是指在不改变原网络结构的压缩技术,主要包括知识蒸馏、轻量级网络(紧凑的模型结构设计)以及滤波器(filte
- 矩阵乘的算法优化可分为两类:基于算法分析的方法:根据矩阵乘计算特性,从数学角度优化,典型的算法包括 Strassen 算法和 Coppersmith–Winograd 算法。 矩阵乘的算法优化可分为两类:基于算法分析的方法:根据矩阵乘计算特性,从数学角度优化,典型的算法包括 Strassen 算法和 Coppersmith–Winograd 算法。
- @toc参考论文:Revisiting ResNets: Improved Training and Scaling Strategies 作者:Irwan Bello, William Fedus, Xianzhi Du, Ekin D. Cubuk, Aravind Srinivas, Tsung-Yi Lin, Jonathon Shlens, Barret Zoph这里主要是架构复现... @toc参考论文:Revisiting ResNets: Improved Training and Scaling Strategies 作者:Irwan Bello, William Fedus, Xianzhi Du, Ekin D. Cubuk, Aravind Srinivas, Tsung-Yi Lin, Jonathon Shlens, Barret Zoph这里主要是架构复现...
- 本文的主要贡献在于通过理论分析和大量实验证明使用恒等映射(identity mapping)作为快捷连接(skip connection)对于残差块的重要性。同时,将 BN/ReLu 这些 activation 操作挪到了 Conv(真正的weights filter操作)之前,提出“预激活“操作,并通过与”后激活“操作做对比实验,表明对于多层网络,使用了预激活残差单元(Pre-activatio 本文的主要贡献在于通过理论分析和大量实验证明使用恒等映射(identity mapping)作为快捷连接(skip connection)对于残差块的重要性。同时,将 BN/ReLu 这些 activation 操作挪到了 Conv(真正的weights filter操作)之前,提出“预激活“操作,并通过与”后激活“操作做对比实验,表明对于多层网络,使用了预激活残差单元(Pre-activatio
- 卷积神经网络模型之——GoogLeNet网络结构与代码实现 卷积神经网络模型之——GoogLeNet网络结构与代码实现
- 卷积神经网络模型之——VGG-16网络结构与代码实现 卷积神经网络模型之——VGG-16网络结构与代码实现
- 卷积神经网络模型之——AlexNet网络结构与代码实现 卷积神经网络模型之——AlexNet网络结构与代码实现
- 卷积神经网络模型之——LeNet网络结构与代码实现 卷积神经网络模型之——LeNet网络结构与代码实现
- FireFly RK3588开发板上烧录的Ubuntu20.04系统,在此基础上线部署下简单的Python版本yolov5代码,目前博主已全部转为C++版本了,并且转化了pt模型为rknn模型,调用npu进行推理,效果和速度都比原先Python代码好很多。本篇主要介绍如何部署和运行yolov5目标检测代码。 🍉1、安装anacondaAnaconda是流行的Python/R数据科学和机器学... FireFly RK3588开发板上烧录的Ubuntu20.04系统,在此基础上线部署下简单的Python版本yolov5代码,目前博主已全部转为C++版本了,并且转化了pt模型为rknn模型,调用npu进行推理,效果和速度都比原先Python代码好很多。本篇主要介绍如何部署和运行yolov5目标检测代码。 🍉1、安装anacondaAnaconda是流行的Python/R数据科学和机器学...
- 轻量级神经网络——MobileNets MobileNetV1 深度可分离卷积 1、深度卷积✨✨✨ 2、逐点卷积✨✨✨ 参数量和计算量 1、标准卷积 2、深度可分离卷积✨✨✨ MobileNetV1的网络结构及效果 MobileNetV2 Linear Bottlenecks✨✨✨ Inverted Residuals✨✨✨ MobileNetV2的网络结构及效果 MobileNetV3 ... 轻量级神经网络——MobileNets MobileNetV1 深度可分离卷积 1、深度卷积✨✨✨ 2、逐点卷积✨✨✨ 参数量和计算量 1、标准卷积 2、深度可分离卷积✨✨✨ MobileNetV1的网络结构及效果 MobileNetV2 Linear Bottlenecks✨✨✨ Inverted Residuals✨✨✨ MobileNetV2的网络结构及效果 MobileNetV3 ...
- 摘要论文地址在这项工作中,我们研究了卷积网络深度在大规模的图像识别环境下对准确性的影响。我们的主要贡献是使用非常小的(3×3)卷积滤波器架构对网络深度的增加进行了全面评估,这表明通过将深度推到16-19加权层可以实现对现有技术配置的显著改进。这些发现是我们的ImageNet Challenge 2014提交的基础,我们的团队在定位和分类过程中分别获得了第一名和第二名。我们还表明,我们的表示... 摘要论文地址在这项工作中,我们研究了卷积网络深度在大规模的图像识别环境下对准确性的影响。我们的主要贡献是使用非常小的(3×3)卷积滤波器架构对网络深度的增加进行了全面评估,这表明通过将深度推到16-19加权层可以实现对现有技术配置的显著改进。这些发现是我们的ImageNet Challenge 2014提交的基础,我们的团队在定位和分类过程中分别获得了第一名和第二名。我们还表明,我们的表示...
- 对 MNIST手写体识别实验实现手写数字识别代码的个人查找与理解,对于map映射与数据增强和卷积神经网络的代码有充分的注释,卷积与池化的过程也有充分的注释标明,因本人能力很弱,难免有错误的地方,烦请大家指出,我会立即更正。 对 MNIST手写体识别实验实现手写数字识别代码的个人查找与理解,对于map映射与数据增强和卷积神经网络的代码有充分的注释,卷积与池化的过程也有充分的注释标明,因本人能力很弱,难免有错误的地方,烦请大家指出,我会立即更正。
- 本文(Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles)是由华为云数据库创新Lab联合丹麦Aalborg University与电子科技大学发表在顶会VLDB'22的文章。 本文(Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles)是由华为云数据库创新Lab联合丹麦Aalborg University与电子科技大学发表在顶会VLDB'22的文章。
- 本文提出了一个端到端的MTS预测框架METRO。METRO的核心思想是利用多尺度动态图(Multi- scale temperal graph)建模变量之间的依赖关系,考虑单尺度内信息传递和尺度间信息融合。我们在公开的真实数据集和华为云的在线生产环境上进行了大量实验,结果表明,METRO在预测准确性,运行时间,模型大小上都优于SOTA。 本文提出了一个端到端的MTS预测框架METRO。METRO的核心思想是利用多尺度动态图(Multi- scale temperal graph)建模变量之间的依赖关系,考虑单尺度内信息传递和尺度间信息融合。我们在公开的真实数据集和华为云的在线生产环境上进行了大量实验,结果表明,METRO在预测准确性,运行时间,模型大小上都优于SOTA。
- 卷积神经网络概述 卷积神经网络概述
上滑加载中
推荐直播
-
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek:AI驱动云上应用创新
2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际,DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出?华为云与 DeepSeek 合作,将如何重塑产品与应用模式,助力企业数字化转型?在华为开发者空间,怎样高效部署 DeepSeek,搭建专属服务器?基于华为云平台,又该如何挖掘 DeepSeek 潜力,实现智能化升级?本期直播围绕DeepSeek在云上的应用案例,与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签