-
计算机视觉在自动化系统观测环境、预测该系统控制器输入值等方面起着至关重要的作用。本文介绍了使用计算机视觉技术进行车道检测的过程,并引导我们完成识别车道区域、计算道路RoC 和估计车道中心距离的步骤。 摄像机校准(calibrateCamera.py)几乎所有摄像机使用的镜头在聚焦光线以捕捉图像时都存在一定的误差,因为这些光线由于折射在镜头边缘发生了弯曲。这种现象会导致图像边缘的扭曲。以下视频用示例解释了两种主要的失真类型,强烈建议观看。假设我们现在了解什么是径向失真,需要利用失真系数(k1、k2 和 k3)来校正径向失真。calibrateCamera.py是摄像机校准程序,默认情况下不运行该程序。建议在生成目标上的特征点和图像上的特征点的过程中至少使用20个棋盘图像。Main中的calibrate()将在/data/calibration中查找图像,但是我们也可以选择其他目录。去除图像失真的整个过程是相当有趣的,OpenCV有一个很好的教程,解释了概念并举出一些例子。透视变换(preprocess.py:8–19)检测车道的第一步是调整我们的视觉系统,以鸟瞰的角度来观察前方的道路,这将有助于计算道路的曲率,因此将有助于我们预测未来几百米的转向角大小。自上而下视图的另一个好处是,它解决了车道线相交的问题。实际上只要沿道路行驶,车道线就是平行线。鸟瞰图可以通过应用透视变换来实现,即将输入图像中车道区域四个点映射到所需点上,从而生成自顶向下的视图。这些点是根据个案确定,决定因素主要是摄像头在车辆中的位置及其视野。图2中的图片分别表示输入和转换后输出图像。阈值(preprocess.py:22)现在车道线是平行的,下一步将它们从输入图像上分割出来。输入图像包含RGB3个通道,车道线为白色或黄色。基于这个假设,输入图像可以转换为单个通道灰度图像,从而消除我们不需要的通道。另一个要转换为的颜色空间是HLS颜色空间,其中S通道可能会根据照明情况提供较好的结果。在以下示例中,将使用图像阈值,因为在给定的输入图像中它可以正常工作。图3在阈值处理后可视化输出。下阈值(220)和上阈值(225)将根据输入图像手动调整。OpenCV有基于整体嵌套边缘检测的先进技术,而无需对阈值进行任何手动调整,但本文仍然使用的是简单的阈值技术。 车道像素查找(laneDetection.py:4~70)预处理输入图像后,将在图像空间中确定并绘制车道。方法是在二进制图像(阈值图像)的下半部分绘制非零像素直方图,以观察模式:.由于像素值是二进制的,峰值代表大多数非零像素的位置,因此可以很好地指示车道线。直方图中的x坐标用作搜索相应通道的起点。滑动窗口方法的概念将应用在这里,以下视频说明了滑动窗口的概念,图5中是结果。识别车道面积(laneDetection.py:85~149)滑动窗口有助于估计每个车道区域的中心,使用这些 x 和 y 像素定位函数search_around_poly()可以适合二阶多项曲线。该函数适合 f(y)而不是 f(x),因为通道在图像中是垂直的。图6很好地说明了这一步。下一步是计算曲率半径,该半径可以使用与曲线局部部分附近的点紧密拟合的圆进行计算,如图 7 所示。曲线在特定点的曲率半径可以定义为近似圆的半径。此半径可以使用图 7 中的公式计算。最后一步是在这些点之间放置一个多边形,并将其投影回原始图像,来突出显示车道区域。曲率的车道面积和半径是根据像素值计算的,像素值与真实世界空间不同,因此必须转换为现实世界的值,这涉及到测量我们投射扭曲图像的车道部分的长度和宽度。为简单起见,我们可以假设大多数车道通常长 30 米,宽 3.7 米,并且代码使用这些值将像素空间值转换为实际仪表测量值。文章转自:小白学视觉
-
本文是arxiv文章How Does Batch Normalization Help Optimization?的一篇阅读笔记。文章很好,通过对比实验帮助我们理解why BN work!先上结论,再做分析:没有证据表明BN的work,是因为减少了ICS(Interval Covariate Shift)。BN work的根本原因,是因为在网络的训练阶段,其能够让优化空间(optimization landscape)变的平滑。其他的normalization技术也能够像BN那样对于网络的训练起到作用。 一、BN和ICS的关系在文章Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift中,其对与ICS是这样解释的:由于前一层的参数更新,所以这一层的输入(前一层的输出)的分布会发生变化,这种现象被称之为ICS。同样,这篇文章的观点认为BN work的真正原因,在与其将数据的分布都归一化到均值为0,方差为1的分布上去。因此,每一层的输入(上一层输出经过BN后)分布的稳定性都提高了,故而整体减小了网络的ICS。但是,本文作者就提出了两个疑问:1、BN work的原因是否真的与ICS有关?2、BN层是否真的能够稳定输入分布?1.1 BN是否真的与ICS有关?对比实验:在训练阶段,使用一下三种训练方法进行训练No BN标准的BNnoisy BN (在标准的BN层后,加上均值不为0,方差不为1的noisy,并且在每个训练step都改变noisy的分布,降低了输入分布的稳定性,使得网络的ICS变大)观察上图左,可以发现加了noisy BN和标准的BN在training accuracy和收敛速度上几乎没有差异,并且都优于不加BN的方法。结论:没有证据表明BN的性能是因为提高了输入分布的稳定性。即BN与ICS无关。1.2 BN是否能够减少ICS对比实验:(具体参看文章section 2.2)训练一个(25-layer deep linear network, DLN),即去除网络中的所有非线性激活层,只保留线性层,这么做的目的是为了在统计ICS时,减少非线性激活层对数据分布的影响。最后发现,带BN层的DLN不像预想的那样减少了ICS,反而增大了ICS。结论:从优化的角度来看,通过使用BN来控制layer的输入分布并不能减少ICS 二、Why does BN work? Ioffe and Szegedy在文章中说,BN可以防止梯度爆炸或弥散、可以提高训练时模型对于不同超参(学习率、初始化)的鲁棒性、可以让大部分的激活函数能够远离其饱和区域。所有这些BN的性质,都可以帮助我们快速鲁棒的训练网络。但是该怎么解释呢?2.1 BN的平滑影响作者认为,BN能够work的真正原因在于BN重新改变了优化问题,使得优化空间变得非常平滑。对于没有BN的神经网络,其loss函数是不仅非凸,并且还有很多flat regions、sharp minimal。这就使得那些基于梯度的优化方法变得不稳定,因为很容易出现过大或者过小的梯度值。观察上图,可以发现,在使用了BN后,loss的变化变得更加稳定,不会出现过大的跳动;同样,梯度也变得更加平滑。2.2 是否BN是最好或者唯一的方法来对优化空间进行平滑对比实验:不使用BN使用标准BN使用L1 归一化方法使用L2归一化方法使用L 归一化方法结论:很多normalization的方法都可以达到BN的效果,甚至更好。文章转自:小白学视觉
-
作为目前机器学习领域最火热的研究方向之一,计算机视觉相关的技术一直备受关注。其中,目标检测是计算机视觉领域常见的问题之一,如何平衡检测的质量和算法的速度很重要。对于这个问题,计算机视觉工程师、VirtusLab 创始人 Piotr Skalski 发表了自己的心得,分享了关于他最喜欢的计算机视觉算法 YOLO 的实践资料。以下便是他的全文。【注:文章动图较多,请耐心等待加载。】前言 YOLO 是我最喜欢的计算机视觉算法之一,在很长一段时间里,我计划着专为它写一篇博文。然而,我不希望它成为另一篇详细解释 YOLO 背后工作原理的文章,网上有很多文章都很好地涵盖了它理论方面的知识。除此之外,如果你想加深对这个架构的理解,直接从源代码获取信息并阅读源文件(https://arxiv.org/abs/1506.02640)也是一个好主意。这一次,我将向你展示如何快速地、以相对较低的代价和不那么强大的机器创建目标检测模型,这个模型能够检测任何你选择的对象。如果你需要在工作中快速测试你的想法,或者只是有一小段时间建立在家构建你的项目,这是一个很好的方法。去年,我有机会进行了几个这样的实验,本文中出现的所有可视化结果都是出自这些项目。注意:这一次,我们将主要使用开源库和工具,因此我们网站上的编码量将是最小的。但是,为了鼓励你使用 YOLO 并为你的项目提供一个起点,我还提供了脚本,允许你下载我的预训练模型以及所有配置文件和测试数据集。像往常一样,你会在我的 GitHub 上找到所有的内容:https://github.com/SkalskiP/ILearnDeepLearning.py/tree/master/02_data_science_toolkit/02_yolo_object_detection YOLO 所有不知道 YOLO 是什么的人不要担心,也不要去任何地方找资料!我现在简要地解释一下我说的是什么。YOLO 是一种实时目标检测算法,它是第一个平衡所提供检测的质量和速度的算法。通常,这类最强大的模型,都是建立在卷积神经网络的基础上,这次也不例外。所谓「目标检测模型」,我们的意思是,我们不仅可以用它来找出给定照片中存在的对象,还可以用它来指示它们的位置和数量。除其他外,这种模型在机器人和汽车工业中都有应用,因此检测速度至关重要。自2015年以来,该算法已经进行了三次迭代,还有为 TinyYOLO 等移动设备设计的变体。移动版本的精度有限,但计算要求也较低,运行速度更快。数据集 和深度学习一样,创建模型的第一步是准备一个数据集。有监督的学习是查看标记的示例并在数据中发现不明显的模式。我必须承认创建一个数据集是一个相当乏味的任务,因此我准备了一个脚本,允许你下载我的象棋数据集,并查看 YOLO 如何在这个例子中工作。 但那些想要建立自己的数据集的人面临着挑战。为了实现这个目标,我们需要收集一组图像并创建匹配的标签文件。图片应该包含我们想识别的对象,并且,数据集中所有对象的类的分布应该类似。如你所见,在我的第一个项目——篮球探测器中,我使用了游戏视频中的框架。标签文件应该与图像具有相同的名称,但显然具有不同的扩展名,并且应该位于并行目录中。最佳数据结构如下所示。除了 images 和 labels 目录之外,我们还必须准备 class_names.txt 文件,该文件定义我们计划检测的对象类的名称。这个文件的每一行代表一个类,应该包含一个或多个没有空格的单词。标记不幸的是,YOLO 需要一个特定的标签格式,这是大多数免费标签工具不支持的。为了消除从 VOC XML、VGG JSON 或其他广泛使用的格式解析标签的需要,我们将利用 makesense.ai(https://www.makesense.ai/ ),这里是我在 GitHub 上开发的一个免费开源项目(https://github.com/SkalskiP/make-sense )。编辑器不仅支持直接导出到 YOLO 格式,而且直观,不需要安装,可以在浏览器中工作。此外,它还支持多种功能,旨在加快你的标签工作。可以使用 MakeSense 查看人工智能支持的标记过程。工作完成后,我们可以下载一个 .zip 文件,其中包含 .txt 文件。每一个这样的文件都对应于一个标记的图像,并描述照片中可见的对象。如果我们打开其中一个文件,我们会发现,每一行都是 class_idx x_center y_center width height 式。其中 class_idx 表示 class_names.txt 文件中指定标签的索引(从 0 开始计数)。其余参数描述围绕单个对象的边界框,它们可以取 0 到 1 之间的值。幸运的是,大多数时候我们不需要考虑这些细节,因为编辑器会为我们处理所有的事情。YOLO 格式的标签示例如下所示。环境设置YOLO 最初是在一个叫做 Darknet 的深度学习的小框架中写的。从那时起,许多其它实现已经创建,其中大多数使用两个非常流行的 Python 平台:Keras 和 PyTorch。在所有可用的解决方案中,有一个是我特别喜欢的(https://github.com/ultralytics/yolov3 )。它提供了一个用于训练和检测的高级 API,但也具有很多有用的特性。在使用它时,我们的所有工作归结为准备一个数据集和创建几个配置文件,然后其余的工作就交给库了环境设置也非常简单——可以归结为运行几个命令,你可以在下面找到这些命令(假设你的计算机上已经安装了 Python 和 Git)。最好从项目目录中执行命令,以实现上面所示的结构。值得一提的是,环境也可以通过 Docker 创建(这对 Windows 用户特别有用)。你可以在这里(https://github.com/ultralytics/yolov3/wiki/Docker-Quickstart )找到更多关于这个主题的说明。# Clone frameworkgit clone https://github.com/ultralytics/yolov3.git# Enter framework catalogue [Linux/MacOS]cd ./yolov3# Setup Python environmentpip install -U -r requirements.txt 配置如前一段所述,我们现在需要做的就是创建几个配置文件。它们定义了训练集和测试集的位置、对象类的名称,并提供了所用神经网络的架构指南。首先,我们需要将数据集分割成训练集和测试集。我们使用两个 .txt 文件来完成这项工作,它们中的每一个都包含指向数据集中特定图像的路径。为了加快工作速度,我准备了一个 Python 脚本,它将自动为我们创建这些文件。你只需指示数据集的位置并定义训练集和测试集之间的分割百分比。train.txt/test.txt 文件的片段如下所示。.data 是我们需要提供的最终文件。让我们用下一个项目的例子来讨论它的内容——象棋检测器。在本例中,我有 12 个惟一的对象类想要识别。接下来,我们给出定义哪些照片属于训练集,哪些照片属于测试集的文件的位置,最后给出前面讨论的带有标签名称的文件的位置。为了使一切正常工作,chess.data、chess_train.txt、chess_test.txt 和 chess.names 文件应移动到 project/yolov3/data 目录。训练 现在我们准备开始训练。如前所述,我们使用的库有一个高级 API,因此终端中的一个命令和几个参数就足以启动这个过程。然而,在下面还有几件大大增加我们取得最终成功的几率的事情。首先,我们可以应用迁移学习,我们不必从头开始训练。我们可以使用在不同数据集上训练的模型的权重,从而缩短我们自己的网络的学习时间。我们的模型可以使用基本的形状知识,并专注于将这些信息链接到我们想要识别的新类型的对象。其次,库执行数据增强,因此它根据我们提供的照片生成新的示例。因此,即使我们只有一个很小的数据集——几百张图片,我们也可以训练我们的模型。我们使用的库还为我们提供了一个由于增强而创建的图像示例。下面你可以看到在我的篮球探测器的训练过程中创建的示例。检测 最后,快乐的时刻来了!我们致力于创建模型的工作得到了回报,现在可以用它来找到我们在任何照片中想要寻找的对象。同样地,这是一个非常简单的任务,我们可以用终端中的一个简单命令来完成。执行之后,我们将在输出目录中找到预测的结果。值得一提的是,我们还可以对自己拍摄的视频进行实时预测,这在项目演示中尤其有用。文章转自:小白学视觉
-
摘要:CycleGAN图像翻译模型,由两个生成网络和两个判别网络组成,通过非成对的图片将某一类图片转换成另外一类图片,可用于风格迁移本文分享自华为云社区《基于MindSpore的CycleGAN介绍和实现》,作者: Tianyi_Li 。前言我们这次介绍下著名的CycleGAN,同时提供了基于MindSpore的代码,方便大家运行验证。CycleGAN的介绍CycleGAN图像翻译模型,由两个生成网络和两个判别网络组成,通过非成对的图片将某一类图片转换成另外一类图片,可用于风格迁移,效果演示如下图所示:CycleGAN是GAN的一种,那什么是GAN呢?生成对抗网络(Generative Adversarial Network, 简称GAN) 是一种非监督学习的方式,通过让两个神经网络相互博弈的方法进行学习,该方法由lan Goodfellow等人在2014年提出。生成对抗网络由一个生成网络和一个判别网络组成,生成网络从潜在的空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能的分辨出来。而生成网络则尽可能的欺骗判别网络,两个网络相互对抗,不断调整参数。 生成对抗网络常用于生成以假乱真的图片。此外,该方法还被用于生成影片,三维物体模型等。好了,我们已经对GAN有了大体的了解,下面说回CycleGAN。CycleGAN由两个生成网络和两个判别网络组成,生成网络A是输入A类风格的图片输出B类风格的图片,生成网络B是输入B类风格的图片输出A类风格的图片。生成网络中编码部分的网络结构都是采用convolution-norm-ReLU作为基础结构,解码部分的网络结构由transpose convolution-norm-ReLU组成,判别网络基本是由convolution-norm-leaky_ReLU作为基础结构,详细的网络结构可以查看network/CycleGAN_network.py文件。生成网络提供两种可选的网络结构:Unet网络结构和普通的encoder-decoder网络结构。生成网络损失函数由LSGAN的损失函数,重构损失和自身损失组成,判别网络的损失函数由LSGAN的损失函数组成。CycleGAN最经典的地方是设计和提出了循环一致性损失。以黑白图片上色为例,循环一致性就是:黑白图(真实)—>网络—>彩色图—>网络—>黑白图(造假)。为了保证上色后的彩色图片中具有原始黑白图片的所有内容信息,文章中将生成的彩色图像还原回去,生成造假的黑白图,通过损失函数来约束真实白图和造假黑白图一致,达到图像上色的目的。除此之外,CycleGAN不像Pix2Pix一样,需要使用配对数据进行训练,CycleGAN直接使用两个域图像进行训练,而不用建立每个样本和对方域之间的配对关系,这就厉害了,一下子让风格迁移任务变得简单很多。看一下CycleGAN的网络结构图:如果想了解更多详情,可以阅读CycleGAN的原论文,推荐读一读,会有更深刻和更清楚的理解,下面给出链接:cid:link_3)CycleGAN的实现代码和数据集这里我提供了一个包含代码和数据集的仓库链接:https://git.openi.org.cn/tjulitianyi/CycleGAN_MindSpore,但是更建议使用最新版本代码,见下方特别说明。特别说明:我们将在华为云ModelArts的NoteBook,基于MindSpore-GPU 1.8.1 运行CycleGAN的代码,因为云环境的更新不确定性,所以运行可能会报错,这时可以参考如下最新代码:https://gitee.com/mindspore/models/tree/master/research/cv/CycleGAN。需要提醒大家的是,必须需要使用MindSpore 1.8.0以及以上的版本,之前版本会报错,因为某些API不支持。而最新的1.8.1版本有时也会报错,报错信息如下,怀疑可能是代码的设置有些问题:目前ModelArts最高支持到MindSpore 1.7,我们需要自行安装最新的MindSpore 1.8.1版本。先来看看我使用的NoteBook环境:这里特别提醒大家,NoteBook是要花钱的,我选择的单卡Tesla V100大约每小时28元,也有更便宜的,大概每小时8元的单卡Tesla P100,请大家根据自身情况选择,千万注意使用情况,别欠费了。准备环境下面进入NoteBook,打开一个Terminal:先来看看我们的显卡信息和CUDA Version:我们看到CUDA Version是10.2,下面到MindSpore官网看看安装教程,我们需要安装MindSpore 1.8.1,但是没有CUDA 10.2对应的版本,这里就选择就近的CUDA 10.1版本了。在Terminal执行如下命令:pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.1/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.8.1-cp37-cp37m-linux_x86_64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple下载速度很快,安装速度也是非常快:最后运行显示如下信息,表示安装成功了:获取代码接下来下载代码,执行如下命令(由于要下载整个仓库,时间有点长):git clone https://gitee.com/mindspore/models.git命令运行截图:下面我们将感兴趣的CycleGAN代码拷贝到当前目录下,执行如下命令:cp -r models/research/cv/CycleGAN/ ./准备数据集下面进入CycleGAN目录:cd CycleGAN我们这里使用的是monet2photo数据集,由于直接在ModelArts的NoteBook下载速度很慢,所以建议大家下载到本地,再上传到NoteBook的CycleGAN/data目录下,下载链接为:https://s3.openi.org.cn/opendata/attachment/7/b/7beb4534-6e79-463e-a7c6-032510bab215?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=1fa9e58b6899afd26dd3/20220814/us-east-1/s3/aws4_request&X-Amz-Date=20220814T085624Z&X-Amz-Expires=604800&X-Amz-SignedHeaders=host&response-content-disposition=attachment; filename="monet2photo.zip"&X-Amz-Signature=20fbfd9c798701efcbf21d811f3dfdd6b8d5744f388c799bc38715f7fe78c783上传完成后,解压数据集即可。我的运行截图如下图所示:启动训练注意,请在CycleGAN的目录下启动训练,如下图所示:我是在GPU下的单卡训练,所以启动训练的命令为:python train.py --platform GPU --device_id 0 --model ResNet --max_epoch 200 --dataroot ./data/monet2photo/ --outputs_dir ./outputs运行截图为:可以看到已经成功启动训练,打印出loss,此时我是用的Tesla V100显卡大约占了4GB显存,利用率接近100%,此时来看不适合用Tesla V100来跑,未能发挥其大显存的优势,而其计算能力其实一般。CycleGAN模型训练比较费时间,请注意花费,预计完成全部200epoch的训练需要72小时以上。评估模型python eval.py --platform GPU --device_id 0 --model ResNet --G_A_ckpt ./outputs/ckpt/G_A_200.ckpt --G_B_ckpt ./outputs/ckpt/G_B_200.ckpt注意,这里的.ckpt模型名称,请根据实际训练生成的具体轮数的模型名称太难写,比如目前只保存了20epoch的模型,那上述命令的200就应该改成20。更多命令或适配其他硬件平台和多卡情况,可参考scripts文件夹下脚本。结语我们简单介绍了著名的CycleGAN,给出了基于MindSpor的完整代码,并带着大家跑了一遍,目前有些问题,后续会更新。作为经典的GAN的一种,CycleGAN有很多值得我们学习的地方,还需要深入分析挖掘,以鉴今事。关于代码运行的问题,可以到官仓提交issue求助,下为链接:cid:link_2
-
在机器学习、深度学习和数据挖掘的大多数任务中,我们都会假设 training 和 inference 时,采用的数据服从相同的分布(distribution)、来源于相同的特征空间(feature space)。但在现实应用中,这个假设很难成立,往往遇到一些问题: 1、带标记的训练样本数量有限。比如,处理 A 领域(target domain)的分类问题时,缺少足够的训练样本。同时,与 A 领域相关的 B(source domain)领域,拥有大量的训练样本,但 B 领域与 A 领域处于不同的特征空间或样本服从不同的分布。 2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关,随着动态因素的变化,数据分布会发生变化,以前收集的数据已经过时,需要重新收集数据,重建模型。 这时,知识迁移(knowledge transfer)是一个不错的选择,即把 B 领域中的知识迁移到 A 领域中来,提高 A 领域分类效果,不需要花大量时间去标注 A 领域数据。迁移学习,做为一种新的学习范式,被提出用于解决这个问题。 学习的目的: 1.深入了解神经网络的组成、训练和实现,掌握深度空间特征分布等关键概念; 2.掌握迁移学习的思想与基本形式,了解传统迁移学习的基本方法,对比各种方法的优缺点; 3.握深度迁移学习的思想与组成模块,学习深度迁移学习的各种方法; 4.掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法,了解迁移学习在PDA、Source-Free DA上的应用; 5.掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用,学习图像/视频风格迁移方法,了解风格迁移在实际生活中的应用; 6.掌握小样本学习、Transformer等前沿方法和基本思想,了解小样本学习、Transformer等在实际场景下的应用; 7.通过实操掌握图片视频风格迁移,自动驾驶中的跨域语义分割,目标检测。 学习的课程信息以及目标: 一、机器学习简介与经典机器学习算法 1.什么是机器学习? 2.机器学习框架与基本组成 3.机器学习的训练步骤 4.机器学习问题的分类 5.经典机器学习算法介绍 目标:机器学习是人工智能的重要技术之一,详细了解机器学习的原理、机制和方法,为学习深度学习与迁移学习打下坚实的基础。 二、深度学习简介与经典网络结构介绍 1.神经网络简介 2.神经网络组件简介 3.神经网络训练方法 4.卷积神经网络介绍 5.经典网络结构介绍 目标:深入了解神经网络的组成、训练和实现,掌握深度空间特征分布等关键概念,为深度迁移学习奠定知识基础。 三、迁移学习基础知识 1.迁移学习绪论 2.基于样本的迁移学习 3.基于特征的迁移学习 4.基于分类器适配的迁移学习 目标:掌握迁移学习的思想与基本形式,了解传统迁移学习的基本方法,对比各种方法的优缺点,掌握迁移学习的适用范围。 四、深度迁移学习 1.深度迁移学习概述 2.基于距离函数的深度迁移学习 3.基于对抗网络的深度迁移学习 4.深度异构迁移学习方法介绍 5.深度领域泛化学习介绍 目标:掌握深度迁移学习的思想与组成模块,学习深度迁移学习的各种方法,对比各种方法的优缺点,掌握深度迁移学习的适用范围。 五、迁移学习前沿方法介绍 1.深度迁移网络结构设计 2.深度迁移学习目标函数设计 3.全新场景下的迁移学习 目标:掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法,了解迁移学习在PDA、Source-Free DA上的应用。 六、迁移学习前沿应用 1.迁移学习在语义分割中的应用 2.迁移学习在目标检测中的应用 3.迁移学习在行人重识别中的应用 4.图片与视频风格迁移 目标:掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用,学习图像/视频风格迁移方法,了解风格迁移在实际生活中的应用。 七、小样本学习、Transformer等前沿方法与应用 1.小样本学习概念与基本方法介绍 2.小样本学习应用 3.Transformer概念与基本方法介绍 4.Transformer在图像领域的应用 目标:掌握小样本学习、Transformer等前沿方法和基本思想,了解小样本学习、Transformer等在实际场景下的应用。 八、实验实操之实操环境搭建 1. 硬件准备:GPU显存11GB以上 2. 软件准备:Linux操作系统(Ubuntu16.04以上),显卡驱动安装(512.54),CUDA Toolkit(10.1)和cuDNN加速库(7.6.4),VS Code编辑器安装,Jupyter Notebook 3. 编程语言和框架:Python3.8.5、torch==1..07、torchvision==0.8.2、mmcv-full==1.3.7、opencv-python==4.4.0、matplotlib==3.4.2、numpy==1.19.2、Pillow==8.3.1、scikit-learn==1.0.2 4. 数据集准备:Office-31、IRVI、GTA5、Cityscapes、Foggy cityscapes等 注:硬件准备由主办方提供云服务器 九、实验实操之深度迁移学习实践 1.掌握PyTorch中的基本原理和编程思想。 2.理解在一个新的场景或数据集下,何时以及如何进行迁移学习。 3.利用PyTorch加载数据、搭建模型、训练网络以及进行网络微调操作。 4.给定迁移场景,利用daib库和生成对抗技术独立完成图像分类中的领域适配。 5.迁移效果的可视化,利用机器学习库scikit-learn中的t-SNE对迁移过后的高维数据进行可视化。 十、实验实操之图片与视频风格迁移实践 1.掌握基于生成对抗网络的风格迁移技术。 2.图像/视频风格迁移网络的搭建,重点掌握编码器和解码器的内在逻辑和不同损失函数的运用。 3.实践红外视频转换到可见光视频的风格迁移。 十一、实验实操之自动驾驶中的跨域语义分割实践 1.掌握语义分割发展现状及代表性工作,如FCN,DeepLab系列等。 2.了解常用的语义分割评价指标(PA、mPA、mIoU、FWIoU)和常见数据集(PASCAL VOC2012,ADE20K、BDD100K、Cityscapes、GTA5、Dark Zurich)。 3.语义分割工具箱MMSegmentaion的认识和使用。 4.设计一个分割模型能够从仿真环境中得到的数据迁移到真实场景下产生的数据。 十二、实验实操之目标检测实践 1.掌握目标检测算法的基本框架以及目标检测中的经典模型,如R-CNN系列的两阶段检测模型和YOLO系列的单阶段检测模型。 2.掌握目标检测模型的评测指标(IOU和mAP)、标准评测数据集(Pascal VOC,MS COCO和Cityscapes)以及检测模型中的一些训练技巧,如数据增强、多尺度训练/测试、预测框微调/投票法、在线难例挖掘、软化非极大抑制、RoI对齐和集成。 3.实践基于Transformer的端到端目标检测框架的搭建,并在新的数据集上与基于CNN的网络进行迁移性能的对比。
-
中科大团队使用深度学习增强了里德伯多频微波识别由于多频场在实际应用中的复杂干扰,多频微波(MW)电场的识别具有挑战性。基于里德堡原子的多频 MW 电场测量在 MW 雷达和 MW 通信中很有前景。然而,里德堡原子不仅对 MW 信号敏感,而且对来自原子碰撞和环境的噪声也很敏感,这意味着光原子相互作用的主导 Lindblad 主方程的解因包含噪声和高阶项而变得复杂。在这里,中国科学技术大学的研究团队,通过将里德堡原子与深度学习模型相结合来解决这些问题,证明该模型在不求解主方程的情况下利用了里德堡原子的灵敏度,同时还降低了噪声的影响。作为原理验证演示,深度学习增强的 Rydberg 接收器允许直接解码频分复用信号。这种类型的传感技术有望使基于里德堡的 MW 场传感和通信受益。该研究以「Deep learning enhanced Rydberg multifrequency microwave recognition」为题,于 2022 年 4 月 14 日发布在《Nature Communications》。德堡原子与微波(MW)场之间的强相互作用源于其高极化率,这意味着里德堡原子是 MW 场测量的候选介质,例如,使用电磁感应吸收、电磁感应透明 (EIT) 和 Autler-Townes 影响。然后可以以高灵敏度测量 MW 场的幅度、相位和频率。基于 MW 场的这种测量灵敏度,里德堡原子已被用于通信和雷达中,作为基于原子的无线电接收器。在通信领域,里德堡原子以优异的性能取代了传统天线,包括亚波长尺寸、高灵敏度、系统国际(SI)可追溯到普朗克常数、高动态范围、自校准和从MHz到THz频率的工作范围。一种应用是模拟通信,例如音频信号的实时记录和重建。另一个应用是数字通信,例如相移键控和正交幅度调制。基于 MW 的通信的信道容量受到标准量子有限相位不确定性的限制。另外,基于里德堡原子实现了连续可调的射频载波,从而为并发多通道通信铺平了道路。多频 MW 场的检测和解码在通信中对于加速信息传输和提高带宽效率非常重要。此外,MW 场识别能够从多普勒效应引起的多频谱中同时检测具有不同速度的多个目标。但是,由于里德堡原子的敏感性,噪声会叠加在消息上,这意味着无法有效地恢复消息。同时,很难对带通滤波器进行概括和缩放,以实现对具有更多载波的多频信号进行解复用。为了解决这些问题,研究人员使用深度学习模型,因为它具有准确的信号预测能力,以及在不使用复杂电路的情况下从噪声数据中识别复杂信息的出色能力。深度学习模型通过反向传播更新权重,然后从大量数据中提取特征,而无需人工干预或物理和实验系统的先验知识。由于这些优势,物理学家构建了复杂的神经网络来完成许多任务,包括远场亚波长声学成像、随机磁场的值估计、涡旋光识别、轨道角动量束的解复用和实验的自动控制。在这里,中国科学技术大学的研究团队展示了一种用于频分复用数字通信的深度学习增强型 Rydberg 接收器。在他们的实验中,深度学习增强的里德堡混频器能够有效地接收和解码多频MW场;这些字段通常难以使用理论方法解码。转发自https://www.jiqizhixin.com/articles/2022-08-16
-
自动驾驶技术所采用的传感器主要包括摄像机,激光雷达和毫米波雷达。摄像机用于采集可见光图像,对于物体的形状和类别的感知精度较高。由于深度学习技术的成功起源于计算机视觉任务,很多成功的算法也是基于对图像数据的处理,因此基于摄像机的感知技术目前已经相对成熟。图像数据的缺点在于缺少了场景和物体的距离信息,且受天气和环境的影响较大。激光雷达在一定程度上弥补了摄像机的缺点,可以精确的感知物体的距离,但是限制在于成本过高,难以大批量生产。毫米波雷达具有天线波束窄、分辨率高、频带宽、抗干扰能力强等点, 可以比较精确的测量物体的速度和距离,受天气和环境影响较小,而且成本较低,易于大规模生产,因为也成为了目前自动驾驶技术研究的一个热点方向。2003年,NASA发射勇气号和机遇号(Spirit and Opportunity)火星车,其目的是寻找火星上是否有水存在或曾经有水存在。2004年,美国主要的军事研究机构DARPA在Mojave沙漠组织了一场比赛,邀请全世界各地的企业或人建造来制造一辆能够横穿加州Mojave沙漠的自动驾驶汽车,要求无人驾驶车辆驾驶150英里的越野路线。这场比赛共有21支队伍获得参赛资格,但最终只有12辆车参赛;而由于机械故障和陷入沙坑等问题,所有参赛队伍都没有跑完全程。2009年,由国家自然科学基金委主办、西安交通大学承办的首届中国“智能车未来挑战”大赛在西安浐灞生态区拉开战幕。自动驾驶是为了实现一定的需求而研发的新技术。现主要有两类需求:满足园区、港口、工厂等特定场所的工作需求;实现物流,巡检,接驳等特定功能。自动驾驶在公共交通领域和特定场所的使用将早于在个人乘用车市场的普及。自动驾驶感知技术与多传感器数据融合技术模块中,自动驾驶算法总结一下大致包含一下方面:摄像头感知算法(1)摄像头目标检测机器学习算法(2)摄像头目标检测深度学习算法自动驾驶激光雷达感知算法(1)激光雷达地面检测机器学习算法(2)激光雷达目标检测机器学习算法(3)激光雷达目标检测深度学习算法自动驾驶多传感器融合算法(1)数据级融合算法(2)特征级融合算法(3)决策级融合算法
-
每天学习一点点几何深度学习,是从对称性和不变性的角度对广义机器学习问题进行几何统一的尝试,其原理不仅是卷积神经网络的突破性性能和图神经网络近期成功的基础,也为构建新型的、面向特定问题的归纳偏置提供了一种有原则的方法。2022 年的 GDL100 共包含 12 节常规课程、3 节辅导课程和 5 次专题研讨。12 节常规课程主要介绍了几何深度学习的基本概念知识,包括高维学习、几何先验知识、图与集合、网格(grid)、群、测地线(geodesic)、流形(manifold)、规范(gauge)等。3 节辅导课主要面向表达型图神经网络、群等变神经网络和几何图神经网络。Michael Bronstein 是几何深度学习的先驱,他与 Joan Bruna、Taco Cohen、Petar Veličković共同撰写的《几何深度学习》是领域内的经典必读书目。除了出书,这几位作者还联合在非洲数学科学研究所推出的研究生培训计划 AMMI 中讲授了一门几何深度学习在线课程——GDL100。目前 2022 年的 GDL100 课程已全部上线,课程视频和讲义等资料均可免费在线查看。课程地址:https://geometricdeeplearning.com/lectures/华为云AI技术领域课程--深度学习https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE088+Self-paced/about深度学习是一种以人工神经网络为架构,对数据进行表征学习的算法。目前,在图像、语音识别、自然语言处理、强化学习等许多技术领域中,深度学习获得了广泛的应用,并且在某些问题上已经达到甚至超越了人类的水平。本课程将介绍深度学习算法的知识。
-
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。自下上升的非监督学习就是从底层开始,一层一层地往顶层训练。采用无标定数据(有标定数据也可)分层训练各层参数,这一步可以看作是一个无监督训练过程,这也是和传统神经网络区别最大的部分,可以看作是特征学习过程。具体的,先用无标定数据训练第一层,训练时先学习第一层的参数,这层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层,由于模型容量的限制以及稀疏性约束,使得得到的模型能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征;在学习得到n-l层后,将n-l层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数。自顶向下的监督学习就是通过带标签的数据去训练,误差自顶向下传输,对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型的参数,这一步是一个有监督训练过程。第一步类似神经网络的随机初始化初值过程,由于第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。所以深度学习的良好效果在很大程度上归功于第一步的特征学习的过程。
-
最早的自然语言理解方面的研究工作是机器翻译 。1949年,美国人威弗首先提出了机器翻译设计方案 。其发展主要分为三个阶段。早期自然语言处理第一阶段(60~80年代):基于规则来建立词汇、句法语义分析、问答、聊天和机器翻译系统。好处是规则可以利用人类的内省知识,不依赖数据,可以快速起步;问题是覆盖面不足,像个玩具系统,规则管理和可扩展一直没有解决。 统计自然语言处理第二阶段(90年代开始):基于统计的机器学习(ML)开始流行,很多NLP开始用基于统计的方法来做。主要思路是利用带标注的数据,基于人工定义的特征建立机器学习系统,并利用数据经过学习确定机器学习系统的参数。运行时利用这些学习得到的参数,对输入数据进行解码,得到输出。机器翻译、搜索引擎都是利用统计方法获得了成功。神经网络自然语言处理第三阶段(2008年之后):深度学习开始在语音和图像发挥威力。随之,NLP研究者开始把目光转向深度学习。先是把深度学习用于特征计算或者建立一个新的特征,然后在原有的统计学习框架下体验效果。比如,搜索引擎加入了深度学习的检索词和文档的相似度计算,以提升搜索的相关度。自2014年以来,人们尝试直接通过深度学习建模,进行端对端的训练。目前已在机器翻译、问答、阅读理解等领域取得了进展,出现了深度学习的热潮华为云自然语言处理和自然语言处理的方法、难点。视频https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE177+Self-paced/courseware/6ca29e8127cb49cd9c1445fd42f96ecd/9fbd741452a34d3993a76d7c463a2a3b/
-
深度学习常用术语· 样本(sample)或输入(input)或数据点(data point):训练集中特定的实例。我们在上一章中看到的图像分类问题,每个图像都可以被称为样本、输入或数据点。· 预测(prediction)或输出(output):由算法生成的值称为输出。例如,在先前的例子中,我们的算法对特定图像预测的结果为0,而0是给定的猫的标签,所以数字0就是我们的预测或输出。· 目标(target)或标签(label):图像实际标注的标签。· 损失值(loss value)或预测误差(prediction error):预测值与实际值之间的差距。数值越小,准确率越高。· 类别(classes):给定数据集的一组可能的值或标签。在前一章的例子中有猫和狗两种类别。· 二分类(binary classification):将输入实例归类为两个互斥类别中的其中一个的分类任务。· 多类别分类(multi-class classification):将输入实例归类为两个以上的不同类别的分类任务。· 多标签分类(multi-label classification):一个输入实例可以用多个标签来标记。例如根据提供的食物不同来标记餐馆,如意大利菜、墨西哥菜和印度菜。另一个常见的例子是图片中的对象检测,它使用算法识别出图片中的不同对象。· 标量回归(scalar regression):每个输入数据点都与一个标量质量(scalar quality)相关联,该标量质量是数值型的。这样的例子有预测房价、股票价格和板球得分等。· 向量回归(vector regression):算法需要预测不止一个标量质量。一个很好的例子当你试图识别图片中鱼的位置边界框时。为了预测边界框,您的算法需要预测表示正方形边缘的4个标量。· 批(batch):大多数情况下,我们在称为批的输入样本集上训练我们的算法。取决于GPU的内存,批尺寸一般从2~256不等,权重也在每个批次上进行更新,因此算法往往比在单个样例上训练时学习的更快。· 轮数:在整个数据集上运行一遍算法称为一个Epoch。通常要训练(更新权重)几个Epoch。
-
人工智能的发展史人工智能“研究,开发用于模拟延伸和扩展人的智能的理论方法及应用系统的一门新的综合性技术科学”人工智能由1956年(人工智能元年)约翰·麦卡锡提出定义“制造智能机器的科学与工程”,意义,在于重新定义生产力,重新定义人的价值机器学习“专门研究计算机怎么样,模拟或实现人类学习行为以获取新的知识或技能,重新组织已有的知识结构使之不断改善自己的技能”机器学习更多是处理结构话的数据并且有较好的数学理论支撑,主要包括决策树,随机森林,人工神经网络,贝叶斯学习,是人工智能的核心研究领域之一深度学习源于人工神经网络的研究,多层感知器就是一种深度学习结构,深度学习是机器学习研究中的一个新的领域它模仿人脑的机制来解释理解数据,图像,声音,文本等人工智能的三要素:数据,算法,算力测验(单选)人工智能的标准定义是由谁提出的?约翰·麦卡锡 √正确丹尼斯·里奇唐纳德·克努特爱德华·泰勒(单选)人工智能元年是?1955年1956年 √正确1957年1958年(单选)比较依赖调参人员的经验,被称为“炼丹术”的算法是?深度学习 √机器学习联邦学习不正确强化学习(单选)人工智能的三要素不包括?数据算法算力AI工程师 √正确(单选)人工智能的三大学派不包括?符号主义连接主义行为主义规则主义 √正确(单选)未来人工智能技术的突破方向可能是?非监督学习,知识推理 √正确监督学习,知识推理深度学习,非监督学习强化学习,监督学习(单选)人工智能中用什么技术可以解决数据隐私保护问题?联邦学习 √正确监督学习深度学习隐私学习(单选)当前世界在AI领域的研究主要集中在?计算机视觉 √正确语音自然语言理解数据挖掘(单选)自然语言处理研究的主题不包括?机器翻译情感分析语音合成 √正确文本挖掘(单选)阿西莫夫对人工智能和人的伦理关系最早的定义是?人工智能三定律人工智能与机器人三定律机器人三定律 √正确人工智能伦理论
-
SVM是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。SVM使用铰链损失函数(hinge loss)计算经验风险(empirical risk)并在求解系统中加入了正则化项以优化结构风险(structural risk),是一个具有稀疏性和稳健性的分类器 。SVM可以通过核方法(kernel method)进行非线性分类,是常见的核学习(kernel learning)方法之一 。SVM被提出于1964年,在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法,在人像识别、文本分类等模式识别(pattern recognition)问题中有得到应用 。SVM是由模式识别中广义肖像算法(generalized portrait algorithm)发展而来的分类器 ,其早期工作来自前苏联学者Vladimir N. Vapnik和Alexander Y. Lerner在1963年发表的研究 。1964年,Vapnik和Alexey Y. Chervonenkis对广义肖像算法进行了进一步讨论并建立了硬边距的线性SVM 。此后在二十世纪70-80年代,随着模式识别中最大边距决策边界的理论研究 、基于松弛变量(slack variable)的规划问题求解技术的出现 ,和VC维(Vapnik-Chervonenkis dimension, VC dimension)的提出,SVM被逐步理论化并成为统计学习理论的一部分。1992年,Bernhard E. Boser、Isabelle M. Guyon和Vapnik通过核方法得到了非线性SVM 。1995年,Corinna Cortes和Vapnik提出了软边距的非线性SVM并将其应用于手写字符识别问题 ,这份研究在发表后得到了关注和引用,为SVM在各领域的应用提供了参考。svm中的最优分类面是对所有样本的几何裕量最大(为什么要选择最大间隔分类器,请从数学角度上说明?网易深度学习岗位面试过程中有被问到。答案就是几何间隔与样本的误分次数间存在关系:,其中的分母就是样本到分类间隔距离,分子中的R是所有样本中的最长向量值),即: 经过一系列推导可得为优化下面原始目标: 2. 下面来看看拉格朗日理论: 可以将1中的优化目标转换为拉格朗日的形式(通过各种对偶优化,KKD条件),最后目标函数为: 我们只需要最小化上述目标函数,其中的α为原始优化问题中的不等式约束拉格朗日系数。3. 对2中最后的式子分别w和b求导可得: 由上面第1式子可以知道,如果我们优化出了α,则直接可以求出w了,即模型的参数搞定。而上面第2个式子可以作为后续优化的一个约束条件。4. 对2中最后一个目标函数用对偶优化理论可以转换为优化下面的目标函数: 而这个函数可以用常用的优化方法求得α,进而求得w和b。5. 按照道理,svm简单理论应该到此结束。不过还是要补充一点,即在预测时有: 那个尖括号我们可以用核函数代替,这也是svm经常和核函数扯在一起的原因。6. 最后是关于松弛变量的引入,因此原始的目标优化公式为: 此时对应的对偶优化公式为: 与前面的相比只是α多了个上界。SVM算法优点:1. 可用于线性/非线性分类,也可以用于回归;2. 低泛化误差;3. 容易解释;4. 计算复杂度较低;SVM算法缺点:1. 对参数和核函数的选择比较敏感;2. 原始的SVM只比较擅长处理二分类问题;资料来源:https://mp.weixin.qq.com/s/v5HG9v30BCsZkNXKobX5hA
-
1.3 降低计算复杂的网络结构 也有很多工作致力于降低语义分割网络的计算复杂度。一些简化深度网络结构的方法:张量分解;通道/网络剪枝;稀疏化连接。还有一些利用NAS(神经架构搜索)取代人工设计来搜索模块或整个网络的结构,当然AutoDL所需的GPU资源会劝退一大批人。因此,也有一些人使用随机搜索来搜索小的多的ASPP模块,然后基于小模块来搭建整个网络模型。 网络轻量化设计是业内共识,移动端部署不可能每台机器配一张2080ti,另外耗电量、存储等问题也会限制模型的推广应用。不过5G如果能普及的话,数据就可以全部在云端处理,会很有意思。当然,短期内(十年),5G全方位部署不知道是否可行。 1.4 基于注意力机制的网络结构 注意力机制可以定义为:使用后续层/特征图信息来选择和定位输入特征图中最具判断力(或显著性)的部分。简单地可以认为是给特征图加权的一种方式(权值通过网络计算得到),按照权值的作用方式的不同,可以分为通道注意力机制(CA)和空间注意力机制(PA)。FPA(Feature Pyramid Attention,特征金字塔注意力)网络是一种基于注意力机制的语义分割网络,它将注意力机制和空间金字塔相结合,以提取用于像素级标记的精密特征,而没有采用膨胀卷积和人为设计的解码器网络。 1.5 基于对抗学习的网络结构 Goodfellow等人在2014年提出了一种对抗的方法来学习深度生成模型, 生成对抗网络(GANs)中需要同时训练两个模型:捕获数据分布的生成模型G,和估计样本来自训练数据的概率的判别模型D。 ● G是一个生成式的网络,它接收一个随机的噪声z(随机数),通过这个噪声生成图像 ● D是一个判别网络,判别一张图片是不是“真实的”。它的输入参数是x(一张图片),输出D(x)代表x为真实图片的概率,如果为1,就代表100%是真实的图片,而输出为0,就代表不可能是真实的图片。 G的训练程序是将D错误的概率最大化。可以证明在任意函数G和D的空间中,存在唯一的解决方案,使得G重现训练数据分布,而D=0.5。训练过程中,生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假图像和真实的图像。这样,G和D构成了一个动态的“博弈过程”,最终的平衡点即纳什均衡点.。在G和D由神经网络定义的情况下,整个系统可以用反向传播进行训练。
-
PSPNet(pyramid scene parsing network)通过对不同区域的上下文信息进行聚合,提升了网络利用全局上下文信息的能力。在SPPNet,金字塔池化生成的不同层次的特征图最终被flatten并concate起来,再送入全连接层以进行分类,消除了CNN要求图像分类输入大小固定的限制。而在PSPNet中,使用的策略是:poolling-conv-upsample,然后拼接得到特征图,然后进行标签预测。创新点:多尺度池化,更好地利用全局图像级别的先验知识来理解复杂场景RefineNet通过细化中间激活映射并分层地将其连接到结合多尺度激活,同时防止锐度损失。网络由独立的Refine模块组成,每个Refine模块由三个主要模块组成,即:剩余卷积单元(RCU),多分辨率融合(MRF)和链剩余池(CRP)。整体结构有点类似U-Net,但在跳跃连接处设计了新的组合方式(不是简单的concat)。个人认为,这种结构其实非常适合作为自己网络设计的思路,可以加入许多其他CV问题中使用的CNN module,而且以U-Net为整体框架,效果不会太差。创新点:Refine模块
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签