我在执行.pt模型转换时遇到了torch2.1.0版本的bug，按照官方指示我尝试升级torch将torch升级为2.2.0，mindietorch并未升级再次运行转换脚本出现mindietorch与torch不兼容的错误。我继续尝试使用pip 华为源和官方软件包的方式升级mindietorch但均升级失败想请问一下兼容torch2.2.0的minidetorch在哪可以找到

再使用CMU-Multimodal SDK Version 1.2.0提取CMU- Mosei数据集的特征时，程序运行到一半叫我“Please input dimension namescomputational sequence version for computational sequence: ” 该输入什么？

ImportError: cannot import name 'weight_init' from 'timm.models.layers' (F:\anaconda\envs\zkyolov8\lib\site-packages\timm\models\layers\__init__.py)这种报错怎么解决呀？谢谢

十多年开发经验，熟悉J2EE、Golang和前端技术。打算使用盘古人工智能图像识别，实现网页元素识别、工地人脸和安全帽识别、或农作物识别比对等方面。如果花几个月来学习的话，需要从什么开始，具体包括哪些课程内容，谢谢！

问题基本如题使用的具体规格是pytorch1.8-cuda10.2-cudnn7-ubuntu18.04，GPU等情况是：GPU: 1*T4(16GB)|CPU: 8核 32GB，在配置好了相关数据和文件之后，训练开始阶段报错“RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED”。我猜想应该是和cuDNN的安装和版本适配有关，但实在是不清楚具体该怎么在Modelarts上完成配置，各位请不吝赐教QvQ

“上海计算生物学大赛”中所提供的数据只有化合物相关，请问这些化合物对应的靶标数据都是已知的吗？如果是存在已知靶标的，有无指定的搜索渠道？

ansformer（注意力机制）Transformers是机器学习（ML）中一个令人兴奋的（相对）新的部分，但是在理解它们之前，有很多概念需要分解。这里我们关注的是基本的Self-Attention机制是如何工作的，这是Transformers模型的第一层。本质上，对于每个输入向量，Self-Attention产生一个向量，该向量在其邻近向量上加权求和，其中权重由单词之间的关系或连通性决定。Transformers是一种ML架构，已经成功地应用于各种NLP任务，尤其是序列到序列（seq2seq）任务，如机器翻译和文本生成。在seq2seq任务中，目标是获取一组输入（例如英语单词）并产生一组理想的输出（德语中的相同单词）。自2017年发布以来，他们已经占领了seq2seq的主流架构（LSTMs），几乎无所不在地出现在任何关于NLP突破的新闻中（比如OpenAI的GPT-2甚至出现在主流媒体上！）。神经网络接收的输入是很多大小不一的向量，并且不同向量向量之间有一定的关系，但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果极差。比如机器翻译问题(序列到序列的问题，机器自己决定多少个标签)，词性标注问题（一个向量对应一个标签)，语义分析问题(多个向量对应一个标签)等文字处理问题。卷积只能通过叠加很深的层才能获得全局感受野，循环神经网络不好训练且慢。2017年《Attention is all you need》诞生了一种全新的网络架构，self-attention。使用self-attention的BERT巨大的提升了自然语言处理的精度和速度，近些年来BERT，GPT2，GPT3，基本都是基于Transformer的架构了。另外从2020年的vit开始，Transformer也开始进入图像处理领域大放异彩，如swin transformer。self-attention的运算过程。我们可以看到这是一个可并行运算的过程，而且从一开始就在捕捉全局关系。

神经网络是一个由生物神经元组成的网络或电路，或者从现代意义上讲，是一个由人工神经元或节点组成的人工神经网络。因此，一个神经网络要么是由生物神经元组成的生物神经网络，要么是用于解决人工智能（AI）问题的人工神经网络。生物神经元的连接在人工神经网络中被建模为节点之间的权重。正的权重反映了兴奋性连接，而负值意味着抑制性连接。所有的输入都被一个权重修改并加总。这种活动被称为线性组合。最后，一个激活函数控制输出的振幅。RNN-循环神经网络循环神经网络（recurrent neural network）或 RNN (Rumelhart et al., 1986c)是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据 X（如一个图像）的神经网络，循环神经网络是专门用于处理序列 x (1), . . . , x(τ) 的神经网络。正如卷积网络可以很容易地扩展到具有很大宽度和高度的图像，以及处理大小可变的图像，循环网络可以扩展到更长的序列（比不基于序列的特化网络长得多）。大多数循环网络也能处理可变长度的序列。卷积网络用于处理图像，循环网络用于处理自然语言。如下是循环神经网络的前向传播过程，后续每个神经元都要取前一个神经元的输出作为输入的一部分。这种网络结构，可以让我们的模型对序列关系进行建模。因为依赖关系，循环神经网络表现出两个问题：（1）训练不稳定，梯度的累积容易产生梯度爆炸与梯度消失，不利于神经网络的训练。（2）因为模型是一种串行的结构，下一个神经元的输入必须依赖于前一个的输出，所以导致了循环神经网络的处理速度慢。简单的RNN结构一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成

神经网络是一个由生物神经元组成的网络或电路，或者从现代意义上讲，是一个由人工神经元或节点组成的人工神经网络。因此，一个神经网络要么是由生物神经元组成的生物神经网络，要么是用于解决人工智能（AI）问题的人工神经网络。生物神经元的连接在人工神经网络中被建模为节点之间的权重。正的权重反映了兴奋性连接，而负值意味着抑制性连接。所有的输入都被一个权重修改并加总。这种活动被称为线性组合。最后，一个激活函数控制输出的振幅。神经网络算法之CNN（卷积神经网络）卷积神经网络是LeCun提出，用Lenet卷积网络来识别信封或邮件上的手写数字。卷积神经网络是一种专门用来处理具有类似网格结构的数据的 神经网络。例如时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格）和图像数据（可以看作是二维的像素网格）。卷积网络在诸多应用领域都表现优异。“卷积神经网络” 一词表明该网络使用了 卷积（convolution）这种数学运算。卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。卷积运算通过三个重要的思想来帮助改进机器学习系统：（1）稀疏交互（sparse interactions）：举个例子， 当处理一张图像时，输入的图像可能包含成千上万个像素点，但是我们可以通过只占用几十到上百个像素点的核来检测一些小的有意义的特征，例如图像的边缘。（2）参数共享（parameter sharing：在卷积神经网络中，核的每一个元素都作用在输入的每一位置上（是否考虑边界像素取决于对边界决策的设计）。卷积运算中的参数共享保证了我们只需要学习一个参数集合，而不是对于每一位置都需要学习一个单独的参数集合。（3）等变表示（equivariant representations）。对于卷积，参数共享的特殊形式使得神经网络层具有对平移等变（equivariance）的性质。如果一个函数满足输入改变，输出也以同样的方式改变这一性质，我们就说它是等变（equivariance）的。例如在卷积操作中我们先移动图像上的物体再进行卷积得到的结果与我们先卷积在移动卷积图上的输出，这两个操作的结果是一致的。

神经网络（NN）是一种模仿生物神经网络进行计算和信息处理的计算模型。它是人工智能领域中最常用的一种算法，用于解决各种复杂的问题，如图像识别、自然语言处理、语音识别等。下面是神经网络算法的详细介绍：数据预处理：神经网络需要进行数据预处理，以便将其转换为适合构建神经网络的格式。这通常包括数据清洗、缺失值填充和特征选择等步骤。构建神经网络模型：在数据预处理之后，我们开始构建神经网络模型。神经网络通常由多个隐藏层组成，每个隐藏层都由多个神经元组成。每个神经元都会接收输入数据，并将其传递给下一层的神经元。神经网络训练：神经网络模型构建完成后，我们需要使用训练数据来训练模型。训练过程中，我们将输入数据传递给模型，模型会计算输出结果并根据误差进行反馈和调整。训练通常采用反向传播算法进行优化。预测：训练完成后，我们可以使用训练好的模型对新数据进行预测。预测过程中，我们将新数据传递给模型，模型会计算输出结果并根据误差进行反馈和调整。神经网络算法的优点包括：非线性映射能力：神经网络可以将输入数据映射到高维空间中，并通过学习的权重来学习输入数据与输出结果之间的非线性关系。这使得神经网络在解决复杂问题时具有很好的表现能力。可解释性强：神经网络是一种结构化的算法，它可以很好地解释其学习过程，使得人们能够理解和解释算法的结果。可扩展性强：神经网络通常具有很好的可扩展性，即它可以轻松地添加新的神经元、层数和隐藏层数。这使得它成为一种很好的监督学习算法，可以用于许多不同领域的任务。鲁棒性强：神经网络可以处理输入数据中的异常值和噪声，这使得它在解决复杂问题时表现出很好的鲁棒性。然而，神经网络算法也存在一些缺点：计算复杂度高：构建和训练神经网络需要大量的计算资源和时间，这使得它在处理大规模数据时表现不佳。参数调整困难：神经网络需要通过调整参数来优化模型的性能，这使得它在参数设置时比较困难。容易过拟合：在训练过程中，神经网络可能会陷入局部最优解，导致模型表现不佳。

VGG网络是2014年由牛津大学著名研究组VGG (Visual Geometry Group) 提出的。在2014到2016年（ResNet提出之前），VGG网络可以说是当时最火并被广泛应用的Backbone。后面由于各种新的网络提出，论精度VGG比不上ResNet，论速度和参数数量VGG比不过MobileNet等轻量级网络，慢慢的VGG开始淡出人们的视线。当VGG已经被大家遗忘时，2021年清华大学、旷视科技以及香港科技大学等机构共同提出了RepVGG网络，希望能够让VGG-style网络Great Again。epVGG绝对可以算得上2020年在backbone方面有很大影响力的工作，其核心思想是：通过结构重参数化思想，让训练网络的多路结构(多分支模型训练时的优势——性能高)转换为推理网络的单路结构(模型推理时的好处——速度快、省内存）)，结构中均为3x3的卷积核，同时，计算库（如CuDNN,Intel MKL）和硬件针对3x3卷积有深度的优化，最终可以使网络有着高效的推理速率(其实TensorRT在构建engine阶段，对模型进行重构，底层也是应用了卷积合并，多分支融合思想，来使得模型最终有着高性能的推理速率)。性能优异组件：随着不断尝试于探索，出现了很多性能优异的网络组件，比如深度可分离卷积，分组卷积等等，这些都可以显著增加网络性能，但是，我们也知道，就拿group conv来说，当group越多是，我们知道网络性能会越好，但是，其MAC(内存访问成本)也会显著增大，最终导致模型变慢，深度可分离卷积虽然可以显著降低FLOPs，但是其MAC也会增加，最终导致模型速度变慢。这就引发了一个矛盾，既然多分支结构和性能优异的组件能显著提高模型性能，但是，又会最终导致模型在推理时速度变慢且还非常耗内存，这非常不利于工业场景(尤其实在算力受限的情况下)。这种问题该怎么解决呢？2. 解决方案：​ 想要使网络具有高性能，又要有高效推理速度，怎么才能解决这个问题？repVGG给了我们答案：结构重参数化思想，也即训练时尽量用多分支结构来提升网络性能，而推理时，采用利用结构重参数化思想，将其变为单路结构，这样，显存占用少，推理速度又快。2.1. backbone:​ 作者最终选择将VGG作为backbone，这里为什么要选择这么古董的玩意儿呢，而不是选择现在主流的ResNet架构？主要是基于以下三点考虑：2.1.1. 速度快:​ 我们都知道，VGG几乎都是由3x3卷积堆叠而成，而现在加速库比如NVIDIA的cudNN，Intel的MKL和相关硬件对3x3的卷积核有非常好的性能优化，而在VGG中，几乎都是conv3x3。因此，利用现有加速库，会得到更好的性能优化，从下表就就可以看出，在相同channels、input_size和batchsize条件下，不同卷积核的FLOPs和TFLOPs和用时，可以看出，3x3卷积非常快。在GPU上，3x3卷积的计算密度(理论运算量(Theoretical FLOPs ÷ Time usage)除以所用时间)可达1x1和5x5卷积的4倍。2.1.2. 节省内存：​ VGG是一个直筒性单路结构，由上述分析可知，单路结构会占有更少的内存，因为不需要保存其中间结果，同时，单路架构非常快，因为并行度高。同样的计算量，大而整的运算效率远超小而碎的运算。2.1.3. 灵活性好：​ 多分支结构会引入网络结构的约束，比如Resnet的残差结构要求输入和卷积出来的张量维度要一致(这样才能相加），这种约束导致网络不易延伸拓展，也一定程度限制了通道剪枝。对应的单路结构就比较友好，非常容易改变各层的宽度，这样剪枝后也能得到很好的加速比。RepVGG主体部分只有一种算子: conv3x3+ReLU。在设计专用芯片时，给定芯片尺寸或造价，我们可以集成海量的3x3卷积-ReLU计算单元来达到很高的效率。别忘了，单路架构省内存的特性也可以帮我们少做存储单元。

字符序列检测——CRNN模型在本案例中，我们将学习深度学习中的OCR（Optical Character Recognition）光学字符识别技术。OCR作为计算机视觉中较早使用深度学习技术的领域，有很多优秀的模型出现，所以通过此案例我们来学习深度学习下的OCR技术。普遍的深度学习下的OCR技术将文字识别过程分为：文本区域检测以及字符识别。本案例中介绍的模型CRNN就是一种字符识别模型，它将文字图片中的文字识别出来。注意事项：本案例使用框架**:** TensorFlow-1.13.1本案例使用硬件规格**:** 8 vCPU + 64 GiB + 1 x Tesla V100-PCIE-32GB进入运行环境方法：点此链接进入AI Gallery，点击Run in ModelArts按钮进入ModelArts运行环境，如需使用GPU,您可以在ModelArts JupyterLab运行界面右边的工作区进行切换运行代码方法**:** 点击本页面顶部菜单栏的三角形运行按钮或按Ctrl+Enter键 运行每个方块中的代码JupyterLab的详细用法**:** 请参考《ModelAtrs JupyterLab使用指导》碰到问题的解决办法**:** 请参考《ModelAtrs JupyterLab常见问题解决办法》1.数据和代码下载运行下面代码，进行数据和代码的下载和解压from modelarts.session import Session sess = Session() if sess.region_name == 'cn-north-1': bucket_path="modelarts-labs/notebook/DL_ocr_crnn_sequence_recognition/crnn.tar" elif sess.region_name == 'cn-north-4': bucket_path="modelarts-labs-bj4/notebook/DL_ocr_crnn_sequence_recognition/crnn.tar" else: print("请更换地区到北京一或北京四") sess.download_data(bucket_path=bucket_path, path="./crnn.tar")Successfully download file modelarts-labs-bj4/notebook/DL_ocr_crnn_sequence_recognition/crnn.tar from OBS to local ./crnn.tar2.解压文件!tar -xf crnn.tar!pip install torch==1.3.0 !pip install torchvision==0.4.1 !pip install keras==2.1.6 !pip install keras_applications==1.0.5 !pip install opencv-python==4.1.0.25Collecting torch==1.3.0 Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/ae/05/50a05de5337f7a924bb8bd70c6936230642233e424d6a9747ef1cfbde353/torch-1.3.0-cp36-cp36m-manylinux1_x86_64.whl (773.1MB)  99% |████████████�███████████████████| 772.6MB 127.8MB/s eta 0:00:01 | 6.8MB 110.1MB/s eta 0:00:07.2MB/s eta 0:00:07 | 18.6MB 113.5MB/s eta 0:00:07 | 23.4MB 114.2MB/s eta 0:00:07.0MB/s eta 0:00:07.2MB/s eta 0:00:07.0MB/s eta 0:00:07 | 46.1MB 114.6MB/s eta 0:00:07 |██▏ | 52.5MB 117.3MB/s eta 0:00:07��█▍ | 58.0MB 111.3MB/s eta 0:00:07 | 63.3MB 91.7MB/s eta 0:00:08 |██▉ | 69.0MB 116.3MB/s eta 0:00:07 | 74.4MB 105.4MB/s eta 0:00:07�█▎ | 79.6MB 120.6MB/s eta 0:00:06�█▌ | 85.3MB 126.2MB/s eta 0:00:06 | 91.3MB 100.6MB/s eta 0:00:07�██ | 96.8MB 124.5MB/s eta 0:00:06 | 102.2MB 124.0MB/s eta 0:00:06 | 107.2MB 119.4MB/s eta 0:00:06� | 113.2MB 135.5MB/s eta 0:00:0518.6MB 117.5MB/s eta 0:00:06/s eta 0:00:07/s eta 0:00:06 | 135.0MB 117.7MB/s eta 0:00:06MB/s eta 0:00:06/s eta 0:00:06�▎ | 151.2MB 116.0MB/s eta 0:00:06 | 156.5MB 127.8MB/s eta 0:00:05 | 161.7MB 104.0MB/s eta 0:00:06▉ | 166.3MB 120.1MB/s eta 0:00:06a 0:00:06 | 174.8MB 68.8MB/s eta 0:00:09 125.7MB/s eta 0:00:05 | 186.6MB 111.3MB/s eta 0:00:06eta 0:00:1096.0MB 137.6MB/s eta 0:00:05�▎ | 200.5MB 102.4MB/s eta 0:00:06 | 205.0MB 104.0MB/s eta 0:00:06 | 213.9MB 121.9MB/s eta 0:00:05 28% |█████████ | 217.7MB 119.4MB/s eta 0:00:05:00:06███▌ | 230.5MB 49.0MB/s eta 0:00:12 | 234.2MB 112.2MB/s eta 0:00:0500:06�██████▏ | 246.6MB 116.9MB/s eta 0:00:05MB/s eta 0:00:05 | 254.5MB 115.2MB/s eta 0:00:05 | 258.5MB 139.4MB/s eta 0:00:04�█████▉ | 262.1MB 116.5MB/s eta 0:00:05��████ | 266.7MB 135.7MB/s eta 0:00:04��████████▏ | 270.5MB 119.1MB/s eta 0:00:05% |███████████▍ | 274.4MB 113.1MB/s eta 0:00:05% |███████████▌ | 278.1MB 112.1MB/s eta 0:00:05��████████▊ | 281.9MB 126.5MB/s eta 0:00:04% |███████████▉ | 285.3MB 135.1MB/s eta 0:00:04��█████████ | 289.0MB 112.9MB/s eta 0:00:05/s eta 0:00:05 296.5MB 105.7MB/s eta 0:00:05 38% |████████████▍ | 300.4MB 119.1MB/s eta 0:00:04 | 303.9MB 138.5MB/s eta 0:00:047.3MB 60.9MB/s eta 0:00:080.6MB 56.1MB/s eta 0:00:09��██████ | 315.2MB 118.2MB/s eta 0:00:04██████▌ | 325.3MB 120.1MB/s eta 0:00:04█████▋ | 329.1MB 48.6MB/s eta 0:00:10 | 332.8MB 121.6MB/s eta 0:00:04��████████ | 336.6MB 106.7MB/s eta 0:00:05███████ | 340.1MB 112.8MB/s eta 0:00:040:05 45% |██████████████▌ | 350.5MB 67.4MB/s eta 0:00:070:04 | 357.5MB 120.3MB/s eta 0:00:04��██████████████▏ | 367.7MB 97.9MB/s eta 0:00:05�██████████████▍ | 371.2MB 115.7MB/s eta 0:00:04 | 374.6MB 56.8MB/s eta 0:00:08 | 384.6MB 131.7MB/s eta 0:00:03 | 388.1MB 116.6MB/s eta 0:00:04�██████████▏ | 391.4MB 122.5MB/s eta 0:00:04 395.2MB 112.8MB/s eta 0:00:04�██████████▌ | 398.0MB 111.5MB/s eta 0:00:04�▊ | 404.9MB 112.2MB/s eta 0:00:04�███████████ | 408.4MB 120.2MB/s eta 0:00:04�███ | 411.8MB 59.5MB/s eta 0:00:07 | 415.0MB 111.3MB/s eta 0:00:04417.9MB 57.1MB/s eta 0:00:07.9MB/s eta 0:00:06 | 424.6MB 136.4MB/s eta 0:00:03:00:03 | 430.7MB 132.1MB/s eta 0:00:03:00:047.1MB 136.1MB/s eta 0:00:03 | 440.2MB 111.3MB/s eta 0:00:03��███████████████▍ | 442.9MB 112.7MB/s eta 0:00:03�█████████▌ | 445.8MB 55.4MB/s eta 0:00:06 | 449.0MB 117.3MB/s eta 0:00:03████▊ | 452.1MB 118.1MB/s eta 0:00:03 eta 0:00:03 127.4MB/s eta 0:00:03 | 461.5MB 115.0MB/s eta 0:00:03��██████████▎ | 464.9MB 111.2MB/s eta 0:00:03▍ | 468.1MB 56.7MB/s eta 0:00:06�██████████████████▌ | 471.4MB 52.2MB/s eta 0:00:06��██████████▋ | 474.7MB 131.4MB/s eta 0:00:03��██████████▉ | 478.1MB 114.8MB/s eta 0:00:03�██ | 481.3MB 102.1MB/s eta 0:00:03 | 484.6MB 107.4MB/s eta 0:00:0303�████████████████▌ | 493.9MB 130.5MB/s eta 0:00:03 0:00:03 64% |████████████████████▊ | 500.4MB 133.1MB/s eta 0:00:03 0:00:02 65% |█████████████████████ | 506.5MB 118.2MB/s eta 0:00:03 65% |█████████████████████ | 509.7MB 118.7MB/s eta 0:00:03�█████▎ | 513.0MB 111.8MB/s eta 0:00:03� | 515.6MB 121.3MB/s eta 0:00:03 518.4MB 58.9MB/s eta 0:00:05�███████▋ | 522.2MB 124.8MB/s eta 0:00:03�█████▊ | 525.4MB 128.6MB/s eta 0:00:02�█████▉ | 528.6MB 112.6MB/s eta 0:00:03 531.5MB 121.6MB/s eta 0:00:02��█████████████████▏ | 535.3MB 128.1MB/s eta 0:00:02███████▎ | 538.4MB 138.6MB/s eta 0:00:02███████▍ | 541.8MB 105.1MB/s eta 0:00:03███████▌ | 544.7MB 117.1MB/s eta 0:00:02███████▊ | 548.0MB 117.7MB/s eta 0:00:02s eta 0:00:04MB/s eta 0:00:02�██████ | 556.6MB 67.8MB/s eta 0:00:04��██████████████████▏ | 559.1MB 114.4MB/s eta 0:00:02��██████████████████▍ | 565.4MB 119.7MB/s eta 0:00:02��██████████████████▌ | 568.0MB 129.6MB/s eta 0:00:02��█████████████████▋ | 571.4MB 50.2MB/s eta 0:00:05��████▊ | 574.0MB 134.9MB/s eta 0:00:02████████▉ | 576.7MB 131.7MB/s eta 0:00:02 eta 0:00:024:00:024.0MB 49.8MB/s eta 0:00:04█▉ | 599.6MB 129.9MB/s eta 0:00:02:00:02 eta 0:00:02██████████████▏ | 607.9MB 109.7MB/s eta 0:00:02��████████████▎ | 610.9MB 111.6MB/s eta 0:00:02� | 613.4MB 138.5MB/s eta 0:00:02�███████████████▌ | 616.8MB 135.6MB/s eta 0:00:02� | 620.2MB 136.4MB/s eta 0:00:02██▊ | 622.7MB 137.0MB/s eta 0:00:02 | 625.2MB 128.4MB/s eta 0:00:02 | 628.1MB 88.0MB/s eta 0:00:02 | 631.4MB 135.1MB/s eta 0:00:02█████████▎ | 634.2MB 52.0MB/s eta 0:00:03█████▍ | 636.9MB 71.9MB/s eta 0:00:02�▌ | 639.4MB 119.5MB/s eta 0:00:02 | 642.3MB 51.8MB/s eta 0:00:03MB/s eta 0:00:01ta 0:00:02B/s eta 0:00:02�███████████ | 653.4MB 123.5MB/s eta 0:00:01 | 656.4MB 54.0MB/s eta 0:00:03�████▍ | 662.0MB 135.9MB/s eta 0:00:01��██████████████▌ | 664.5MB 110.2MB/s eta 0:00:01| 667.3MB 132.4MB/s eta 0:00:01 | 669.9MB 117.8MB/s eta 0:00:01�█████████████████████▉ | 672.2MB 114.7MB/s eta 0:00:01�█████ | 677.6MB 124.5MB/s eta 0:00:01ta 0:00:01:02:00:01 89% |████████████████████████████▋ | 690.3MB 98.7MB/s eta 0:00:0125.5MB/s eta 0:00:01�███████████▏ | 705.7MB 122.8MB/s eta 0:00:01 708.5MB 116.7MB/s eta 0:00:01 710.7MB 94.9MB/s eta 0:00:01 713.0MB 135.7MB/s eta 0:00:01 715.3MB 130.3MB/s eta 0:00:01��██████▊ | 717.7MB 115.5MB/s eta 0:00:01 720.2MB 125.9MB/s eta 0:00:01 722.5MB 135.6MB/s eta 0:00:01 725.0MB 121.8MB/s eta 0:00:01 727.2MB 136.3MB/s eta 0:00:0194% |██████████████████████████████▏ | 729.6MB 139.6MB/s eta 0:00:0194% |██████████████████████████████▎ | 731.8MB 140.4MB/s eta 0:00:01��█████████████████████████████▍ | 733.8MB 122.8MB/s eta 0:00:01████████▌ | 735.5MB 131.0MB/s eta 0:00:01███████▌ | 738.0MB 92.4MB/s eta 0:00:01�████████▊ | 742.2MB 131.3MB/s eta 0:00:017% |███████████████████████████████ | 749.9MB 139.9MB/s eta 0:00:01�█████▏| 752.1MB 134.1MB/s eta 0:00:01�█████▎| 754.4MB 133.8MB/s eta 0:00:01��██████████████████▍| 758.7MB 134.3MB/s eta 0:00:01██████████████████████▌| 760.9MB 139.7MB/s eta 0:00:01��██████████████████▋| 763.5MB 108.8MB/s eta 0:00:01�████████████████▊| 765.8MB 117.2MB/s eta 0:00:01��█████████████████▊| 767.7MB 60.6MB/s eta 0:00:01ta 0:00:01 100% |████████████████████████████████| 773.1MB 16.8MB/s ta 0:00:011 [?25hRequirement already satisfied: numpy in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from torch==1.3.0) Installing collected packages: torch Successfully installed torch-1.3.0 You are using pip version 9.0.1, however version 20.3.3 is available. You should consider upgrading via the 'pip install --upgrade pip' command. Collecting torchvision==0.4.1 Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/fc/23/d418c9102d4054d19d57ccf0aca18b7c1c1f34cc0a136760b493f78ddb06/torchvision-0.4.1-cp36-cp36m-manylinux1_x86_64.whl (10.1MB)  100% |████████████████████████████████| 10.1MB 124.6MB/s ta 0:00:01███████████████| 10.1MB 131.9MB/s eta 0:00:01 [?25hRequirement already satisfied: torch==1.3.0 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from torchvision==0.4.1) Requirement already satisfied: numpy in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from torchvision==0.4.1) Requirement already satisfied: pillow>=4.1.1 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from torchvision==0.4.1) Requirement already satisfied: six in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from torchvision==0.4.1) Installing collected packages: torchvision Successfully installed torchvision-0.4.1 You are using pip version 9.0.1, however version 20.3.3 is available. You should consider upgrading via the 'pip install --upgrade pip' command. Collecting keras==2.1.6 Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/54/e8/eaff7a09349ae9bd40d3ebaf028b49f5e2392c771f294910f75bb608b241/Keras-2.1.6-py2.py3-none-any.whl (339kB)  100% |████████████████████████████████| 348kB 20.2MB/s ta 0:00:01 [?25hRequirement already satisfied: numpy>=1.9.1 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras==2.1.6) Requirement already satisfied: pyyaml in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras==2.1.6) Requirement already satisfied: h5py in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras==2.1.6) Requirement already satisfied: six>=1.9.0 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras==2.1.6) Requirement already satisfied: scipy>=0.14 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras==2.1.6) Installing collected packages: keras Found existing installation: Keras 2.2.4 Uninstalling Keras-2.2.4: Successfully uninstalled Keras-2.2.4 Successfully installed keras-2.1.6 You are using pip version 9.0.1, however version 20.3.3 is available. You should consider upgrading via the 'pip install --upgrade pip' command. Collecting keras_applications==1.0.5 Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/3f/9c/6e9393ead970fd97be0cfde912697dafec5800d9191f5ba25352fa537d72/Keras_Applications-1.0.5-py2.py3-none-any.whl (44kB)  100% |████████████████████████████████| 51kB 10.8MB/s a 0:00:011 [?25hRequirement already satisfied: numpy>=1.9.1 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras_applications==1.0.5) Requirement already satisfied: h5py in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras_applications==1.0.5) Requirement already satisfied: keras>=2.1.6 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras_applications==1.0.5) Requirement already satisfied: six in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from h5py->keras_applications==1.0.5) Requirement already satisfied: scipy>=0.14 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras>=2.1.6->keras_applications==1.0.5) Requirement already satisfied: pyyaml in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from keras>=2.1.6->keras_applications==1.0.5) Installing collected packages: keras-applications Found existing installation: Keras-Applications 1.0.8 Uninstalling Keras-Applications-1.0.8: Successfully uninstalled Keras-Applications-1.0.8 Successfully installed keras-applications-1.0.5 You are using pip version 9.0.1, however version 20.3.3 is available. You should consider upgrading via the 'pip install --upgrade pip' command. Collecting opencv-python==4.1.0.25 Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/7b/d2/a2dbf83d4553ca6b3701d91d75e42fe50aea97acdc00652dca515749fb5d/opencv_python-4.1.0.25-cp36-cp36m-manylinux1_x86_64.whl (26.6MB)  100% |████████████████████████████████| 26.6MB 115.4MB/s ta 0:00:01��█████████████████▉ | 17.3MB 107.5MB/s eta 0:00:01�█████▊ | 22.1MB 107.7MB/s eta 0:00:01 [?25hRequirement already satisfied: numpy>=1.11.3 in /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages (from opencv-python==4.1.0.25) Installing collected packages: opencv-python Found existing installation: opencv-python 3.4.1.15 Uninstalling opencv-python-3.4.1.15: Successfully uninstalled opencv-python-3.4.1.15 Successfully installed opencv-python-4.1.0.25 You are using pip version 9.0.1, however version 20.3.3 is available. You should consider upgrading via the 'pip install --upgrade pip' command.from tensorflow import ConfigProto from tensorflow import InteractiveSession config = ConfigProto() config.gpu_options.allow_growth = True session = InteractiveSession(config=config)/home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:526: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_qint8 = np.dtype([("qint8", np.int8, 1)]) /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:527: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_quint8 = np.dtype([("quint8", np.uint8, 1)]) /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:528: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_qint16 = np.dtype([("qint16", np.int16, 1)]) /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:529: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_quint16 = np.dtype([("quint16", np.uint16, 1)]) /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:530: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. _np_qint32 = np.dtype([("qint32", np.int32, 1)]) /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:535: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'. np_resource = np.dtype([("resource", np.ubyte, 1)])3.首先引用相关的库和文件import numpy as np import data.dataset as dataset import keys as keys import torch from keras.layers import Flatten, BatchNormalization, Permute, TimeDistributed, Dense, Bidirectional, GRU from keras.layers import Input, Conv2D, MaxPooling2D, ZeroPadding2D,Lambda from keras.models import Model from keras.optimizers import SGD from keras import backend as KUsing TensorFlow backend.函数ctc_lambda_func 将完成对ctc损失函数的计算。def ctc_lambda_func(args): y_pred, labels, input_length, label_length = args y_pred = y_pred[:, 2:, :] return K.ctc_batch_cost(labels, y_pred, input_length, label_length)定义文字类型数characters = keys.alphabet[:] nclass=len(characters)+14.构建网络input = Input(shape=(32, None, 1), name='the_input') # CNN卷积层部分 m = Conv2D(64, kernel_size=(3, 3), activation='relu', padding='same', name='conv1')(input) m = MaxPooling2D(pool_size=(2, 2), strides=(2, 2), name='pool1')(m) m = Conv2D(128, kernel_size=(3, 3), activation='relu', padding='same', name='conv2')(m) m = MaxPooling2D(pool_size=(2, 2), strides=(2, 2), name='pool2')(m) m = Conv2D(256, kernel_size=(3, 3), activation='relu', padding='same', name='conv3')(m) m = Conv2D(256, kernel_size=(3, 3), activation='relu', padding='same', name='conv4')(m) m = ZeroPadding2D(padding=(0, 1))(m) m = MaxPooling2D(pool_size=(2, 2), strides=(2, 1), padding='valid', name='pool3')(m) m = Conv2D(512, kernel_size=(3, 3), activation='relu', padding='same', name='conv5')(m) m = BatchNormalization(axis=1)(m) m = Conv2D(512, kernel_size=(3, 3), activation='relu', padding='same', name='conv6')(m) m = BatchNormalization(axis=1)(m) m = ZeroPadding2D(padding=(0, 1))(m) m = MaxPooling2D(pool_size=(2, 2), strides=(2, 1), padding='valid', name='pool4')(m) m = Conv2D(512, kernel_size=(2, 2), activation='relu', padding='valid', name='conv7')(m) m = Permute((2, 1, 3), name='permute')(m) m = TimeDistributed(Flatten(), name='timedistrib')(m) # RNN循环层部分 m = Bidirectional(GRU(256, return_sequences=True), name='blstm1')(m) m = Dense(256, name='blstm1_out', activation='linear')(m) m = Bidirectional(GRU(256, return_sequences=True), name='blstm2')(m) y_pred = Dense(nclass, name='blstm2_out', activation='softmax')(m) basemodel = Model(inputs=input, outputs=y_pred) # 转录层部分 labels = Input(name='the_labels', shape=[None, ], dtype='float32') input_length = Input(name='input_length', shape=[1], dtype='int64') label_length = Input(name='label_length', shape=[1], dtype='int64') loss_out = Lambda(ctc_lambda_func, output_shape=(1,), name='ctc')([y_pred, labels, input_length, label_length]) # 模型输入 model = Model(inputs=[input, labels, input_length, label_length], outputs=[loss_out]) # 模型优化器 sgd = SGD(lr=0.0001, decay=1e-6, momentum=0.9, nesterov=True, clipnorm=5) model.compile(loss={'ctc': lambda y_true, y_pred: y_pred}, optimizer=sgd)WARNING:tensorflow:From /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version. Instructions for updating: Colocations handled automatically by placer. WARNING:tensorflow:From /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py:3948: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. WARNING:tensorflow:From /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py:3928: to_int64 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead.5.model用于训练，加入了ctc损失计算部分model.summary()此处打印过长，省略输出basemodel用于推理部分，包含了CNN+RNN层部分basemodel.summary()_________________________________________________________________ Layer (type) Output Shape Param # ================================================================= the_input (InputLayer) (None, 32, None, 1) 0 _________________________________________________________________ conv1 (Conv2D) (None, 32, None, 64) 640 _________________________________________________________________ pool1 (MaxPooling2D) (None, 16, None, 64) 0 _________________________________________________________________ conv2 (Conv2D) (None, 16, None, 128) 73856 _________________________________________________________________ pool2 (MaxPooling2D) (None, 8, None, 128) 0 _________________________________________________________________ conv3 (Conv2D) (None, 8, None, 256) 295168 _________________________________________________________________ conv4 (Conv2D) (None, 8, None, 256) 590080 _________________________________________________________________ zero_padding2d_1 (ZeroPaddin (None, 8, None, 256) 0 _________________________________________________________________ pool3 (MaxPooling2D) (None, 4, None, 256) 0 _________________________________________________________________ conv5 (Conv2D) (None, 4, None, 512) 1180160 _________________________________________________________________ batch_normalization_1 (Batch (None, 4, None, 512) 16 _________________________________________________________________ conv6 (Conv2D) (None, 4, None, 512) 2359808 _________________________________________________________________ batch_normalization_2 (Batch (None, 4, None, 512) 16 _________________________________________________________________ zero_padding2d_2 (ZeroPaddin (None, 4, None, 512) 0 _________________________________________________________________ pool4 (MaxPooling2D) (None, 2, None, 512) 0 _________________________________________________________________ conv7 (Conv2D) (None, 1, None, 512) 1049088 _________________________________________________________________ permute (Permute) (None, None, 1, 512) 0 _________________________________________________________________ timedistrib (TimeDistributed (None, None, 512) 0 _________________________________________________________________ blstm1 (Bidirectional) (None, None, 512) 1181184 _________________________________________________________________ blstm1_out (Dense) (None, None, 256) 131328 _________________________________________________________________ blstm2 (Bidirectional) (None, None, 512) 787968 _________________________________________________________________ blstm2_out (Dense) (None, None, 5531) 2837403 ================================================================= Total params: 10,486,715 Trainable params: 10,486,699 Non-trainable params: 16 _________________________________________________________________函数one_hot对标签进行处理def one_hot(text, length, characters=characters): label = np.zeros(length) for i, char in enumerate(text): index = characters.find(char) if index == -1: index = characters.find(u' ') label[i] = index return label加载数据trainroot = './data/' # 读取lmdb train_dataset = dataset.lmdbDataset(root=trainroot, target_transform=one_hot) test_dataset = dataset.lmdbDataset( root=trainroot, transform=dataset.resizeNormalize((256, 32)), target_transform=one_hot) # 加载数据 train_loader = torch.utils.data.DataLoader( train_dataset, batch_size=1, shuffle=True, sampler=None, num_workers=4, collate_fn=dataset.alignCollate( imgH=32, imgW=256,)) test_loader = torch.utils.data.DataLoader( test_dataset, shuffle=True, batch_size=1, num_workers=4)nSamples:738 nSamples:738数据生成器def gen(loader, flag='train'): while True: i = 0 n = len(loader) for X, Y in loader: X = X.numpy() X = X.reshape((-1, 32, 256, 1)) if flag == 'test': Y = Y.numpy() Y = np.array(Y) Length = int(256 / 4) - 1 batchs = X.shape[0] if i > n - 1: i = 0 break yield [ X, Y, np.ones(batchs) * int(Length), np.ones(batchs) * int(len(Y)) ], np.ones(batchs)#加载预训练模型 modelPath = './model_crnn.h5' model.load_weights(modelPath)model.fit_generator( gen(train_loader, flag='train'), steps_per_epoch=100, epochs=2, validation_data=gen(test_loader, flag='test'), validation_steps=10)WARNING:tensorflow:From /home/ma-user/anaconda3/envs/TensorFlow-1.13.1/lib/python3.6/site-packages/tensorflow/python/ops/math_grad.py:102: div (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Deprecated in favor of operator or tf.math.divide. WARNING:tensorflow:Variable *= will be deprecated. Use `var.assign(var * other)` if you want assignment to the variable value or `x = x * y` if you want a new python Tensor object. Epoch 1/2 100/100 [==============================] - 30s 297ms/step - loss: 42.6744 - val_loss: 46.7768 Epoch 2/2 100/100 [==============================] - 23s 230ms/step - loss: 29.9630 - val_loss: 44.9445 <keras.callbacks.History at 0x7fb2387f3c88>model.save_weights('./CRNN_results.h5')6.测试部分basemodel.load_weights('./CRNN_results.h5') # 加载刚训练好的模型7.加载待识别的原图from PIL import Image from CRNN_model import decode img = Image.open('./img_0.png') print('待识别的原图：') img待识别的原图：8.定义CRNN字符识别函数def crnn_ocr(img): """ CRNN字符识别函数 :param img: 需要进行字符识别的图片 :return: ocr_result: 图片的字符识别结果，数据类型为字符串 """ img = img.convert('L') # 图片灰度化 scale = img.size[1] * 1.0 / 32 # 图片尺寸调整，把图片高度调整为32 w = img.size[0] / scale w = int(w) img = img.resize((w, 32)) img = np.array(img).astype(np.float32) / 255.0 X = img.reshape((32, w, 1)) X = np.array([X]) y_pred = basemodel.predict(X) # 预测 ocr_result = decode(y_pred) # 处理预测结果 return ocr_result9.调用函数，获得字符识别结果ocr_result = crnn_ocr(img) print('字符识别结果：', ocr_result)字符识别结果： 文字识别模型文字识别。

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各神经元的权值，使得误差信号最小。1．网络状态初始化2．前向计算过程应用在人工神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变化形式。它也是前向网络的核心部分，体现了人工神经网络的精华。BP网络主要用于以下四个方面。1)函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2)模式识别：用一个待定的输出向量将它与输入向量联系起来。3)分类：把输入向量所定义的合适方式进行分类。4)数据压缩：减少输出向量维数以便于传输或存储。BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。②容易陷入局部极小值。③网络层数、神经元个数的选择没有相应的理论指导。④网络推广能力有限。对于上述问题，已经有了许多改进措施，研究最多的就是如何加速网络的收敛速度和尽量避免陷入局部极小值的问题。

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。在人工神经网络的发展历史上，感知机(Multilayer Perceptron，MLP)网络曾对人工神经网络的发展发挥了极大的作用，也被认为是一种真正能够使用的人工神经网络模型，它的出现曾掀起了人们研究人工神经元网络的热潮。单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点。但是，随着研究工作的深入，人们发现它还存在不足，例如无法处理非线性问题，即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数，仍然只能解决线性可分问题．不能实现某些基本功能，从而限制了它的应用。增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络，即在输入层和输出层之间加上隐含层。构成多层前馈感知器网络。20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法(Error Back Propagation Training)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(Exclusive OR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。人工神经网络无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。作为一种智能信息处理系统，人工神经网络实现其功能的核心是算法。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

1.任务简介基于ERNIE预训练模型效果上达到业界领先，但是由于模型比较大，预测性能可能无法满足上线需求。 直接使用ERNIE-Tiny系列轻量模型fine-tune，效果可能不够理想。如果采用数据蒸馏策略，又需要提供海量未标注数据，可能并不具备客观条件。 因此，本专题采用主流的知识蒸馏的方案来压缩模型，在满足用户预测性能、预测效果的需求同时，不依赖海量未标注数据，提升开发效率。 文心提供多种不同大小的基于字粒度的ERNIE-Tiny学生模型，满足不同用户的需求。注：知识蒸馏（KD）是将复杂模型（teacher）中的dark knowledge迁移到简单模型（student）中去，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。1.1 模型蒸馏原理知识蒸馏是一种模型压缩常见方法，指的是在teacher-student框架中，将复杂、学习能力强的网络(teacher)学到的特征表示"知识"蒸馏出来，传递给参数量小、学习能力弱的网络(student)。 在训练过程中，往往以最优化训练集的准确率作为训练目标，但真实目标其实应该是最优化模型的泛化能力。显然如果能直接以提升模型的泛化能力为目标进行训练是最好的，但这需要正确的关于泛化能力的信息，而这些信息通常不可用。如果我们使用由大型模型产生的所有类概率作为训练小模型的目标，就可以让小模型得到不输大模型的性能。这种把大模型的知识迁移到小模型的方式就是蒸馏。基本原理可参考Hinton经典论文：cid:link_11.2 ERNIE-Tiny 模型蒸馏模型蒸馏原理可参考论文 ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression 2021。不同于原论文的实现，为了和开发套件中的通用蒸馏学生模型保持一致，我们将蒸馏loss替换为Attention矩阵的KQ loss和 VV loss，原理可参考论文 MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers 2020 和 MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers 2021。实验表明通用蒸馏阶段和任务蒸馏阶段的蒸馏loss不匹配时，学生模型的效果会受到影响。BERT 等预训练语言模型 (PLM) 采用了一种训练范式，首先在一般数据中预训练模型，然后在特定任务数据上微调模型，最近取得了巨大成功。然而，PLM 因其庞大的参数而臭名昭著，并且难以部署在现实生活中的应用程序中。知识蒸馏通过在一组数据上将知识从大老师转移到小得多的学生来解决这个问题。我们认为选择三个关键组成部分，即教师、训练数据和学习目标，对于蒸馏的有效性至关重要。因此，我们提出了一个四阶段渐进式蒸馏框架 ERNIE-Tiny 来压缩 PLM，它将三个组件从一般级别逐渐变化到特定任务级别。具体来说，第一阶段，General Distillation，在预训练的老师、一般数据和潜在蒸馏损失的指导下进行蒸馏。然后，General-Enhanced Distillation 将教师模型从预训练教师转变为微调教师。之后，Task-Adaptive Distillation 将训练数据从一般数据转移到特定于任务的数据。最后，Task-Specific Distillation 在最后阶段增加了两个额外的损失，即 Soft-Label 和 Hard-Label 损失。实证结果证明了我们的框架的有效性和所带来的泛化增益 。实验表明 4 层 ERNIE-Tiny 在 GLUE 基准测试的基础上保持其 12 层教师 BERT 的 98.0% 以上的性能，超过最先进的 (SOTA) 1.0% 的 GLUE 分数相同数量的参数。此外，ERNIE-Tiny 在五个中文 NLP 任务上实现了新的压缩 SOTA，比 BERT 基础的精度高 0.4%，参数减少 7.5 倍，推理速度加快 9.4 倍。预训练的语言模型（例如，BERT (Devlin et al., 2018) 及其变体）在各种 NLP 任务中取得了显着的成功。然而，这些模型通常包含数亿个参数，由于延迟和容量限制，这给现实应用中的微调和在线服务带来了挑战。在这项工作中，我们提出了一种简单有效的方法来压缩基于大型 Transformer (Vaswani et al., 2017) 的预训练模型，称为深度自注意力蒸馏。小模型（学生）通过深度模仿大模型（老师）的自注意力模块进行训练，该模块在 Transformer 网络中起着至关重要的作用。具体来说，我们建议提炼出教师最后一个 Transformer 层的自注意力模块，这对学生来说既有效又灵活。此外，除了现有作品中使用的注意力分布（即查询和键的缩放点积）之外，我们还引入了自我注意模块中值之间的缩放点积作为新的深度自我注意知识. 此外，我们表明，引入教师助理（Mirzadeh 等人，2019 年）也有助于提炼大型预训练 Transformer 模型。实验结果表明，我们的单语模型在不同参数大小的学生模型中优于最先进的基线。特别是，它使用 50% 的 Transformer 参数和教师模型的计算在 SQuAD 2.0 和几个 GLUE 基准测试任务上保持了 99% 以上的准确率。我们还在将深度自注意力蒸馏应用于多语言预训练模型方面获得了竞争性结果。我们仅使用自注意力关系蒸馏来对预训练的 Transformer 进行任务不可知的压缩，从而在 MiniLM (Wang et al., 2020) 中推广深度自注意力蒸馏。特别是，我们将多头自注意力关系定义为每个自注意力模块内的查询、键和值向量对之间的缩放点积。然后我们利用上述关系知识来训练学生模型。除了简单统一的原则外，更有利的是，学生的注意力头数没有限制，而之前的大多数工作都必须保证教师和学生之间的头数相同。此外，细粒度的自注意力关系倾向于充分利用 Transformer 学习到的交互知识。此外，我们彻底检查了教师模型的层选择策略，而不是像 MiniLM 中那样仅仅依赖最后一层。我们对压缩单语和多语预训练模型进行了广泛的实验。实验结果表明，我们从基础规模和大型教师（BERT、RoBERTa 和 XLM-R）中提取的模型优于最先进的模型。二阶段蒸馏：通用蒸馏（General Distillation，GD）：在预训练阶段训练，使用大规模无监督的数据， 帮助学生网络学习到尚未微调的教师网络中的知识，有利于提高泛化能力。为方便用户使用，我们提供了多种尺寸的通用蒸馏学生模型，可用的通用蒸馏学生模型可参考文档：通用模型 - ERNIE3.0 Tiny。任务蒸馏（Task-specific Distillation，TD）：使用具体任务的数据，学习到更多任务相关的具体知识。如果已提供的通用蒸馏学生模型尺寸符合需求，用户可以主要关注接下来的任务蒸馏过程。1.3任务蒸馏步骤FT阶段：基于ERNIE 3.0 Large蒸馏模型fine-tune得到教师模型，注意这里用到的教师模型和ERNIE 3.0 Large是两个不同的模型；GED阶段（可选）：使用fine-tuned教师模型和通用数据继续用通用蒸馏的方式蒸馏学生模型，进一步提升学生模型的效果；a. 热启动fine-tuned的教师模型和通用学生模型。其中，通用的学生模型由文心平台提供，从bos上下载。TD1阶段：蒸馏中间层a.只对学生模型的最后一层进行蒸馏，将学生模型transformer的attention层的k-q矩阵和v-v矩阵与教师模型的对应矩阵做KLloss，可参考 ：MiniLMV2。b.热启动fine-tuned的教师模型和GED阶段得到的学生模型。其中，通用的学生模型由文心平台提供，从bos上下载，下载链接所在文档：通用模型ERNIE3.0 Tiny，或参考预置的下载脚本：c. 反向传播阶段只更新学生模型参数，教师模型参数不更新；TD2阶段：蒸馏预测层，产出最终的学生模型。a. 热启动fine-tuned的教师模型和TD1阶段训练的学生模型；b. loss包括两部分： 1） pred_loss：软标签，学生模型的预测层输出与教师模型的预测层输出的交叉熵； 2） student_ce_loss：硬标签，学生模型的预测层输出与真实label的交叉熵；c. pred_loss与student_ce_loss之和作为最终loss，进行反向传播；d. 反向传播阶段只更新学生模型参数，教师模型参数不更新；注：关于GED阶段使用的通用数据：开发套件中的通用数据是由开源项目 cid:link_0 中的中文维基百科语料（wiki2019zh）经过预处理得到。该数据只用于demo展示，实际使用时替换为业务无标注数据效果提升更明显。2. 常见问题问题1：怎么修改学生模型的层数？上面提供了多种不同的学生模型，但每个学生模型的层数、hidden size等都是固定的，如果想更改，需要在哪些地方更改？文心提供了三种不同结构的预训练学生模型，如果修改层数、hidden size等，会导致预训练学生模型参数无法加载，在此情况下，蒸馏出来的学生模型效果无法保证，建议用户还是使用文心提供的预训练模型，不更改模型结构；如果用户认为更改学生模型的结构非常有必要，需要对文心做以下改动：修改TD1阶段json配置文件的pre_train_model配置项，删除预训练学生模型的加载，只保留微调后的教师模型"pre_train_model": [ # 热启动fine-tune的teacher模型 { "name": "finetuned_teacher_model", "params_path": "./output/cls_ernie_3.0_large_ft/save_checkpoints/checkpoints_step_6000" } ]将json文件中的"student_embedding"替换为自定义的学生模型"student_embedding": { "config_path": "../../models_hub/ernie_3.0_tiny_ch_dir/ernie_config.json" },再次强调，上述修改后，由于无法加载预训练学生模型，蒸馏出来的学生模型效果无法保证。（用户训练数据量到百万样本以上可以考虑尝试一下）3.数据蒸馏任务3.1 简介在ERNIE强大的语义理解能力背后，是需要同样强大的算力才能支撑起如此大规模模型的训练和预测。很多工业应用场景对性能要求较高，若不能有效压缩则无法实际应用。因此，我们基于数据蒸馏技术构建了数据蒸馏系统。其原理是通过数据作为桥梁，将ERNIE模型的知识迁移至小模型，以达到损失很小的效果却能达到上千倍的预测速度提升的效果。目录结构 数据蒸馏任务位于 wenxin_appzoo/tasks/data_distillation├── data │ ├── dev_data │ ├── dict │ ├── download_data.sh │ ├── predict_data │ ├── test_data │ └── train_data ├── distill │ └── chnsenticorp │ ├── student │ └── teacher ├── examples │ ├── cls_bow_ch.json │ ├── cls_cnn_ch.json │ ├── cls_ernie_fc_ch_infer.json │ └── cls_ernie_fc_ch.json ├── inference │ ├── custom_inference.py │ ├── __init__.py ├── model │ ├── base_cls.py │ ├── bow_classification.py │ ├── cnn_classification.py │ ├── ernie_classification.py │ ├── __init__.py ├── run_distill.sh ├── run_infer.py ├── run_trainer.py └── trainer ├── custom_dynamic_trainer.py ├── __init__.py3.2 数据准备目前采用三种数据增强策略策略，对于不用的任务可以特定的比例混合。三种数据增强策略包括：（1）添加噪声：对原始样本中的词，以一定的概率（如0.1）替换为”UNK”标签（2）同词性词替换：对原始样本中的所有词，以一定的概率（如0.1）替换为本数据集中随机一个同词性的词（3）N-sampling：从原始样本中，随机选取位置截取长度为m的片段作为新的样本，其中片段的长度m为0到原始样本长度之间的随机值数据增强策略可参考数据增强，我们已准备好了采用上述3种增强策略制作的chnsenticorp的增强数据。3.3 离线蒸馏使用预置的ERNIE 2.0 base模型cd wenxin_appzoo/models_hub bash download_ernie_2.0_base_ch.sh下载预置的原始数据以及增强数据。cd wenxin_appzoo/tasks/data_distillation/distill bash download_data.sh运行以下命令，开始数据蒸馏cd wenxin_appzoo/tasks/data_distillation bash run_distill.sh3.3.1蒸馏过程说明run_distill.sh脚本会进行前述的三步：在任务数据上Fine-tune； 加载Fine-tune好的模型对增强数据进行打分； 使用Student模型进行训练。脚本采用hard-label蒸馏，在第二步中将会直接预测出ERNIE标注的label。run_distill.sh脚本涉及教师和学生模型的json文件，其中：./examples/cls_ernie_fc_ch.json负责教师模型的finetune， ./examples/cls_ernie_fc_ch_infer.json 负责教师模型的预测。 ./examples/cls_cnn_ch.json，负责学生模型的训练。事先构造好的增强数据放在./distill/chnsenticorp/student/unsup_train_aug在脚本的第二步中，使用 ./examples/cls_ernie_fc_ch_infer.json 进行预测：脚本从标准输入获取明文输入，并将打分输出到标准输出。用这种方式对数据增强后的无监督训练预料进行标注。最终的标注结果放在 ./distill/chnsenticorp/student/train/part.1文件中。标注结果包含两列, 第一列为明文，第二列为标注label。在第三步开始student模型的训练，其训练数据放在 distill/chnsenticorp/student/train/ 中，part.0 为原监督数据 part.1 为 ERNIE 标注数据。注：如果用户已经拥有了无监督数据，则可以将无监督数据放入distill/chnsenticorp/student/unsup_train_aug 即可。