相对应的视频教学可以在B站进行观看：https://www.bilibili.com/video/BV1St4y1473r一、MindSpore和MindInsight环境搭建和配置介绍1 MindSpore简介昇思MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景覆盖三大目标。其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。昇思MindSpore总体架构如下图所示：ModelZoo（模型库）：ModelZoo提供可用的深度学习算法网络（ModelZoo 地址 ）Extend（扩展库）：昇思MindSpore的领域扩展库，支持拓展新领域场景，如GNN/深度概率编程/强化学习等，期待更多开发者来一起贡献和构建。Science（科学计算）：MindScience是基于昇思MindSpore融合架构打造的科学计算行业套件，包含了业界领先的数据集、基础模型、预置高精度模型和前后处理工具，加速了科学行业应用开发（了解更多 ）。Expression（全场景统一API）：基于Python的前端表达与编程接口。同时未来计划陆续提供C/C++、华为自研编程语言前端-仓颉（目前还处于预研阶段）等第三方前端的对接工作，引入更多的第三方生态。Data（数据处理层）：提供高效的数据处理、常用数据集加载等功能和编程接口，支持用户灵活的定义处理注册和pipeline并行优化。Compiler（AI编译器）：图层的核心编译器，主要基于端云统一的MindIR实现三大功能，包括硬件无关的优化（类型推导、自动微分、表达式化简等）、硬件相关优化（自动并行、内存优化、图算融合、流水线执行等）、部署推理相关的优化（量化、剪枝等）。Runtime（全场景运行时）：昇思MindSpore的运行时系统，包含云侧主机侧运行时系统、端侧以及更小IoT的轻量化运行时系统。Insight（可视化调试调优工具）：昇思MindSpore的可视化调试调优工具，能够可视化地查看训练过程、优化模型性能、调试精度问题、解释推理结果（了解更多 )。Armour（安全增强库）：面向企业级运用时，安全与隐私保护相关增强功能，如对抗鲁棒性、模型安全测试、差分隐私训练、隐私泄露风险评估、数据漂移检测等技术（了解更多 ）。执行流程有了对昇思MindSpore总体架构的了解后，我们可以看看各个模块之间的整体配合关系，具体如图所示：昇思MindSpore作为全场景AI框架，所支持的有端（手机与IOT设备）、边（基站与路由设备）、云（服务器）场景的不同系列硬件，包括昇腾系列产品，英伟达NVIDIA系列产品，Arm系列的高通骁龙、华为麒麟的芯片等系列产品。左边蓝色方框的是MindSpore主体框架，主要提供神经网络在训练、验证相关的基础API功能，另外还会默认提供自动微分、自动并行等功能。蓝色方框往下是MindSpore Data模块，可以利用该模块进行数据预处理，包括数据采样、数据迭代、数据格式转换等不同的数据操作。在训练的过程会遇到很多调试调优的问题，因此有MindSpore Insight模块对loss曲线、算子执行情况、权重参数变量等调试调优相关的数据进行可视化，方便用户在训练过程中进行调试调优。设计理念• 支持全场景协同昇思MindSpore是源于全产业的最佳实践，向数据科学家和算法工程师提供了统一的模型训练、推理和导出等接口，支持端、边、云等不同场景下的灵活部署，推动深度学习和科学计算等领域繁荣发展。• 提供Python编程范式，简化AI编程昇思MindSpore提供了Python编程范式，用户使用Python原生控制逻辑即可构建复杂的神经网络模型，AI编程变得简单。• 提供动态图和静态图统一的编码方式目前主流的深度学习框架的执行模式有两种，分别为静态图模式和动态图模式。静态图模式拥有较高的训练性能，但难以调试。动态图模式相较于静态图模式虽然易于调试，但难以高效执行。 昇思MindSpore提供了动态图和静态图统一的编码方式，大大增加了静态图和动态图的可兼容性，用户无需开发多套代码，仅变更一行代码便可切换动态图/静态图模式，例如设置context.set_context(mode=context.PYNATIVE_MODE)切换成动态图模式，设置context.set_context(mode=context.GRAPH_MODE)即可切换成静态图模式，用户可拥有更轻松的开发调试及性能体验。• 采用函数式可微分编程架构，使用户聚焦于模型算法的数学原生表达神经网络模型通常基于梯度下降算法进行训练，但手动求导过程复杂，结果容易出错。昇思MindSpore的基于源码转换（Source Code Transformation，SCT）的自动微分（Automatic Differentiation）机制采用函数式可微分编程架构，在接口层提供Python编程接口，包括控制流的表达。用户可聚焦于模型算法的数学原生表达，无需手动进行求导。• 统一单机和分布式训练的编码方式随着神经网络模型和数据集的规模不断增加，分布式并行训练成为了神经网络训练的常见做法，但分布式并行训练的策略选择和编写十分复杂，这严重制约着深度学习模型的训练效率，阻碍深度学习的发展。MindSpore统一了单机和分布式训练的编码方式，开发者无需编写复杂的分布式策略，在单机代码中添加少量代码即可实现分布式训练，例如设置context.set_auto_parallel_context(parallel_mode=ParallelMode.AUTO_PARALLEL)便可自动建立代价模型，为用户选择一种较优的并行模式，提高神经网络训练效率，大大降低了AI开发门槛，使用户能够快速实现模型思路。层次结构昇思MindSpore向用户提供了3个不同层次的API，支撑用户进行网络构建、整图执行、子图执行以及单算子执行，从低到高分别为Low-Level Python API、Medium-Level Python API以及High-Level Python API。• High-Level Python API第一层为高阶API，其在中阶API的基础上又提供了训练推理的管理、混合精度训练、调试调优等高级接口，方便用户控制整网的执行流程和实现神经网络的训练推理及调优。例如用户使用Model接口，指定要训练的神经网络模型和相关的训练设置，对神经网络模型进行训练，通过Profiler接口调试神经网络性能。• Medium-Level Python API第二层为中阶API，其封装了低阶API，提供网络层、优化器、损失函数等模块，用户可通过中阶API灵活构建神经网络和控制执行流程，快速实现模型算法逻辑。例如用户可调用Cell接口构建神经网络模型和计算逻辑，通过使用Loss模块和Optimizer接口为神经网络模型添加损失函数和优化方式，利用Dataset模块对数据进行处理以供模型的训练和推导使用。• Low-Level Python API第三层为低阶API，主要包括张量定义、基础算子、自动微分等模块，用户可使用低阶API轻松实现张量定义和求导计算。例如用户可通过Tensor接口自定义张量，使用ops.composite模块下的GradOperation算子计算函数在指定处的导数。2 MindInsight简介MindInsight是昇思MindSpore的可视化调试调优工具。利用MindInsight，您可以可视化地查看训练过程、优化模型性能、调试精度问题、解释推理结果。您还可以通过MindInsight提供的命令行方便地搜索超参，迁移模型。在MindInsight的帮助下，您可以更轻松地获得满意的模型精度和性能。MindInsight包括以下内容：• 训练过程可视 (收集 Summary 数据、查看训练看板 )• 训练溯源及对比 • 性能调优 • 精度调试 • 超参调优 • 模型迁移 3 环境安装配置3.1 MindSpore环境安装配置选择适合自己的环境条件后，获取命令并按照指南进行安装，或使用云平台创建和部署模型，安装细节参见链接：https://www.mindspore.cn/install 验证是否安装成功方法一：python -c "import mindspore;mindspore.run_check()"如果输出：MindSpore version: 版本号The result of multiplication calculation is correct, MindSpore has been installed successfully!说明MindSpore安装成功了。方法二：import numpy as npfrom mindspore import Tensorimport mindspore.ops as opsimport mindspore.context as contextcontext.set_context(device_target="Ascend")x = Tensor(np.ones([1,3,3,4]).astype(np.float32))y = Tensor(np.ones([1,3,3,4]).astype(np.float32))print(ops.add(x, y))如果输出：[[[[2. 2. 2. 2.][2. 2. 2. 2.][2. 2. 2. 2.]][[2. 2. 2. 2.][2. 2. 2. 2.][2. 2. 2. 2.]][[2. 2. 2. 2.][2. 2. 2. 2.][2. 2. 2. 2.]]]]说明MindSpore安装成功了。升级MindSpore版本当需要升级MindSpore版本时，可执行如下命令：pip install --upgrade mindspore-ascend=={version}其中：• 升级到rc版本时，需要手动指定{version}为rc版本号，例如1.6.0rc1；如果升级到正式版本，=={version}字段可以缺省。3.2 MindInsight环境安装配置确认系统环境信息• 硬件平台支持Ascend、GPU和CPU。• 确认安装Python 3.7.5或3.9.0版本。如果未安装或者已安装其他版本的Python，可以选择下载并安装：– Python 3.7.5版本 64位，下载地址：官网 或华为云 。– Python 3.9.0版本 64位，下载地址：官网 或华为云 。• MindInsight与MindSpore的版本需保持一致。• 若采用源码编译安装，还需确认安装以下依赖。– 确认安装node.js 10.19.0及以上版本。– 确认安装wheel 0.32.0及以上版本。• 其他依赖参见requirements.txt 。可以采用pip安装，源码编译安装和Docker安装三种方式。pip安装安装PyPI上的版本:pip install mindinsight=={version}安装自定义版本:pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/{version}/MindInsight/any/mindinsight-{version}-py3-none-any.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple其中：• 当环境中的MindSpore不是最新版本时，需要手动指定{version}为当前环境中MindSpore版本号。注：非root用户需要在命令中加入“--user”参数。源码编译安装从代码仓下载源码git clone https://gitee.com/mindspore/mindinsight.git -b r1.7编译安装MindInsight可选择以下任意一种安装方式：1.在源码根目录下执行如下命令。cd mindinsightpip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simplepython setup.py install2.构建whl包进行安装进入源码的根目录，先执行build目录下的MindInsight编译脚本，再执行命令安装output目录下生成的whl包。cd mindinsightbash build/build.shpip install output/mindinsight-{version}-py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simpleDocker安装MindSpore的镜像包含MindInsight功能，请参考官网安装指导 。验证是否成功安装执行如下命令：mindinsight start如果出现下列提示，说明安装成功：Web address: http://127.0.0.1:8080service start state: success二、MindStudio简介和安装1 MindStudio简介MindStudio提供在AI开发所需的一站式开发环境，支持模型开发、算子开发以及应用开发三个主流程中的开发任务。依靠模型可视化、算力测试、IDE本地仿真调试等功能，MindStudio能够帮助您在一个工具上就能高效便捷地完成AI应用开发。MindStudio采用了插件化扩展机制，开发者可以通过开发插件来扩展已有功能。功能简介• 针对安装与部署，MindStudio提供多种部署方式，支持多种主流操作系统，为开发者提供最大便利。• 针对网络模型的开发，MindStudio支持TensorFlow、Pytorch、MindSpore框架的模型训练，支持多种主流框架的模型转换。集成了训练可视化、脚本转换、模型转换、精度比对等工具，提升了网络模型移植、分析和优化的效率。• 针对算子开发，MindStudio提供包含UT测试、ST测试、TIK算子调试等的全套算子开发流程。支持TensorFlow、PyTorch、MindSpore等多种主流框架的TBE和AI CPU自定义算子开发。• 针对应用开发，MindStudio集成了Profiling性能调优、编译器、MindX SDK的应用开发、可视化pipeline业务流编排等工具，为开发者提供了图形化的集成开发环境，通过MindStudio能够进行工程管理、编译、调试、性能分析等全流程开发，能够很大程度提高开发效率。功能框架MindStudio功能框架如图所示，目前含有的工具链包括：模型转换工具、模型训练工具、自定义算子开发工具、应用开发工具、工程管理工具、编译工具、流程编排工具、精度比对工具、日志管理工具、性能分析工具、设备管理工具等多种工具。工具功能MindStudio工具中的主要几个功能特性如下：• 工程管理：为开发人员提供创建工程、打开工程、关闭工程、删除工程、新增工程文件目录和属性设置等功能。• SSH管理：为开发人员提供新增SSH连接、删除SSH连接、修改SSH连接、加密SSH密码和修改SSH密码保存方式等功能。• 应用开发：针对业务流程开发人员，MindStudio工具提供基于AscendCL（Ascend Computing Language）和集成MindX SDK的应用开发编程方式，编程后的编译、运行、结果显示等一站式服务让流程开发更加智能化，可以让开发者快速上手。• 自定义算子开发：提供了基于TBE和AI CPU的算子编程开发的集成开发环境，让不同平台下的算子移植更加便捷，适配昇腾AI处理器的速度更快。• 离线模型转换：训练好的第三方网络模型可以直接通过离线模型工具导入并转换成离线模型，并可一键式自动生成模型接口，方便开发者基于模型接口进行编程，同时也提供了离线模型的可视化功能。• 日志管理：MindStudio为昇腾AI处理器提供了覆盖全系统的日志收集与日志分析解决方案，提升运行时算法问题的定位效率。提供了统一形式的跨平台日志可视化分析能力及运行时诊断能力，提升日志分析系统的易用性。• 性能分析：MindStudio以图形界面呈现方式，实现针对主机和设备上多节点、多模块异构体系的高效、易用、可灵活扩展的系统化性能分析，以及针对昇腾AI处理器的性能和功耗的同步分析，满足算法优化对系统性能分析的需求。• 设备管理：MindStudio提供设备管理工具，实现对连接到主机上的设备的管理功能。• 精度比对：可以用来比对自有模型算子的运算结果与Caffe、TensorFlow、ONNX标准算子的运算结果，以便用来确认神经网络运算误差发生的原因。• 开发工具包的安装与管理：为开发者提供基于昇腾AI处理器的相关算法开发套件包Ascend-cann-toolkit，旨在帮助开发者进行快速、高效的人工智能算法开发。开发者可以将开发套件包安装到MindStudio上，使用MindStudio进行快速开发。Ascend-cann-toolkit包含了基于昇腾AI处理器开发依赖的头文件和库文件、编译工具链、调优工具等。2 MindStudio安装2.1 安装Python依赖（1）官方网站下载安装安装 Python3.7.5 到Windows本地。（2）设置环境变量。（3）“Win + R”快捷键打开系统命令行，输入“Python -V”，显示Python版本号表示安装成功。（4）安装Python3相关依赖。pip install xlrd==1.2.0pip install absl-pypip install numpypip install requests（5）如若返回如下信息，则表示安装成功。Successfully installed xlrd-1.2.0Successfully installed absl-py-0.12.0 six-1.15.0Successfully installed numpy-1.20.1Successfully installed requests-2.27.1更多安装细节请参考：https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html 2.2 安装MinGW依赖（1）根据电脑配置，下载适合的（下载参考地址 ），例如64位可以选择x86_64-posix-seh。（2）解压MinGW安装包到自定义路径。（3）在Windows 10操作系统的“控制面板 > 系统和安全 > 系统”中选择“高级系统设置”，如图所示。（4）打开系统命令行，输入gcc -v命令。若显示版本号表示安装成功。更多安装细节请参考：https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html 2.3 安装Java依赖（1）要求Java版本为11，参考下载地址 。（2）下载后安装到本地，设置Java环境变量。（3）打开系统命令，输入java --version，如显示Java版本信息，则表示安装成功。2.4 安装Cmake以msi格式软件包为例，安装步骤如下（下载参考地址 ），你也可以登录CMake 官网 下载合适的版本（1）单击快捷键“win+R”，输入cmd，单击快捷键“Ctrl+Shift+Enter”，进入管理员权限命令提示符。若弹出“用户帐户控制”提示窗口，单击“是”。（2）执行以下命令，安装软件包：msiexec /package {path}\{name}.msi例如：msiexec /package D:\cmake-3.22.3-win64-x64.msi（3）根据安装向导进行安装。更多安装细节请参考：https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html 2.5 安装MindStudio（1）MindStudio官网为我们提供两种安装方式。大家可以选择.zip文件，也可以选择.exe文件。此处我选择下载.zip文件。（2）下载好后直接解压到任意目录。解压后目录结构如图所示。（3）点击“bin”目录，然后双击目录下的“MindStudio64.exe”应用程序，运行MindStudio。 详细安装指导请参阅：https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000021.html 三、使用MindStudio创建训练工程和运行脚本1 导入模型代码创建训练工程（1） 启动MindStudio首次启动MindStudio会进入如下欢迎界面，大家按需选择新建项目或打开本地项目，在这里，我点击 Open 按钮打开本地现存项目（https://gitee.com/mindspore/models/tree/master/official/recommend/ncf ）。（2） 选择项目所在位置，添加 ncf 项目，点击 OK确定。 （3） 项目结构如图所示。2 配置远程环境2.1 连接远程服务器（1） 点击 Tools -> Deployment -> Configuration，配置远程连接服务器。（2） 选中左侧 Deployment 选项卡，点击左上角加号，输入自定义远程连接名称。（3） 输入服务器 IP 地址、端口号、用户名及密码，建议勾选 Save password 保存密码，测试可以成功连接后，点击OK确定。（4） 点击 Mappings 配置本地到服务器的文件路径映射。Local Path 填入本地项目路径，Deployment Path 选中远程服务器的项目路径，这两个文件夹名称不必完全相同。Excluded Paths（非必需）为配置忽略路径，表示忽略的项目文件不会上传到远程服务器。配置完成后，点击 OK 确定。 2.2 设置CANN（1） 点击 File -> Settings，进入设置。（2） 在左侧菜单依次选中 Appearance & Behavior -> System Settings -> CANN， 进入 CANN 配置选项卡中，设置远程服务器CANN路径。2.3 配置远程SDK（1） 点击 File -> Projects Structure 进入项目设置。（2） 在左侧菜单中选择 SDKs，点击左上角加号，选择 Add Python SDK... 进行SDK配置。（3） 在弹出的选项卡中选择 SSH Interpreter，在Deploy中选择远程连接名称，等待 IDE 自动检测可用的Interpreter。（4） 自动检测远程的SDK并显示如下，可以对其进行手动修改，我将 SDK 名称更改为 msp1.7 以便区分。（5） 在 Project 中设置刚才配置的远程SDK msp1.7。3 运行训练脚本3.1 安装项目依赖（1） 点击 Tools -> Start SSH session 打开远程服务器终端。（2） 远程服务器终端显示在 IDE 下方控制台处，输入 pip list 检查所需依赖是否已安装。（3） 菜单栏中点击 Ascend -> Convert To Ascend Project，将当前项目转换为昇腾项目。（4） 在弹出的对话框中选择转换的类型和框架，此处选择 Ascend Training 和 MindSpore 框架，点击 OK 确定。3.2 数据集下载和处理（1）NCF模型介绍NCF 是用于协同过滤推荐的通用框架，其中神经网络架构用于对用户交互进行建模。与传统模型不同，NCF 不诉诸矩阵分解 (MF)，其对用户和项目的潜在特征进行内积。它用可以从数据中学习任意函数的多层感知器代替积。详见：https://gitee.com/mindspore/models/tree/master/official/recommend/ncf （2）展开src目录，右击 movielens.py，配置运行参数。（3）配置运行参数，其中 Script path 设置为运行文件，Parameters 中设置参数，Python interpreter 选择前文配置的远程服务器中的 SDK，点击 OK 确定。（4） 点击工具栏中的运行按钮，等待 ml-1m 数据集下载和预处理，大家可以在控制台输出查看当前程序运行的实时日志。如果数据处理结束，会在控制台输出正常退出。（5） 当运行程序后产生新的文件时，需要本地同步更新。建议大家点击Tools -> Deployment -> Automatic Upload 开启本地与服务器文件自动同步的功能。（6）开启自动同步后，更新过程如图所示：3.3 训练项目（1）如图所示，点击Edit Configuration来编辑配置（2）设置训练参数，此处设置了训练20个epoch，batch_size为256，输出保存在 ./output文件夹中，checkpoint保存在 ./nfc.ckpt 文件夹中，点击 OK 确定。（3）点击运行，项目开始进行训练。（4）在控制台中查看训练过程中实时打印的日志。四、MindInsight训练可视化及精度调优指南1 准备训练脚本（1）在train.py中，导入SummaryCollector。from mindspore.train.callback import SummaryCollector（2）在train.py代码中，实例化 SummaryCollector，并添加到callbacks中。# Init summary_collectorsummary_collector = SummaryCollector(summary_dir="./summary_dir")model.train(epochs,ds_train,callbacks=[TimeMonitor(ds_train.get_dataset_size()),callback, ckpoint_cb, summary_collector],dataset_sink_mode=False)（3）增加如上代码后，须重新训练模型，收集的数据存放于 ./summary_dir 中。2 MindInsight训练可视化配置（1）在工具栏选择 Ascend -> MindInsight 打开 MindInsight 管理界面。(2) MindInsight 管理界面可显示并管理多个 MindInsight训练可视化工程。MindInsight 管理界面相关属性说明如下图所示，点击Enable按钮，配置MindInsight组件相关参数。（3）在弹出的选项卡中，配置MindInsight组件相关参数，其中 Summary Base Dir 填入代码中设置的目录，WorkSpace 可以在 SSH 终端中输入 mindinsight start 查看，Port为端口号。（4）单击 OK 完成 MindInsight 组件相关参数配置，出现如图所示界面，说明配置成功。（5）点击 View 按钮即可跳转 MindInsight 界面。3 查看MindInsight训练看板及精度调优指南代码是精度问题的重要源头，超参问题、模型结构问题、数据问题、算法设计和实现问题会体现在脚本中，而我们使用的MindInsight生态工具可以将脚本中的各类问题以生动的可视化数据呈现给开发者，下面我们开始探究如何使用MindInsight进行精度调优。（1）进入训练列表后，我们可以点击右上角的按钮选择开启/关闭自动刷新看板信息和设置刷新频率，以及切换语言和主题。（2）点击“训练看板”后，可以看见训练时的各类可视化数据。主要包括损失函数、训练参数、训练数据以及网络计算图等。（3）点击 “参数详情” ，检查超参。MindInsight可以辅助用户对超参做检查，大多数情况下，SummaryCollector会自动记录常见超参，大家可以通过MindInsight的训练参数详情功能和溯源分析功能查看超参。结合MindInsight模型溯源分析模块和脚本中的代码，可以确认超参的取值，识别明显不合理的超参。如果有标杆脚本，建议同标杆脚本一一比对超参取值，如果有默认参数值，则默认值也应一并比对，以避免不同框架的参数默认值不同导致精度下降或者训练错误。根据我们的经验，超参问题主要体现为几个常见的超参取值不合理，例如：①学习率过大导致loss震荡难收敛，学习率过小导致训练不充分，学习率带来的影响可以直观地从loss曲线观察到；②loss_scale参数不合理，有可能导致loss为nan或loss迟迟不收敛；③权重初始化参数不合理等。参数详情可以显示常见的超参数。如下图所示：（4）点击 “参数分布图”，可以查看网络可训练参数随着迭代次数增加而产生的分布变化情况。大多数情况下，SummaryCollector会自动记录模型参数变化情况（默认记录5个参数），可以通过MindInsight的参数分布图模块查看。如果想要记录更多参数的参数分布图，请参考SummaryCollector 的histogram_regular参数，或参考HistogramSummary 算子。（5）点击“计算图”，检查模型结构。在模型结构方面，常见的问题有：①算子使用错误（使用的算子不适用于目标场景，如应该使用浮点除，错误地使用了整数除）。②权重共享错误（共享了不应共享的权重）。③权重冻结错误（冻结了不应冻结的权重）。④节点连接错误（应该连接到计算图中的block未连接）。⑤loss函数错误。⑥优化器算法错误（如果自行实现了优化器）等。MindInsight可以辅助用户对模型结构进行检查。大多数情况下，SummaryCollector会自动记录计算图，点击 “计算图”，可以直观地看到各个网络节点的关系，如下图所示：图中左侧为直观的计算图，右侧为各节点的树状结构图，点击相应的节点可以将其展开或折叠，方便用户查看。（6）点击“标量信息”，检查loss曲线。大多数精度问题会在网络训练过程中发现，并且可以直观地体现在损失函数的图表中，我们总结了一些可以体现在损失函数异常的常见问题：①权重问题（例如权重不更新、权重更新过大、权重值过大/过小、权重冻结不准确、权重共享设置有误）；②激活值问题（激活值饱和或过弱，例如Sigmoid的输出接近1，Relu的输出全为0）；③梯度问题（例如梯度消失、梯度爆炸）；④训练epoch不足（loss还有继续下降的趋势）；⑤算子计算结果存在NAN、INF等。如下图，我们可以查看详细的损失函数信息，并且面板设置有开启/关闭Loss曲线全屏等功能，在这里可以直观地看到损失函数的收敛趋势以及波动幅度。五、MindInsight训练耗时统计及性能调优指南1 准备训练脚本（1） 在train.py中导入Profiler。from mindspore.profiler import Profiler（2）收集profiler数据并分析。profiler = Profiler(output_path='./profiler_data')profiler.analyse()（3）再次训练项目。此处仅仅作为模型性能调优，可以适当将训练总分步数调小（例如两个step，数据经过整个计算图即可得到算子耗时）。2 MindInsight调优配置（1）更改MindInsight配置参数，与训练可视化的操作相似，这里的 Summary Base Dir 填入代码里设置的参数。（2）单击 OK 完成 MindInsight 组件相关参数配置，出现如图所示界面，说明配置成功。（3）点击 View 按钮即可跳转 MindInsight 界面。3 查看MindInsight性能看板及性能调优指南（1）右上角可以选择开启/关闭自动刷新看板信息和刷新频率，以及切换语言和主题。点击 “性能分析”。（2）进入性能分析看板后，可以看见有关训练耗时的各类数据图表。（3）点击“算子耗时统计排名”，可以查看各个算子的执行时间进行统计展示(包括AICORE、AICPU、HOSTCPU算子)。在右上角可以选择饼图/柱状图展示各算子类别的时间占比，每个算子类别的执行时间会统计属于该类别的算子执行时间总和。统计前20个占比时间最长的算子类别，展示其时间所占的百分比以及具体的执行时间（毫秒），我们可以选择算子耗时排名靠前的算子进行性能优化，这样有更大的优化空间。（4）点击“迭代轨迹”，查看每次迭代中各阶段的耗时，确定性能瓶颈点在哪个阶段，然后再针对该阶段进行详细分析。下面简单解释一下迭代轨迹中的三个阶段：• 迭代间隙：该阶段反映的是每个迭代开始时等待训练数据的时间。如果该阶段耗占比较高，说明数据处理的速度跟不上训练的速度。• 前反向计算：该阶段主要执行网络中的前向及反向算子，承载了一个迭代主要的计算工作。如果该阶段耗占比较高，较为合理。• 迭代拖尾：该阶段主要包含参数更新等操作，在多卡场景下还包括集合通信等操作。如果该阶段耗占比较高，可能是集合通信耗时比较长。（5）进入“迭代轨迹”面板查看迭代轨迹详情。当我们确定性能瓶颈点在哪个阶段时，就可以更有针对性地进行性能优化。此处我们总结了三个阶段时间异常的原因分析及解决方案：• 针对迭代间隙过长的问题：理想情况下，某个迭代开始前向训练时，其所需要的训练数据已经在Host侧完成了加载及增强并发送到了Device侧，反映到迭代间隙耗时通常在1毫秒内，否则就会由于等待训练数据而造成芯片算力的浪费。迭代间隙耗时长，说明该迭代开始前向计算时等待了较长的时间后训练数据才发送到了Device侧。用户需要到“数据准备”页面进一步确认是数据增强还是数据发送过程存在性能问题。• 针对前反向耗时过长的问题：该阶段主要包含网络中前向及反向算子的执行时间。若该时间段耗时较长，建议按跳转到“算子耗时统计排名”标签页，查看训练过程中各算子的耗时情况，重点关注耗时排名靠前的部分算子。分享一些解决算子耗时长的小tips（欢迎补充~）：– 在不影响精度的前提下，将float32类型修改为float16类型；– 存在转换算子过多（TransData、Cast类算子）且耗时明显时，如果是用户手动加入的算子，可分析其必要性，如果对精度没有影响，可去掉冗余的Cast、TransData算子；• 针对迭代拖尾耗时过长的问题：该阶段在单卡场景主要包含参数更新等操作。从实际的调优经验来看，在单卡训练场景下该阶段耗时都很短，不会存在性能瓶颈。如果用户遇到单卡场景下该阶段耗时长，可以下载“时间线”，使用chrome://tracing工具观察参数更新相关的算子耗时是否有异常，并到MindSpore 社区 反馈。六、FAQ1、使用远程conda环境无法识别conda环境里的包原因：使用MindStudio进行远程连接服务器资源时，默认使用/usr/local/...下的本地环境。解决方法：可以尝试指定运行文件为shell脚本，在shell脚本靠前位置指明source activate xxx-env来激活远程conda环境。2、启动MindInsight训练看板卡顿，单击无响应。解决方法：（1）尝试disable后重新开启；（2）尝试重新存储训练数据；（3）SummaryCollector实例化的参数收集频率collect_freq设置的值过小，尝试调大一点。3、点击View查看MindInsight训练面板，显示为空。解决方法：Summary Base Dir 填入正确的目录，无需加前缀“./”。4、MindInsight训练面板显示异常数据（数据不符合预期）。原因：每个summary日志文件目录中，应该只放置一次训练的数据。一个summary日志目录中如果存放了多次训练的summary数据，MindInsight在可视化数据时会将这些训练的summary数据进行叠加展示，可能会与预期可视化效果不相符。解决方法：将summary日志文件目录删除后，重新训练生成文件。5、训练看板中Loss曲线过于平滑，难以分析Loss震荡幅度。解决方法：将model.train方法的dataset_sink_mode参数设置为False，从而以step作为collect_freq参数的单位收集数据。当dataset_sink_mode为True时，将以epoch作为collect_freq的单位，此时建议手动设置collect_freq参数。collect_freq参数默认值为10。七、从昇腾官方中体验更多内容MindSpore模型开发教程与API可参考MindSpore官网：https://www.mindspore.cn/ ， 也可以在昇腾论坛进行讨论和交流： https://bbs.huaweicloud.com/forum/forum-726-1.html 总结本文主要介绍了如何使用MindStudio在MindSpore模型开发时使用MindInsight工具进行调优，详细介绍了其中的MindSpore环境搭建和配置介绍、MindStudio的安装与使用、训练工程的导入与配置、MindInsight训练可视化以及MindInsight性能调优等。 欢迎大家提出意见与反馈，谢谢！

序列数据和文本的深度学习 用于构建深度学习模型的不同文本数据表示法：理解递归神经网络及其不同实现，例如长短期记忆网络（LSTM）和门控循环单元（Gated Recurrent Unit，GRU），它们为大多数深度学习模型提供文本和序列化数据；为序列化数据使用一维卷积。可以使用RNN构建的一些应用程序如下所示。文档分类器：识别推文或评论的情感，对新闻文章进行分类。序列到序列的学习：例如语言翻译，将英语转换成法语等任务。时间序列预测：根据前几天商店销售的详细信息，预测商店未来的销售情况。 1　使用文本数据文本是常用的序列化数据类型之一。文本数据可以看作是一个字符序列或词的序列。对大多数问题，我们都将文本看作词序列。深度学习序列模型（如RNN及其变体）能够从文本数据中学习重要的模式。这些模式可以解决类似以下领域中的问题：自然语言理解；文献分类；情感分类。这些序列模型还可以作为各种系统的重要构建块，例如问答（Question and Answering，QA）系统。虽然这些模型在构建这些应用时非常有用，但由于语言固有的复杂性，模型并不能真正理解人类的语言。这些序列模型能够成功地找到可执行不同任务的有用模式。将深度学习应用于文本是一个快速发展的领域，每月都会有许多新技术出现。我们将会介绍为大多数现代深度学习应用提供支持的基本组件。与其他机器学习模型一样，深度学习模型并不能理解文本，因此需要将文本转换为数值的表示形式。将文本转换为数值表示形式的过程称为向量化过程，可以用不同的方式来完成，概括如下：将文本转换为词并将每个词表示为向量；将文本转换为字符并将每个字符表示为向量；创建词的n-gram并将其表示为向量。文本数据可以分解成上述的这些表示。每个较小的文本单元称为token，将文本分解成token的过程称为分词（tokenization）。在Python中有很多强大的库可以用来进行分词。一旦将文本数据转换为token序列，那么就需要将每个token映射到向量。one-hot（独热）编码和词向量是将token映射到向量最流行的两种方法。图6.1总结了将文本转换为向量表示的步骤。 图6.1下面介绍分词、n-gram表示法和向量化的更多细节。6.1.1　分词将给定的一个句子分为字符或词的过程称为分词。诸如spaCy等一些库，它们为分词提供了复杂的解决方案。让我们使用简单的Python函数（如split和list）将文本转换为token。为了演示分词如何作用于字符和词，让我们看一段关于电影Thor:Ragnarok的小评论。我们将对这段文本进行分词处理：The action scenes were top notch in this movie. Thor has never been this epic in the MCU.　He does some pretty epic sh*t in this movie and he is definitely not under-powered anymore.　Thor in unleashed in this, I love that.1．将文本转换为字符Python的list函数接受一个字符串并将其转换为单个字符的列表。这样做就将文本转换为了字符。下面是使用的代码和结果：以下是结果：结果展示了简单的Python函数如何将文本转换为token。2．将文本转换为词我们将使用Python字符串对象函数中的split函数将文本分解为词。split函数接受一个参数，并根据该参数将文本拆分为token。在我们的示例中将使用空格作为分隔符。以下代码段演示了如何使用Python的split函数将文本转换为词：在前面的代码中，我们没有使用任何的分隔符，默认情况下，split函数使用空格来分隔。3．n-gram表示法我们已经看到文本是如何表示为字符和词的。有时一起查看两个、三个或更多的单词非常有用。n-gram是从给定文本中提取的一组词。在n-gram中，n表示可以一起使用的词的数量。看一下bigram（当n = 2时）的例子，我们使用Python的nltk包为thor_review生成一个bigram，以下代码块显示了bigram的结果以及用于生成它的代码：ngrams函数接受一个词序列作为第一个参数，并将组中词的个数作为第二个参数。以下代码块显示了trigram表示的结果以及用于实现它的代码：在上述代码中唯一改变的只有函数的第二个参数n的值。许多有监督的机器学习模型，例如朴素贝叶斯（Naive Bayes），都是使用n-gram来改善它的特征空间。n-gram同样也可用于拼写校正和文本摘要的任务。n-gram表示法的一个问题在于它失去了文本的顺序性。通常它是和浅层机器学习模型一起使用的。这种技术很少用于深度学习，因为RNN和Conv1D等架构会自动学习这些表示法。6.1.2　向量化将生成的token映射到数字向量有两种流行的方法，称为独热编码和词向量（word embedding，也称之为词嵌入）。让我们通过编写一个简单的Python程序来理解如何将token转换为这些向量表示。我们还将讨论每种方法的各种优缺点。1．独热编码在独热编码中，每个token都由长度为N的向量表示，其中N是词表的大小。词表是文档中唯一词的总数。让我们用一个简单的句子来观察每个token是如何表示为独热编码的向量的。下面是句子及其相关的token表示：An apple a day keeps doctor away said the doctor.　上面句子的独热编码可以用表格形式进行表示，如下所示。An100000000apple010000000a001000000day000100000keeps000010000doctor000001000away000000100said000000010the000000001该表描述了token及其独热编码的表示。因为句子中有9个唯一的单词，所以这里的向量长度为9。许多机器学习库已经简化了创建独热编码变量的过程。我们将编写自己的代码来实现这个过程以便更易于理解，并且我们可以使用相同的实现来构建后续示例所需的其他功能。以下代码包含Dictionary类，这个类包含了创建唯一词词表的功能，以及为特定词返回其独热编码向量的函数。让我们来看代码，然后详解每个功能：上述代码提供了3个重要功能。初始化函数__init__创建一个word2idx字典，它将所有唯一词与索引一起存储。idx2word列表存储的是所有唯一词，而length变量则是文档中唯一词的总数。在词是唯一的前提下，add_word函数接受一个单词，并将它添加到word2idx和idx2word中，同时增加词表的长度。onehot_encoded函数接受一个词并返回一个长度为N，除当前词的索引外其余位置全为0的向量。比如传如的单词的索引是2，那么向量在索引2处的值是1，其他索引处的值全为0。在定义好了Dictionary类后，准备在thor_review数据上使用它。以下代码演示了如何构建word2idx以及如何调用onehot_encoded函数：上述代码的输出如下：单词were的独热编码如下所示：独热表示的问题之一就是数据太稀疏了，并且随着词表中唯一词数量的增加，向量的大小迅速增加，这也是它的一种限制，因此独热很少在深度学习中使用。2．词向量词向量是在深度学习算法所解决的问题中，一种非常流行的用于表示文本数据的方式。词向量提供了一种用浮点数填充的词的密集表示。向量的维度根据词表的大小而变化。通常使用维度大小为50、100、256、300，有时为1000的词向量。这里的维度大小是在训练阶段需要使用的超参数。如果试图用独热表示法来表示大小为20000的词表，那么将得到20000×20000个数字，并且其中大部分都为0。同样的词表可以用词向量表示为20000×维度大小，其中维度的大小可以是10、50、300等。一种方法是为每个包含随机数字的token从密集向量开始创建词向量，然后训练诸如文档分类器或情感分类器的模型。表示token的浮点数以一种可以使语义上更接近的单词具有相似表示的方式进行调整。为了理解这一点，我们来看看图6.2，它画出了基于5部电影的二维点图的词向量。 图6.2图6.2显示了如何调整密集向量，以使其在语义上相似的单词具有较小的距离。由于Superman、Thor和Batman等电影都是基于漫画的动作电影，所以这些电影的向量更为接近，而电影Titanic的向量离动作电影较远，离电影Notebook更近，因为它们都是浪漫型电影。在数据太少时学习词向量可能是行不通的，在这种情况下，可以使用由其他机器学习算法训练好的词向量。由另一个任务生成的向量称为预训练词向量。下面将学习如何构建自己的词向量以及使用预训练词向量。 

随着在COVID-19疫情封锁期间会议转移到网上，许多人发现，叽叽喳喳的室友、垃圾车和其他响亮的杂音会打断了重要的对话。这经历启发了华盛顿大学的三位研究人员（他们在COVID-19期间是室友）研发出了更好的耳塞，为了增强说话人的声音和减少背景噪音，“ClearBuds”使用了一种新的麦克风系统和第一个实时操作的机器学习系统，该系统可以在智能手机上运行。研究人员于6月30日在ACM移动系统、应用和服务国际会议上介绍了这个项目。“ClearBuds在两个关键方面区别于其他无线耳机，”Paul G. Allen（保罗·艾伦）计算机科学与工程学院的博士生Maruchi Kim说。首先，ClearBuds使用了双麦克风阵列，每个耳塞上的麦克风可以产生两个同步的音频流，提供信息，并允许我们在空间上以更高的分辨率分离来自不同方向的声音。其次，轻量级的神经网络进一步增强了说话人的声音。”虽然大多数商业耳塞也在每个耳塞上都有麦克风，但只有一个耳塞在同一时间主动向手机发送音频。使用ClearBuds耳机，每个耳塞都会向手机发送一串音频，研究人员设计了蓝牙网络协议，允许这些数据流在70微秒内同步。该团队的神经网络算法在手机上运行来处理音频流。首先，它会抑制任何非语音的声音，然后它会隔离并增强同时从两个耳塞扬声器的声音——传入的任何噪音。Allen School的博士生Ishan Chatterjee说：“因为说话者的声音与两个耳塞的距离很近，而且距离大致相等，所以神经网络可以训练成只关注他们的声音，消除包括其他声音在内的背景声音，这种方法和你自己耳朵的工作原理非常相似，它们利用声音到达你左右耳朵的时间差来判断声音来自哪个方向。”当研究人员将 ClearBuds 与苹果的AirPods Pro 进行比较时，ClearBuds 表现更好，在所有测试中实现了更高的信号失真比。”Allen School的博士生Vivek Jayaram说：“当你考虑到我们的神经网络在iPhone上运行不到20毫秒这一事实时，这是非常了不起的，与通常用于运行神经网络的大型商业显卡相比，iPhone的计算能力只是一个小部分，我们如何在保持输出质量的同时减少传统神经网络的大小？这是我们在这篇论文中必须解决的挑战的一部分。研究小组还在“野外”对ClearBuds进行了测试，他们记录了8个人在嘈杂的环境中阅读“古登堡计划”，比如在咖啡店或繁忙的街道上。然后，研究人员让37人对这些10到60秒的录音片段进行打分，参与打分者认为通过ClearBuds的神经网络处理的片段具有最好的噪音抑制和最好的整体聆听体验。研究人员说，ClearBuds的一个限制是人们必须同时戴上两种耳塞才能获得噪音抑制的体验。但该团队表示，这里开发的实时通信系统可以用于各种其他应用，包括智能家居扬声器、跟踪机器人位置或搜索和救援任务。团队目前正在努力提高神经网络算法的效率，以便它们能够在耳塞上运行。

3.2 YOLOv3为了节省篇幅，这一节只挑部分贴代码，更多的代码和包的导入请参考 附件\model\yolo.py。（参考：https://gitee.com/mindspore/models/tree/r1.5/official/cv/yolov3_darknet53）class YoloBlock 是Darknet53 输出后的处理模块，包括YOLOv3结构图（参见 YOLOv3人体目标检测模型实现（一））中的 Convolutional Set 以及后面的卷积：class YoloBlock(nn.Cell): """ YoloBlock for YOLOv3. Args: in_channels: Integer. Input channel. out_chls: Integer. Middle channel. out_channels: Integer. Output channel. Returns: Tuple, tuple of output tensor,(f1,f2,f3). Examples: YoloBlock(1024, 512, 255) """ def __init__(self, in_channels, out_chls, out_channels): super(YoloBlock, self).__init__() out_chls_2 = out_chls*2 self.conv0 = _conv_bn_relu(in_channels, out_chls, ksize=1) self.conv1 = _conv_bn_relu(out_chls, out_chls_2, ksize=3) self.conv2 = _conv_bn_relu(out_chls_2, out_chls, ksize=1) self.conv3 = _conv_bn_relu(out_chls, out_chls_2, ksize=3) self.conv4 = _conv_bn_relu(out_chls_2, out_chls, ksize=1) self.conv5 = _conv_bn_relu(out_chls, out_chls_2, ksize=3) self.conv6 = nn.Conv2d(out_chls_2, out_channels, kernel_size=1, stride=1, has_bias=True) def construct(self, x): c1 = self.conv0(x) c2 = self.conv1(c1) c3 = self.conv2(c2) c4 = self.conv3(c3) c5 = self.conv4(c4) c6 = self.conv5(c5) out = self.conv6(c6) return c5, outclass YOLOv3 则将主干网络和 YoloBlock 组合起来（包含上采样）成为结构图中完整的YOLOv3模型：class YOLOv3(nn.Cell): """ YOLOv3 Network. Note: backbone = darknet53 Args: backbone_shape: List. Darknet output channels shape. backbone: Cell. Backbone Network. out_channel: Integer. Output channel. Returns: Tensor, output tensor. Examples: YOLOv3(backbone_shape=[64, 128, 256, 512, 1024] backbone=darknet53(), out_channel=255) """ def __init__(self, backbone_shape, backbone, out_channel): super(YOLOv3, self).__init__() self.out_channel = out_channel self.backbone = backbone self.backblock0 = YoloBlock(backbone_shape[-1], out_chls=backbone_shape[-2], out_channels=out_channel) self.conv1 = _conv_bn_relu(in_channel=backbone_shape[-2], out_channel=backbone_shape[-2]//2, ksize=1) self.backblock1 = YoloBlock(in_channels=backbone_shape[-2]+backbone_shape[-3], out_chls=backbone_shape[-3], out_channels=out_channel) self.conv2 = _conv_bn_relu(in_channel=backbone_shape[-3], out_channel=backbone_shape[-3]//2, ksize=1) self.backblock2 = YoloBlock(in_channels=backbone_shape[-3]+backbone_shape[-4], out_chls=backbone_shape[-4], out_channels=out_channel) self.concat = P.Concat(axis=1) def construct(self, x): # input_shape of x is (batch_size, 3, h, w) # feature_map1 is (batch_size, backbone_shape[2], h/8, w/8) # feature_map2 is (batch_size, backbone_shape[3], h/16, w/16) # feature_map3 is (batch_size, backbone_shape[4], h/32, w/32) img_hight = P.Shape()(x)[2] img_width = P.Shape()(x)[3] feature_map1, feature_map2, feature_map3 = self.backbone(x) con1, big_object_output = self.backblock0(feature_map3) con1 = self.conv1(con1) ups1 = P.ResizeNearestNeighbor((img_hight // 16, img_width // 16))(con1) con1 = self.concat((ups1, feature_map2)) con2, medium_object_output = self.backblock1(con1) con2 = self.conv2(con2) ups2 = P.ResizeNearestNeighbor((img_hight // 8, img_width // 8))(con2) con3 = self.concat((ups2, feature_map1)) _, small_object_output = self.backblock2(con3) return big_object_output, medium_object_output, small_object_outputclass DetectionBlock 负责对YOLOv3的输出下图中的计算：class DetectionBlock(nn.Cell): """ YOLOv3 detection Network. It will finally output the detection result. Args: scale: Character. config: Configuration. is_training: Bool, Whether train or not, default True. Returns: Tuple, tuple of output tensor,(f1,f2,f3). Examples: DetectionBlock(scale='l',stride=32,config=config) """ def __init__(self, scale, config=None, is_training=True): super(DetectionBlock, self).__init__() self.config = config if scale == 's': idx = (0, 1, 2) elif scale == 'm': idx = (3, 4, 5) elif scale == 'l': idx = (6, 7, 8) else: raise KeyError("Invalid scale value for DetectionBlock") self.anchors = Tensor([self.config.anchor_scales for i in idx], ms.float32) self.num_anchors_per_scale = 3 self.num_attrib = 4+1+self.config.num_classes self.lambda_coord = 1 self.sigmoid = nn.Sigmoid() self.reshape = P.Reshape() self.tile = P.Tile() self.concat = P.Concat(axis=-1) self.conf_training = is_training def construct(self, x, input_shape): num_batch = P.Shape()(x)[0] grid_size = P.Shape()(x)[2:4] # Reshape and transpose the feature to [n, grid_size[0], grid_size[1], 3, num_attrib] prediction = P.Reshape()(x, (num_batch, self.num_anchors_per_scale, self.num_attrib, grid_size[0], grid_size[1])) prediction = P.Transpose()(prediction, (0, 3, 4, 1, 2)) range_x = range(grid_size[1]) range_y = range(grid_size[0]) grid_x = P.Cast()(F.tuple_to_array(range_x), ms.float32) grid_y = P.Cast()(F.tuple_to_array(range_y), ms.float32) # Tensor of shape [grid_size[0], grid_size[1], 1, 1] representing the coordinate of x/y axis for each grid # [batch, gridx, gridy, 1, 1] grid_x = self.tile(self.reshape(grid_x, (1, 1, -1, 1, 1)), (1, grid_size[0], 1, 1, 1)) grid_y = self.tile(self.reshape(grid_y, (1, -1, 1, 1, 1)), (1, 1, grid_size[1], 1, 1)) # Shape is [grid_size[0], grid_size[1], 1, 2] grid = self.concat((grid_x, grid_y)) box_xy = prediction[:, :, :, :, :2] box_wh = prediction[:, :, :, :, 2:4] box_confidence = prediction[:, :, :, :, 4:5] box_probs = prediction[:, :, :, :, 5:] # gridsize1 is x # gridsize0 is y box_xy = (self.sigmoid(box_xy) + grid) / P.Cast()(F.tuple_to_array((grid_size[1], grid_size[0])), ms.float32) # box_wh is w->h box_wh = P.Exp()(box_wh) * self.anchors / input_shape box_confidence = self.sigmoid(box_confidence) box_probs = self.sigmoid(box_probs) if self.conf_training: return grid, prediction, box_xy, box_wh return self.concat((box_xy, box_wh, box_confidence, box_probs))class YoloLossBlock 用于计算模型推理得到的3个输出特征图的损失：class YoloLossBlock(nn.Cell): """ Loss block cell of YOLOV3 network. """ def __init__(self, scale, config=None): super(YoloLossBlock, self).__init__() self.config = config if scale == 's': # anchor mask idx = (0, 1, 2) elif scale == 'm': idx = (3, 4, 5) elif scale == 'l': idx = (6, 7, 8) else: raise KeyError("Invalid scale value for DetectionBlock") self.anchors = Tensor([self.config.anchor_scales for i in idx], ms.float32) self.ignore_threshold = Tensor(self.config.ignore_threshold, ms.float32) self.concat = P.Concat(axis=-1) self.iou = Iou() self.reduce_max = P.ReduceMax(keep_dims=False) self.xy_loss = XYLoss() self.wh_loss = WHLoss() self.confidenceLoss = ConfidenceLoss() self.classLoss = ClassLoss() def construct(self, grid, prediction, pred_xy, pred_wh, y_true, gt_box, input_shape): # prediction : origin output from yolo # pred_xy: (sigmoid(xy)+grid)/grid_size # pred_wh: (exp(wh)*anchors)/input_shape # y_true : after normalize # gt_box: [batch, maxboxes, xyhw] after normalize object_mask = y_true[:, :, :, :, 4:5] class_probs = y_true[:, :, :, :, 5:] grid_shape = P.Shape()(prediction)[1:3] grid_shape = P.Cast()(F.tuple_to_array(grid_shape[::-1]), ms.float32) pred_boxes = self.concat((pred_xy, pred_wh)) true_xy = y_true[:, :, :, :, :2] * grid_shape - grid true_wh = y_true[:, :, :, :, 2:4] true_wh = P.Select()(P.Equal()(true_wh, 0.0), P.Fill()(P.DType()(true_wh), P.Shape()(true_wh), 1.0), true_wh) true_wh = P.Log()(true_wh / self.anchors * input_shape) # 2-w*h for large picture, use small scale, since small obj need more precise box_loss_scale = 2 - y_true[:, :, :, :, 2:3] * y_true[:, :, :, :, 3:4] gt_shape = P.Shape()(gt_box) gt_box = P.Reshape()(gt_box, (gt_shape[0], 1, 1, 1, gt_shape[1], gt_shape[2])) # add one more dimension for broadcast iou = self.iou(P.ExpandDims()(pred_boxes, -2), gt_box) # gt_box is x,y,h,w after normalize # [batch, grid[0], grid[1], num_anchor, num_gt] best_iou = self.reduce_max(iou, -1) # [batch, grid[0], grid[1], num_anchor] # ignore_mask IOU too small ignore_mask = best_iou < self.ignore_threshold ignore_mask = P.Cast()(ignore_mask, ms.float32) ignore_mask = P.ExpandDims()(ignore_mask, -1) # ignore_mask backpro will cause a lot maximunGrad and minimumGrad time consume. # so we turn off its gradient ignore_mask = F.stop_gradient(ignore_mask) xy_loss = self.xy_loss(object_mask, box_loss_scale, prediction[:, :, :, :, :2], true_xy) wh_loss = self.wh_loss(object_mask, box_loss_scale, prediction[:, :, :, :, 2:4], true_wh) confidence_loss = self.confidenceLoss(object_mask, prediction[:, :, :, :, 4:5], ignore_mask) class_loss = self.classLoss(object_mask, prediction[:, :, :, :, 5:], class_probs) loss = xy_loss + wh_loss + confidence_loss + class_loss batch_size = P.Shape()(prediction)[0] return loss / batch_size损失函数的实现可见 附件\model\loss.py。最后，class YOLOV3DarkNet53 将前面的 class 组装在一起：class YOLOV3DarkNet53(nn.Cell): """ Darknet based YOLOV3 network. Args: is_training: Bool. Whether train or not. Returns: Cell, cell instance of Darknet based YOLOV3 neural network. Examples: YOLOV3DarkNet53(True) """ def __init__(self, is_training, config=None): super(YOLOV3DarkNet53, self).__init__() self.config = config self.keep_detect = self.config.keep_detect self.tenser_to_array = P.TupleToArray() # YOLOv3 network self.feature_map = YOLOv3(backbone=DarkNet(ResidualBlock, [1, 2, 8, 8, 4], [32, 64, 128, 256, 512], [64, 128, 256, 512, 1024], detect=True), backbone_shape=[64, 128, 256, 512, 1024], out_channel=self.config.out_channel) # prediction on the default anchor boxes self.detect_1 = DetectionBlock('l', is_training=is_training, config=self.config) self.detect_2 = DetectionBlock('m', is_training=is_training, config=self.config) self.detect_3 = DetectionBlock('s', is_training=is_training, config=self.config) def construct(self, x): input_shape = F.shape(x)[2:4] input_shape = F.cast(self.tenser_to_array(input_shape), ms.float32) big_object_output, medium_object_output, small_object_output = self.feature_map(x) if not self.keep_detect: return big_object_output, medium_object_output, small_object_output output_big = self.detect_1(big_object_output, input_shape) output_me = self.detect_2(medium_object_output, input_shape) output_small = self.detect_3(small_object_output, input_shape) # big is the final output which has smallest feature map return output_big, output_me, output_small将 loss 的计算和网络组装在一起：class YoloWithLossCell(nn.Cell): """YOLOV3 loss.""" def __init__(self, network, config=None): super(YoloWithLossCell, self).__init__() self.yolo_network = network self.config = config self.tenser_to_array = P.TupleToArray() self.loss_big = YoloLossBlock('l', self.config) self.loss_me = YoloLossBlock('m', self.config) self.loss_small = YoloLossBlock('s', self.config) def construct(self, x, y_true_0, y_true_1, y_true_2, gt_0, gt_1, gt_2): input_shape = F.shape(x)[2:4] input_shape = F.cast(self.tenser_to_array(input_shape), ms.float32) yolo_out = self.yolo_network(x) loss_l = self.loss_big(*yolo_out[0], y_true_0, gt_0, input_shape) loss_m = self.loss_me(*yolo_out[1], y_true_1, gt_1, input_shape) loss_s = self.loss_small(*yolo_out[2], y_true_2, gt_2, input_shape) return loss_l + loss_m + loss_s（未完，请见下一篇 YOLOv3人体目标检测模型实现（三））

【功能模块】硬件为Atlas300T(9000)操作系统centos7.9CANN版本：Ascend-cann-toolkit_5.1.RC2.alpha007_linux-x86_64pytorch版本：1.8.1-3.0-rc2需要训练模型为LSTM【操作步骤&问题现象】我这面想使用Atlas 300T 训练卡训练神经网络模型(LSTM),我查询到你们那面的框架是支持LSTM模型的，但我这面模型训练的时候老是会报错。【截图信息】报错对应部分代码（加粗行）：class LSTM_DAE(torch.nn.Module):    def __init__(self, input_size, hidden_size, num_layers, output_size):        super(LSTM_DAE, self).__init__()        # 参数初始化        self.input_size = input_size        self.hidden_size = hidden_size        self.num_layers = num_layers        self.output_size = output_size                self.LSTM = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers)        self.reg1 = nn.Sequential(            nn.Linear(hidden_size, hidden_size // 2),            nn.ReLU(),            nn.Linear(hidden_size//2 , hidden_size // 2),            nn.ReLU(),            nn.Linear(hidden_size // 2, output_size)        )    def forward(self, x):        y, (hn, cn) = self.LSTM(x)        seq_len, batch_size, hidden_size = y.shape        self.LSTM.flatten_parameters()        y = y.view(-1, hidden_size)        y = self.reg1(y)        y = y.view(seq_len, batch_size, -1)        return y, (hn, cn)备注：1）程序在GPU服务器上是可以用GPU加速训练的；2）程序在NPU服务器上，若不加载到NPU上也是可以模型训练的，即程序中下面部分代码注释掉是可以运行的：    device= torch.device("npu:0")    if 'npu' in device:      torch_npu.npu.set_device(device)【日志信息】（可选，上传日志内容或者附件）

深入了解神经网络本章将介绍用于解决实际问题的深度学习架构的不同模块。前一章使用PyTorch的低级操作构建了如网络架构、损失函数和优化器这些模块。本章将介绍用于解决真实问题的神经网络的一些重要组件，以及PyTorch如何通过提供大量高级函数来抽象出复杂度。本章还将介绍用于解决真实问题的算法，如回归、二分类、多类别分类等。本章将讨论如下主题：详解神经网络的不同构成组件；探究PyTorch中用于构建深度学习架构的高级功能；应用深度学习解决实际的图像分类问题。3.1　详解神经网络的组成部分上一章已经介绍了训练深度学习算法需要的几个步骤。1．构建数据管道。2．构建网络架构。3．使用损失函数评估架构。4．使用优化算法优化网络架构的权重。上一章中的网络由使用PyTorch数值运算构建的简单线性模型组成。尽管使用数值运算为玩具性质的问题搭建神经架构很简单，但当需要构建解决不同领域的复杂问题时，如计算机视觉和自然语言处理，构建一个架构就迅速变得复杂起来。大多数深度学习框架，如PyTorch、TensorFlow和Apache MXNet，都提供了抽象出很多复杂度的高级功能。这些深度学习框架的高级功能称为层（layer）。它们接收输入数据，进行如同在前面一章看到的各种变换，并输出数据。解决真实问题的深度学习架构通常由1~150个层组成，有时甚至更多。抽象出低层的运算并训练深度学习算法的过程如图3.1所示。 图3.13.1.1　层——神经网络的基本组成在本章的剩余部分，我们会见到各种不同类型的层。首先，先了解其中最重要的一种层：线性层，它就是我们前面讲过的网络层结构。线性层应用了线性变换：Y=Wx+b线性层之所以强大，是因为前一章所讲的功能都可以写成单一的代码行，如下所示。上述代码中的myLayer层，接受大小为10的张量作为输入，并在应用线性变换后输出一个大小为5的张量。下面是一个简单例子的实现：可以使用属性weights和bias访问层的可训练参数：线性层在不同的框架中使用的名称有所不同，有的称为dense层，有的称为全连接层（fully connected layer）。用于解决真实问题的深度学习架构通常包含不止一个层。在PyTorch中，可以用多种方式实现。一个简单的方法是把一层的输出传入给另一层：每一层都有自己的学习参数，在多个层的架构中，每层都学习出它本层一定的模式，其后的层将基于前一层学习出的模式构建。把线性层简单堆叠在一起是有问题的，因为它们不能学习到简单线性表示以外的新东西。我们通过一个简单的例子看一下，为什么把线性层堆叠在一起的做法并不合理。假设有具有如下权重的两个线性层：层权重Layer13.0Layer22.0以上包含两个不同层的架构可以简单表示为带有另一不同层的单层。因此，只是堆叠多个线性层并不能帮助我们的算法学习任何新东西。有时，这可能不太容易理解，我们可以用下面的数学公式对架构进行可视化：Y = 2(3X1) -2 Linear layersY = 6(X1) -1 Linear layers为解决这一问题，相较于只是专注于线性关系，我们可以使用不同的非线性函数，帮助学习不同的关系。深度学习中有很多不同的非线性函数。PyTorch以层的形式提供了这些非线性功能，因为可以采用线性层中相同的方式使用它们。一些流行的非线性函数如下所示：sigmoidtanhReLULeaky ReLU3.1.2　非线性激活函数非线性激活函数是获取输入，并对其应用数学变换从而生成输出的函数。我们在实战中可能遇到数个非线性操作。下面会讲解其中几个常用的非线性激活函数。1．sigmoidsigmoid激活函数的数学定义很简单，如下： 简单来说，sigmoid函数以实数作为输入，并以一个0到1之间的数值作为输出。对于一个极大的负值，它返回的值接近于0，而对于一个极大的正值，它返回的值接近于1。图3.2所示为sigmoid函数不同的输出。 图3.2sigmoid函数曾一度被不同的架构使用，但由于存在一个主要弊端，因此最近已经不太常用了。当sigmoid函数的输出值接近于0或1时，sigmoid函数前一层的梯度接近于0，由于前一层的学习参数的梯度接近于0，使得权重不能经常调整，从而产生了无效神经元。2．tanh非线性函数tanh将实数值输出为-1到1之间的值。当tanh的输出极值接近-1和1时，也面临梯度饱和的问题。不过，因为tanh的输出是以0为中心的，所以比sigmoid更受偏爱，如图3.3所示。 图3.33．ReLU近年来ReLU变得很受欢迎，我们几乎可以在任意的现代架构中找到ReLU或其某一变体的身影。它的数学公式很简单：f(x)=max(0,x)简单来说，ReLU把所有负值取作0，正值保持不变。可以对ReLU函数进行可视化，如图3.4所示。 图3.4使用ReLU函数的一些好处和弊端如下。有助于优化器更快地找到正确的权重集合。从技术上讲，它使随机梯度下降收敛得更快。计算成本低，因为只是判断了阈值，并未计算任何类似于sigmoid或tangent函数计算的内容。ReLU有一个缺点，即当一个很大的梯度进行反向传播时，流经的神经元经常会变得无效，这些神经元称为无效神经元，可以通过谨慎选择学习率来控制。我们将在第4章中讨论调整学习率的不同方式时，了解如何选择学习率。4．Leaky ReLULeaky ReLU尝试解决一个问题死角，它不再将饱和度置为0，而是设为一个非常小的数值，如0.001。对某些用例，这一激活函数提供了相较于其他激活函数更优异的性能，但它不是连续的。

深入了解神经网络本章将介绍用于解决实际问题的深度学习架构的不同模块。前一章使用PyTorch的低级操作构建了如网络架构、损失函数和优化器这些模块。本章将介绍用于解决真实问题的神经网络的一些重要组件，以及PyTorch如何通过提供大量高级函数来抽象出复杂度。本章还将介绍用于解决真实问题的算法，如回归、二分类、多类别分类等。本章将讨论如下主题：详解神经网络的不同构成组件；探究PyTorch中用于构建深度学习架构的高级功能；应用深度学习解决实际的图像分类问题。3.1　详解神经网络的组成部分上一章已经介绍了训练深度学习算法需要的几个步骤。1．构建数据管道。2．构建网络架构。3．使用损失函数评估架构。4．使用优化算法优化网络架构的权重。上一章中的网络由使用PyTorch数值运算构建的简单线性模型组成。尽管使用数值运算为玩具性质的问题搭建神经架构很简单，但当需要构建解决不同领域的复杂问题时，如计算机视觉和自然语言处理，构建一个架构就迅速变得复杂起来。大多数深度学习框架，如PyTorch、TensorFlow和Apache MXNet，都提供了抽象出很多复杂度的高级功能。这些深度学习框架的高级功能称为层（layer）。它们接收输入数据，进行如同在前面一章看到的各种变换，并输出数据。解决真实问题的深度学习架构通常由1~150个层组成，有时甚至更多。抽象出低层的运算并训练深度学习算法的过程如图3.1所示。 图3.13.1.1　层——神经网络的基本组成在本章的剩余部分，我们会见到各种不同类型的层。首先，先了解其中最重要的一种层：线性层，它就是我们前面讲过的网络层结构。线性层应用了线性变换：Y=Wx+b线性层之所以强大，是因为前一章所讲的功能都可以写成单一的代码行，如下所示。上述代码中的myLayer层，接受大小为10的张量作为输入，并在应用线性变换后输出一个大小为5的张量。下面是一个简单例子的实现：可以使用属性weights和bias访问层的可训练参数：线性层在不同的框架中使用的名称有所不同，有的称为dense层，有的称为全连接层（fully connected layer）。用于解决真实问题的深度学习架构通常包含不止一个层。在PyTorch中，可以用多种方式实现。一个简单的方法是把一层的输出传入给另一层：每一层都有自己的学习参数，在多个层的架构中，每层都学习出它本层一定的模式，其后的层将基于前一层学习出的模式构建。把线性层简单堆叠在一起是有问题的，因为它们不能学习到简单线性表示以外的新东西。我们通过一个简单的例子看一下，为什么把线性层堆叠在一起的做法并不合理。假设有具有如下权重的两个线性层：层权重Layer13.0Layer22.0以上包含两个不同层的架构可以简单表示为带有另一不同层的单层。因此，只是堆叠多个线性层并不能帮助我们的算法学习任何新东西。有时，这可能不太容易理解，我们可以用下面的数学公式对架构进行可视化：Y = 2(3X1) -2 Linear layersY = 6(X1) -1 Linear layers为解决这一问题，相较于只是专注于线性关系，我们可以使用不同的非线性函数，帮助学习不同的关系。深度学习中有很多不同的非线性函数。PyTorch以层的形式提供了这些非线性功能，因为可以采用线性层中相同的方式使用它们。一些流行的非线性函数如下所示：sigmoidtanhReLULeaky ReLU3.1.2　非线性激活函数非线性激活函数是获取输入，并对其应用数学变换从而生成输出的函数。我们在实战中可能遇到数个非线性操作。下面会讲解其中几个常用的非线性激活函数。1．sigmoidsigmoid激活函数的数学定义很简单，如下： 简单来说，sigmoid函数以实数作为输入，并以一个0到1之间的数值作为输出。对于一个极大的负值，它返回的值接近于0，而对于一个极大的正值，它返回的值接近于1。图3.2所示为sigmoid函数不同的输出。 图3.2sigmoid函数曾一度被不同的架构使用，但由于存在一个主要弊端，因此最近已经不太常用了。当sigmoid函数的输出值接近于0或1时，sigmoid函数前一层的梯度接近于0，由于前一层的学习参数的梯度接近于0，使得权重不能经常调整，从而产生了无效神经元。2．tanh非线性函数tanh将实数值输出为-1到1之间的值。当tanh的输出极值接近-1和1时，也面临梯度饱和的问题。不过，因为tanh的输出是以0为中心的，所以比sigmoid更受偏爱，如图3.3所示。 图3.33．ReLU近年来ReLU变得很受欢迎，我们几乎可以在任意的现代架构中找到ReLU或其某一变体的身影。它的数学公式很简单：f(x)=max(0,x)简单来说，ReLU把所有负值取作0，正值保持不变。可以对ReLU函数进行可视化，如图3.4所示。 图3.4使用ReLU函数的一些好处和弊端如下。有助于优化器更快地找到正确的权重集合。从技术上讲，它使随机梯度下降收敛得更快。计算成本低，因为只是判断了阈值，并未计算任何类似于sigmoid或tangent函数计算的内容。ReLU有一个缺点，即当一个很大的梯度进行反向传播时，流经的神经元经常会变得无效，这些神经元称为无效神经元，可以通过谨慎选择学习率来控制。我们将在第4章中讨论调整学习率的不同方式时，了解如何选择学习率。4．Leaky ReLULeaky ReLU尝试解决一个问题死角，它不再将饱和度置为0，而是设为一个非常小的数值，如0.001。对某些用例，这一激活函数提供了相较于其他激活函数更优异的性能，但它不是连续的。

随着全球新一轮科技革命的飞速发展，颠覆性技术革新风起云涌，量子科技当之无愧是最引人瞩目的焦点。2022年5月29日，由HiQ量子计算软件团队、上海大学、电子科技大学、南方科技大学、昇思MindSpore社区和华为云ModelArts平台联合举办的第四届·2022量子计算黑客松全国大赛决赛圆满落幕。1大赛赛况总结本此大赛历时两个多月，吸引了来自北京大学、清华大学、中国科学技术大学、复旦大学、浙江大学、上海交通大学、中山大学、南方科技大学、上海大学等国内外170多所高校的本科生、研究生以及建信金科、中国金融认证中心等企业员工，总计500多人报名。近200个团队参与本次比赛，共同创新，推动量子计算的技术研究。为了体现前沿性和交叉性，本次参赛题目涉及量子计算、量子化学、机器学习等交叉学科。初赛题目颇具挑战性，赛题1“利用量子经典混合的神经网络来完成手写字体识别任务”、赛题2“量子化学模拟——基态能求解的浅层线路设计”，基于高性能开源量子计算框架MindSpore Quantum和HiQ量子计算云平台完成赛题。参赛团队之间互相启发，台上竞争，台下合作，经过层层选拔，最终有13个团队、28名优秀选手成功晋级总决赛，汇聚一堂巅峰对决。2嘉宾评委阵容强大2022年5月29日总决赛在线上如期举行。决赛邀请六位量子计算领域的专家组成评审团，分别是南方科技大学物理系教授、HiQ量子计算软件与算法首席科学家翁文康老师，中国科学院计算机技术研究所研究员孙晓明老师，北京清华大学自动化系教授吴热冰老师，上海交通大学物理系教授唐豪老师，电子科技大学计算机系教授王晓霆老师，MindSpore Quantum高级研究员徐旭升博士。决赛答辩环节，由于日程紧，团队多，给予评委团的压力很大。但是，我们的嘉宾评委全程保持了高度专注，认真听取每一支队伍的决赛演讲，以公正、严谨的态度进行打分，并从自己的专业出发为作品提出中肯的意见和建议。各队选手均是有备而来，凭借深厚的专业知识、对赛题创新性的深入挖掘和团队协作精神，深深的打动了各位评委老师，答辩提问环节选手对评委老师的各种挑战和提问也是应对自如。3角逐冠军，竞争激烈！决赛评审团从创新性、通用性、性能三个维度进行评分，经过激烈的角逐，来自重庆大学的参赛团队以总分第一名的成绩，获得冠军，来自上海大学的两支队伍同时获得亚军。此外还产生了三等奖三名，优秀奖七名。恭喜以下获奖团队，让我们来一睹他们的团队风采吧！一等奖获奖团队：五点组会也没关系团队成员：储贻达、周彦桦、徐维（重庆大学）二等奖获奖团队：Hbar团队成员：唐加亮、王瑞、李宇栋（上海大学）获奖团队：Fenice团队成员：徐宜家、刘懿贤（上海大学）三等奖获奖团队：量子emo小分队团队成员：周旭（中山大学）、刘佳薇（中国科学技术大学）、周俊园（南方科技大学）获奖团队：为什么神经网络和化学都要做团队成员：陈柄任（建信金融科技有限责任公司) 、 于小涵（电子科技大学）获奖团队：零熵 团队成员：耿力（同济大学）优秀奖4 总结没有横空出世的幸运，只有不为人知的努力，在征服与挑战中，各位选手在本次大赛中都收获了属于自己的那一份荣誉与认同。来自不同院校和企业的参赛选手、组织者在一起不仅收获了成绩，更多的是在学术交流和创新实践中收获知识、经验和友情。本次大赛涌现了一大波量子计算种子选手，将成为我国量子计算的后备人才。我们相信通过量子计算黑客松这样的重量级精品赛事，将选拔出更多量子计算优秀人才参与到量子计算的研究中来，推动我国量子计算事业发展。  值得一提的是华为已连续举办了四届量子计算黑客松全国大赛，也受到来自全国各高校和企业单位的高度重视和大力支持。重庆大学物理学院、上海大学新闻网、中国海洋大学信息科学与工程学部、上海科技报、新民晚报等多家高校网站和媒体纷纷对赛事进行报道。

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。KNN 的模型表示就是整个训练数据集。对新数据点的预测结果是通过在整个训练集上搜索与该数据点最相似的 K 个实例（近邻）并且总结这 K 个实例的输出变量而得出的。对于回归问题来说，预测结果可能就是输出变量的均值；而对于分类问题来说，预测结果可能是众数（或最常见的）的类的值。关键之处在于如何判定数据实例之间的相似程度。如果你的数据特征尺度相同（例如，都以英寸为单位），那么最简单的度量技术就是使用欧几里得距离，你可以根据输入变量之间的差异直接计算出该值。KNN 算法本身简单有效，它是一种 lazy-learning 算法，分类器不需要使用训练集进行训练，训练时间复杂度为0。KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n，那么 KNN 的分类时间复杂度为O(n)。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。K 近邻算法使用的模型实际上对应于对特征空间的划分。K 值的选择，距离度量和分类决策规则是该算法的三个基本要素：    K 值的选择会对算法的结果产生重大影响。K值较小意味着只有与输入实例较近的训练实例才会对预测结果起作用，但容易发生过拟合；如果 K 值较大，优点是可以减少学习的估计误差，但缺点是学习的近似误差增大，这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。在实际应用中，K 值一般选择一个较小的数值，通常采用交叉验证的方法来选择最优的 K 值。随着训练实例数目趋向于无穷和 K=1 时，误差率不会超过贝叶斯误差率的2倍，如果K也趋向于无穷，则误差率趋向于贝叶斯误差率。    该算法中的分类决策规则往往是多数表决，即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别    距离度量一般采用 Lp 距离，当p=2时，即为欧氏距离，在度量之前，应该将每个属性的值规范化，这样有助于防止具有较大初始值域的属性比具有较小初始值域的属性的权重过大。

我们将仅使用全连接层在20000张图像上训练图像分类模型。所以没有卷积和其他花哨的东西，我们将把它们留到下一篇文章中。不用说，但你真的不应该使用普通的人工神经网络来分类图像。图像是二维的，通过展平图像，你将失去使图像可识别的模式。尽管如此，它还是很有趣且可行的，并且会让你洞察这种方法的所有错误。使用的数据集和数据准备我们将使用Kaggle的狗与猫数据集。它是根据知识共享许可证授权的，这意味着你可以免费使用它：图1：狗与猫数据集：该数据集相当大——25000张图像均匀分布在不同的类中（12500张狗图像和12500张猫图像）。它应该足够大，可以训练一个像样的图像分类器，但不能使用人工神经网络。唯一的问题是——它的结构不适合直接使用。你可以按照之前的文章创建一个适当的目录结构，并将其拆分为训练集、测试集和验证集：缩小、灰度化和展平图像让我们导入相关库。我们需要很多，需要安装Numpy、Pandas、TensorFlow、PIL和Scikit Learn：我们不能将图像直接传递到Dense层。单个图像是三维的——高度、宽度、颜色通道——而Dense层需要一维输入。让我们看一个例子。以下代码加载并显示训练集中的cat图像：src＿img ＝ Image．open（＇data／train／cat／1．jpg＇）display（src＿img）图2——猫的图片示例图像宽281像素，高300像素，有三个颜色通道（np．array（src＿img）．shape）。总的来说，它有252900个像素，在展平时转化为252900个特征。让我们尽可能节省一些资源。如果有意义的话，你应该对你的图像数据集进行灰度化。如果你能对不以颜色显示的图像进行分类，那么神经网络也应该如此。可以使用以下代码段将图像转换为灰色：gray＿img ＝ ImageOps．grayscale（src＿img）display（gray＿img）图3：灰色猫图像显然，它仍然是一只猫，所以颜色在这个数据集中并没有起到很大作用。灰度图像宽281像素，高300像素，但只有一个颜色通道。这意味着我们从252，900 像素减少到84，300 像素。仍然很多，但肯定是朝着正确的方向迈出了一步。数据集中的图像大小不同。这对于神经网络模型来说是个问题，因为它每次都需要相同数量的输入特征。我们可以将每个图像调整为相同的宽度和高度，以进一步减少输入特征的数量。下面的代码片段调整了图像的大小，使其既宽又高96像素：gray＿resized＿img ＝ gray＿img．resize（size＝（96， 96））display（gray＿resized＿img）图4：调整大小的猫图片当然，图像有点小而且模糊，但它仍然是一只猫。但是我们的特征减少到9216个，相当于将特征的数量减少了27倍。作为最后一步，我们需要将图像展平。你可以使用Numpy中的ravel函数来执行此操作：np．ravel（gray＿resized＿img）图5：扁平猫图片计算机就是这样看待猫的——它只是一个9216像素的数组，范围从0到255。问题是——神经网络更喜欢0到1之间的范围。我们将整个数组除以255．0即可：img＿final ＝ np．ravel（gray＿resized＿img） ／ 255．0img＿final图6－扁平和缩放的猫图像作为最后一步，我们将编写一个process＿image函数，将上述所有转换应用于单个图像：让我们在随机的狗图像上进行测试，然后反转最后一步，以直观地表示图像：tst＿img ＝ process＿image（img＿path＝＇data／validation／dog／10012．jpg＇）Image．fromarray（np．uint8（tst＿img ＊ 255）．reshape（（96， 96）））图7：经过变换的狗形象就这样，这个函数就像字面意思。接下来，我们将其应用于整个数据集。将图像转换为表格数据进行深度学习我们将编写另一个函数——process＿folder——它迭代给定的文件夹，并在任何JPG文件上使用process＿image函数。然后，它将所有图像合并到一个数据帧中，并添加一个类作为附加列（猫或狗）：让我们将其应用于训练、测试和验证文件夹。每个文件夹需要调用两次，一次用于猫，一次用于狗，然后连接集合。我们还将把数据集转储到pickle文件中：下面是训练集的样子：＃ Training settrain＿cat ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／train／cat＇））train＿dog ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／train／dog＇））train＿set ＝ pd．concat（［train＿cat， train＿dog］， axis＝0）with open（＇train＿set．pkl＇， ＇wb＇） as f：   pickle．dump（train＿set， f）＃ Test settest＿cat ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／test／cat＇））test＿dog ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／test／dog＇））test＿set ＝ pd．concat（［test＿cat， test＿dog］， axis＝0）with open（＇test＿set．pkl＇， ＇wb＇） as f：   pickle．dump（test＿set， f）＃ Validation set valid＿cat ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／validation／cat＇））valid＿dog ＝ process＿folder（folder＝pathlib．Path．cwd（）．joinpath（＇data／validation／dog＇））valid＿set ＝ pd．concat（［valid＿cat， valid＿dog］， axis＝0）with open（＇valid＿set．pkl＇， ＇wb＇） as f：   pickle．dump（valid＿set， f）图8——训练集数据集包含所有猫的图像，然后是所有狗的图像。这对于训练集和验证集来说并不理想，因为神经网络会按照这个顺序看到它们。你可以使用Scikit Learn中的随机函数来随机排序：train＿set ＝ shuffle（train＿set）．reset＿index（drop＝True）valid＿set ＝ shuffle（valid＿set）．reset＿index（drop＝True）下面是它现在的样子：图9——随机后的训练集下一步是将特征与目标分离。我们将对所有三个子集进行拆分：X＿train ＝ train＿set．drop（＇class＇， axis＝1）y＿train ＝ train＿set［＇class＇］X＿valid ＝ valid＿set．drop（＇class＇， axis＝1）y＿valid ＝ valid＿set［＇class＇］X＿test ＝ test＿set．drop（＇class＇， axis＝1）y＿test ＝ test＿set［＇class＇］最后，使用数字编码目标变量。有两个不同的类（cat和dog），因此每个实例的目标变量应该包含两个元素。例如，使用factorize函数进行编码：y＿train．factorize（）图10－factorize函数标签被转换成整数——猫为0，狗为1。你可以使用TensorFlow中的to＿category函数，并传入factorize后的数组，以及不同类的数量（2）：y＿train ＝ tf．keras．utils．to＿categorical（y＿train．factorize（）［0］， num＿classes＝2）y＿valid ＝ tf．keras．utils．to＿categorical（y＿valid．factorize（）［0］， num＿classes＝2）y＿test ＝ tf．keras．utils．to＿categorical（y＿test．factorize（）［0］， num＿classes＝2）因此，y＿train现在看起来是这样的：图11——目标变量从概率的角度考虑——第一张图片有100％的几率是猫，0％的几率是狗。这些都是真实的标签，所以概率可以是0或1。我们现在终于有了训练神经网络模型所需的一切。用人工神经网络（ANN）训练图像分类模型我随机选择了层的数量和每层的节点数量，以下2部分不能更改：· 输出层——它需要两个节点，因为我们有两个不同的类。我们不能再使用sigmoid激活函数了，所以选择softmax。· 损失函数——我们使用分类交叉熵。其他部分可以随意更改：以下是我在100个epoch后得到的结果：图12：100个epoch后的ANN结果60％的准确率比猜测稍微好一点，但性能一般。尽管如此，我们还是来检查一下训练期间指标发生了什么变化。以下代码片段绘制了100个epoch中每个epoch的训练损失与验证损失：plt．plot（np．arange（1， 101）， history．history［＇loss＇］， label＝＇Training Loss＇）plt．plot（np．arange（1， 101）， history．history［＇val＿loss＇］， label＝＇Validation Loss＇）plt．title（＇Training vs． Validation Loss＇， size＝20）plt．xlabel（＇Epoch＇， size＝14）plt．legend（）；图13：训练损失与验证损失该模型能很好地学习训练数据，但不能推广。随着我们对模型进行更多epoch的训练，验证损失继续增加，这表明模型不稳定且不可用。让我们看看准确度：plt．plot（np．arange（1， 101）， history．history［＇accuracy＇］， label＝＇Training Accuracy＇）plt．plot（np．arange（1， 101）， history．history［＇val＿accuracy＇］， label＝＇Validation Accuracy＇）plt．title（＇Training vs． Validation Accuracy＇， size＝20）plt．xlabel（＇Epoch＇， size＝14）plt．legend（）；图14：训练准确度与验证准确度类似的图片。验证精度稳定在60％左右，而模型对训练数据的拟合度过高。对于一个包含20K训练图像的两类数据集，60％的准确率几乎是它所能达到的最差水平。原因很简单——Dense层的设计并不是为了捕捉二维图像数据的复杂性。结论现在你知道了——如何用人工神经网络训练一个图像分类模型，以及为什么你不应该这么做。这就像穿着人字拖爬山——也许你能做到，但最好不要。       原文标题 : 人工神经网络训练图像分类器

新冠肺炎疫情防控期间，数字技术与线上经济以前所未有的广度和深度向全社会渗透。物联网作为将物理世界映射到数字世界的桥梁，正在从万物互联向万物智联迈进，在社会经济的数字化、智能化转型中扮演着越来越重要的角色。据工业和信息化部运行监测协调局统计，截至今年3月末，国内三家基础电信企业发展蜂窝物联网终端用户15.2亿户，规模快速接近移动电话用户。大体量的用户基数、丰富多样的应用场景，加上5G规模化商用部署、人工智能加速普及产生的叠加效应，我国物联网进入快速发展阶段。IDC报告预测，中国物联网IP连接量将在2025年达到102.7亿，占到亚太（除日本）总连接量的84%。中国企业紧抓数字经济与5G物联网的广阔机遇，面向智慧农业、多媒体、智慧办公、智慧健康、智慧物流等场景推出产品和服务，在助力国内各行各业数字化转型升级的同时，加快融入全球市场。《2022高通物联网创新应用蓝宝书》详细呈现了高通通过多样、领先的连接、计算、物联网等解决方案，支持国内厂商加速出海之路。5G+AI催化物联网蝶变物联网的存在，能有效采集千行百业的数据，并推动数据向结构化、精细化转变，从而促进数字经济与实体经济的融合发展。要充分发挥物联网在数字经济的信息基础设施作用，需要提升物联网的连接能力和处理能力，使之容纳更多终端、更高效地处理数据并覆盖更多场景。5G的高带宽、低时延，正在推动物联网从窄带物联网向大带宽物联网发展，支持100MB/秒的数据传输速度。5G的海量连接特性，可以做到一平方公里支持一百万个传感器联网，大大扩展了物联网的应用。而终端侧和边缘侧的人工智能，加速了数据的采集速度和处理效率，使物联网终端能够实现自动识别、自动跟随、实时导引等丰富多样的智能化功能。中国工程院院士邬贺铨指出，5G的高带宽、低时延打通了数据从采集到决策的全过程，将物联网与云计算、人工智能无缝融合。同时，人工智能芯片与操作系统可以直接嵌入5G物联网模块构成AIoT终端。所以5G物联网不仅是物联网的一种连接方式，5G内生的一些特点也赋能了物联网升级。作为无线技术供应商，高通在物联网、无线通信技术、AI领域有着长期的技术积累。在物联网方面，高通推出了专用的调制解调器、处理器、SoC和解决方案。在无线通信技术方面，高通提供了从支持蜂窝网络、广域网无线技术的调制解调器到射频前端的完整解决方案；在AI方面，高通将AI引擎引入了移动芯片和物联网专业芯片产品。同样值得注意的是，随着物联网向智慧医疗、家庭医疗、直播、办公等场景延伸，需要处理的已不仅仅是物与物的通信，也要满足用户握持、操作终端设备的需求，这就意味着终端要更加小巧轻便、易于部署。如在智慧办公领域，钉钉视频会议系统推出了集音箱、摄像、麦克风于一体的F2视频会议一体机，具备10米内的高音质和高清画面覆盖及智能化功能，在保证会议室与用户终端体验一致的同时，免去了繁琐的布线。F2一体机能够将诸多功能all in one，离不开高通集成了DSP（数字信号处理器）、图像处理及编解码、NPU等芯片的物联网处理器。基于DSP，F2视频会议一体机实现了高速率、全方位的音频捕捉以及抗混响、远距离拾音放音等能力。芯片的图像处理和编解码能力，使F2一体机能够支持最高4K、120帧/秒的视频处理。NPU带来的AI算力，支撑了自动取景、发言人跟踪、多画面自动导播等高阶功能，使与会者具备更好的会议参与感及被关注感。终端产品的简单易用，需要建立在芯片系统的高度集成上。高通多款用于物联网解决方案的移动芯片平台和物联网芯片，都将核心处理器、音视频信号处理、AI引擎、调制解调器等元器件集成到同一芯片平台，并采用高度集成的封装，以降低终端产品设计的复杂性，加快产品的研发上市。行业应用驱动数字经济行业应用是物联网发展的主要驱动力之一，物联网新型基础设施的规模化部署需要与千行百业紧密结合。工业和信息化部等八部门印发的《物联网新型基础设施建设三年行动计划（2021—2023年）》在社会治理、行业应用、民生消费三大领域重点推进12个行业的物联网部署，推进物联网与农业、制造业、建造业、生态环保、文旅等产业深度融合，促进产业提质增效。数字经济倍增作用的标志之一，是将倚重人力的传统行业转向信息化、数字化的运营模式。农业是对人力依赖性较强的传统行业之一，存在智能化、精细化不足的问题，因而容易受到有害生物和气候的影响。在卢森堡，芯讯通与Frontier Connect推出的“室外农田IoT物联网监测系统”，正在通过光学相机、图像控制器、紫外线传感器、智能仪表等传感设备，实时生成温湿度、光照时长、土壤PH值等影响作物生长的因素，以及水泵压力、灌溉时间等设备状态数据。在这套系统中，基于骁龙X55 5G调制解调器及射频系统研发的5G模组，保证了传感设备之间以及传感设备、监测终端、云端、显示终端之间的实时数据传输，让农业从业者可以通过手机、平板等终端随时访问农田数据，获取作物产量和质量的估算和预测。优化资源配置是数字经济“普惠性”的重要体现，医疗等存在资源配置不均的产业，尤其需要数字技术提升全流程的效率和体验。通过信息技术提升医护人员的整体工作效率，是满足民众日益增长的医护需求的有效方式。比如在最常见的输液场景中，如果人工核对药剂和病患，不仅效率有限还有出错的风险。东集推出的5G智慧医疗终端“小码哥Cruise2 5G-HC”，让医护人员能够利用这款轻薄易握的PDA数据采集器扫描输液袋上的条码呼叫病人，也能扫描病人的手持标签确认其身份，既提升了工作效率，也通过双向比对更好地保障用药安全。该终端内置骁龙690 5G移动平台，集成了骁龙X51 5G调制解调器，利用5G网络低至毫秒级的时延，大幅提升了数据的采集、识别速度，在提升医护人员工作效率的同时提升患者的就诊体验。在数字经济时代，数字技术对于文化消费的重塑，正在为消费升级和新的消费增长点培育注入动能。2021年，中央广播电视总台基于“5G+4K/8K+AI”技术矩阵，在东京奥运会报道中实现了全球首次4K超高清频道的奥运赛事直播，通过总台全媒体平台收看人次达479亿次。传统直播方式依赖卫星转播车等大型设备，在极端天气下时常遭遇信号中断等问题，且由于运输不便，在应对突发场景时存在局限。在5G时代，传媒和直播等产业的响应速度和制播效率有了新的可能。为此，移远通信与TVU Networks推出了5G直播背包及5G多网聚合路由器。5G的高速率、低时延和广连接能力，不仅大幅提升了新闻直播的数据采集、远端制作、远程传输能力和效率，还为广大观众带来4K/8K甚至VR级的视觉体验。这套TVU One 5G直播产品搭载了基于骁龙X55 5G调制解调器及射频系统的5G模组。信息显示，TVU One 5G直播包在实际超高清视频直播中的时延可低至0.5秒。高通对于全球蜂窝网和射频主要频段与传输方式的支持，也为国内企业开拓全球市场提供了便利。比如骁龙X55 5G调制解调器支持5G毫米波和6GHz以下频段，高通 9205芯片平台支持海外主流的物联网无线通信技术eMTC，使国内企业在进军海外市场的过程中避免了场测、认证等障碍，提升全球服务能力。

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。 反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

## 一、NeRF介绍 ### 1. 背景 传统计算机图形学技术经过几十年发展，主要技术路线已经相对稳定。随着深度学习技术的发展，新兴的神经渲染技术给计算机图形学带来了新的机遇，受到了学界和工业界的广泛关注。**神经渲染**是深度网络合成图像的各类方法的总称，各类神经渲染的目标是实现图形渲染中建模和渲染的全部或部分的功能，基于**神经辐射场**（Neural Radiance Field, **NeRF**）的场景三维重建是近期神经渲染的热点方向，目标是使用神经网络实现新视角下的2D图像生成，在20和21年的CVPR、NeuIPS等各大AI顶会上，我们可以看到几十、上百篇相关的高水平论文。 ### 2. 网络结构 NeRF使用多层感知机（Multilayer Perceptron，**MLP**）来重建三维场景，也就是去拟合空间点的颜色分布和光密度分布的函数。NeRF的网络结构如图1所示，网络的输入是采样点对应的空间坐标和视角，输出是采样点对应的密度和RGB值。 由于颜色$\boldsymbol{c}$和光密度$\sigma$在空间中并不是平滑的，变化是比较剧烈的，这意味着函数存在很多高频的部分，让模型去表示这种函数比较困难，所以NeRF通过**positional encoding**，对输入的$\boldsymbol{r},\boldsymbol{d}$进行编码、升维，从而能够让模型更好地学出场景的一些细节部分，具体映射方式如下所示，该映射将标量$p$映射成一个$2L+1$维的向量： $$ \boldsymbol{\gamma}(p)=\left[p,\sin(2^0\pi p),\cos(2^0\pi p),\cdots,\sin(2^{L-1}\pi p), \cos(2^{L-1}\pi p)\right] $$ NeRF采用的MLP完整架构如下图所示：  ### 3. 光线步进法 NeRF使用MLP隐式重建三维场景时的输入是采样点的位姿，NeRF的目标是实现2D新视角图像生成，那么要怎么得到采样点的位姿，又怎么使用重建得到的3D密度和颜色呢，得到新视角下的2D图像？ 为了处理这两个问题，NeRF使用了**光线步进**（Ray Marching）这一经典方法，设$\boldsymbol{o}$代表相机原点$O_c$在世界坐标系中的位置，$\boldsymbol{d}$代表射线的单位方向矢量，$t$代表从$O_c$出发，沿射线方向行进的距离。使用光线步进法时，2D图像的每个像素对应于一条射线，每条射线上的任意位置可以表示为$\boldsymbol{r}(t)=\boldsymbol{o}+t\boldsymbol{d}$，对这些射线进行采样（具体使用下文介绍的**随机采样**和**重要性采样**）即可得到采样点的位姿，对这些射线上的采样点进行积分（具体使用下文介绍的**体绘制方法**）即可得到2D像素的RGB值。  ### 4. 随机采样和重要性采样 NeRF使用随机采样和重要性采样结合的方式在光线步进法生成的射线上进行采样，这是因为空间中的物体分布是稀疏的，一条射线上可能只有很小的一段区域是对最终渲染起作用的，如果用均匀采样会浪费很多采样点，网络也难以学到整个连续空间中的分布，所以采用**coarse to fine**的思想，构建粗采样网络和细采样网络可以更好的对空间进行采样。 **随机采样**：将射线从近场到远场的范围$[t_n,t_f]$均匀划分成$N_c$个区间，在每段区间内随机取一个点，将其空间坐标$\boldsymbol{r}$和空间视角$\boldsymbol{d}$输入**粗采样网络**，得到粗采样网络预测的该空间点的$RGB\sigma$。 **重要性采样**：粗采样网络的输出中包括一条射线上所有点的**权重**$w_i$（具体将在下一节解释），将其归一化后作为采样区间的**概率密度函数**PDF，按照概率密度函数随机采样$N_f$个点，与前面分段均匀采样的$N_c$个点合并后输入**细采样网络**。 NeRF将粗采样网络和细采样网络的渲染结果（2D像素点的RGB值），分别与ground truth计算均方误差，将两者之和作为总的loss，来同时训练两个网络。  ### 5. 体绘制原理 得到采样点的密度和RGB值之后，NeRF使用计算机图形学中经典的体绘制技术（Voulume rendering）将3D采样值渲染至2D平面，具体原理如下。 光在介质中的衰减满足以下微分方程： $$ dL=-L\cdot \sigma \cdot dt $$ 其中$L$为光强，$\sigma$为衰减系数，其解为： $$ L=L_0\cdot \exp(-\int{\sigma}dt) $$ 假设：1) 空间点的颜色$\boldsymbol{c}=[R,G,B]^T$和视线方向$\boldsymbol{d}$有关；2) 空间点的光密度$\sigma$和视线方向$\boldsymbol{d}$无关。因为观察到的物体颜色会受到观察视角的影响（比如金属反射面），而光密度是由物体材质所决定。这一点假设也体现在了NeRF的网络结构当中。 根据光在介质中的衰减方程和体绘制原理，对于一个像素，其渲染颜色为 $$ \boldsymbol{C}=\int_{t_{n}}^{t_{f}} T(t) \sigma(\boldsymbol{r}(t)) c(\boldsymbol{r}(t), \boldsymbol{d}) dt $$ 其中，$T(t)=\exp(-\int_{t_n}^{t}{\sigma(\boldsymbol{r}(s))}ds)$代表$[t_n,t]$内的**累积透光率**，$\sigma(\boldsymbol{r}(t))dt$代表距离微元$dt$内的光强衰减率，等效为$\boldsymbol{r}(t)$处的**反射率**。 再对积分式进行离散化处理，使之适于计算机处理：沿着射线取$N$个点，在每个点$i$所代表的区间长度$\delta_i$内，$\sigma, \mathbf{c}$视作常数，得到渲染得到的2D像素RGB值表达式为 $$ \hat{C}(\mathbf{r})=\sum_{i=1}^{N}{T_i(1-\exp(-\sigma_i \delta_i))\mathbf{c_i}} $$ 其中，**累计透光率**为$T_i=\exp(-\sum_{j=1}^{i-1}\sigma_j \delta_j)$ 用体绘制处理得到的2D像素RGB值，可用于计算loss，也可用于生成最终的2D新视角图像。同时，也可以得到如下两个量： - $\alpha_i=1-\exp(-\sigma_i \delta_i)$，为第$i$个区间的**不透明度**。因此，$T_i=\prod_{j=1}^{i-1}{(1-\alpha_i)}$，为前$i-1$个区间的累积透明度； - $w_i=T_i\cdot \alpha_i$，为第$i$个点的颜色对渲染颜色的贡献度，也就是**权重**，可用于计算粗采样网络得到的PDF。 ### 6. NeRF的总体流程 综上所述，NeRF实现场景新视角合成的工作流程如下图所示。 1. 输入多视角图片（包括像素坐标、像素颜色），以及相机内参、位姿等数据； 2. 根据光线步进法产生射线，用随机采样和重要性采样得到空间采样点的坐标； 3. 将空间采样点的坐标以及射线的视角输入含有位置编码的NeRF，得到网络对于空间点$RGB\sigma$值的预测。 4. 根据空间点的$RGB\sigma$值，用体绘制原理，渲染出射线对应的二维像素点的$RGB$。 5. 将预测、渲染得到的像素点的$RGB$，与ground truth做MSE loss，训练神经网络。  ## 二、代码流程介绍 项目地址：等算子完善后发布 程序实现环境：mindspore1.6.1+CUDA11.1。 整体实验流程：  ### 1. 数据准备 NeRF的训练，除了对同一场景拍摄的多视角照片外，还需要相机的内参和每张照片的位姿。后者是无法通过直接测量得到的，因此需要使用一定的算法来获取。 COLMAP是一款通用的运动恢复结构 (SfM) 和多视图立体 (MVS) 软件，可用于点云重建。我们用COLMAP获取相机的内参和每张照片拍摄时的位姿，并根据3D特征点坐标，估计相机成像的深度范围，从而确定远、近平面，也就是边界。 操作步骤如下： 1. 安装COLMAP，官方地址：https://demuc.de/colmap/ 2. 打开软件。点击File---New project，导入照片文件夹images，并在其所在目录下创建一个`database`文件。  3. 点击`Processing---Feature extraction`，提取照片中的特征点。 4. 点击`Processing---Feature matching`，完成特征点匹配。 5. 点击`Reconstruction---Start reconstruction`，完成稀疏重建。 6. 点击`Reconstruction---Dense reconstruction`，点击`Undistortion`，输出稀疏重建的结果，包括**相机内参、照片位姿、三维特征点信息**的二进制文件。  COLMAP生成的数据为二进制文件，需要将数据重新保存成`npy`格式的文件`poses_bounds.npy`，便于后续数据的加载。操作步骤如下： 1. 运行`img2pose.py`文件，运行前需要配置形参为`dense`文件夹所在的目录。  2. 运行后，在相应文件夹下生成`pose_bound.npy`文件，数据预处理任务完成。`pose_bound.npy`文件内容：包含相机的内参、每幅图像的位姿（从相机坐标系到世界坐标系的变换矩阵），以及根据照片中的三维特征点信息计算出的每幅照片的成像深度范围。 此外，原始的拍摄照片像素数太多，无法进行计算，需要事先对图片进行下采样，减少计算量，此处采用8倍降采样。 ### 2. 模型搭建 #### 2.1 主干网络模块 首先是主干模型的搭建。**模型输入**：空间三维坐标在位置编码后的高维向量；**模型输出**：相应三维坐标点处的 的预测值。模型的具体架构参考原理部分。 这里需要**注意模型权重的初始化**，它对训练时收敛的快慢影响很大。这里，采用权重和偏置都在$(-\sqrt{k},\sqrt{k})$内均匀分布，其中$k=1/\text{in-channels}$，实测这种初始化方式对于NeRF的收敛是有帮助的。 ```python class LinearReLU(nn.Cell): def __init__(self, in_channels, out_channels): super().__init__() self.linear_relu = nn.SequentialCell([ nn.Dense(in_channels, out_channels, weight_init=Uniform(-math.sqrt(1. / in_channels)), bias_init=Uniform(-math.sqrt(1. / in_channels))), nn.ReLU() ]) def construct(self, x): return self.linear_relu(x) class NeRF(nn.Cell): def __init__(self, D=8, W=256, input_ch=3, input_ch_views=3, skips=[4], use_viewdirs=False): super(NeRF, self).__init__() self.D = D self.W = W self.input_ch = input_ch self.input_ch_views = input_ch_views self.skips = skips self.use_viewdirs = use_viewdirs self.pts_layers = nn.SequentialCell( [LinearReLU(input_ch, W)] + [LinearReLU(W, W) if i not in self.skips else LinearReLU(W + input_ch, W) for i in range(D - 1)] ) self.feature_layer = LinearReLU(W, W) if use_viewdirs: self.views_layer = LinearReLU(input_ch_views + W, W // 2) else: self.output_layer = LinearReLU(W, W // 2) self.sigma_layer = nn.SequentialCell([ nn.Dense(W, 1, weight_init=Uniform(-math.sqrt(1. / W)), bias_init=Uniform(-math.sqrt(1. / W))) if use_viewdirs else nn.Dense(W // 2, 1, weight_init=Uniform(-math.sqrt(1. / (W // 2))), bias_init=Uniform(-math.sqrt(1. / (W // 2)))), ]) self.rgb_layer = nn.SequentialCell( nn.Dense(W // 2, 3, weight_init=Uniform(-math.sqrt(1. / (W // 2))), bias_init=Uniform(-math.sqrt(1. / (W // 2)))), nn.Sigmoid() ) def construct(self, x): pts, views = mnp.split(x, [self.input_ch], axis=-1) h = pts for i, l in enumerate(self.pts_layers): h = self.pts_layers<i>(h) if i in self.skips: h = mnp.concatenate([pts, h], -1) if self.use_viewdirs: sigma = self.sigma_layer(h) feature = self.feature_layer(h) h = mnp.concatenate([feature, views], -1) h = self.views_layer(h) rgb = self.rgb_layer(h) else: h = self.feature_layer(h) h = self.output_layer(h) sigma = self.sigma_layer(h) rgb = self.rgb_layer(h) outputs = mnp.concatenate([rgb, sigma], -1) return outputs ``` #### 2.2 位置编码模块 位置编码需要将输入的三维坐标映射到高维，因此需要构建一个由$\sin,\cos$函数构成的列表。对于每个输入，进行编码函数的遍历，将输出结果拼接成高维。 ```python class Embedder: def __init__(self, **kwargs): self.kwargs = kwargs self.create_embedding_fn() def create_embedding_fn(self): embed_fns = [] d = self.kwargs['input_dims'] out_dim = 0 if self.kwargs['include_input']: embed_fns.append(lambda x: x) out_dim += d max_freq = self.kwargs['max_freq_log2'] N_freqs = self.kwargs['num_freqs'] if self.kwargs['log_sampling']: pow = ops.Pow() freq_bands = pow(2., mnp.linspace(0., max_freq, N_freqs)) else: freq_bands = mnp.linspace(2. ** 0., 2. ** max_freq, N_freqs) for freq in freq_bands: for p_fn in self.kwargs['periodic_fns']: embed_fns.append(lambda x, p_fn=p_fn, freq=freq: p_fn(x * freq)) out_dim += d self.embed_fns = embed_fns self.out_dim = out_dim def embed(self, inputs): return mnp.concatenate([fn(inputs) for fn in self.embed_fns], -1) def get_embedder(L): embed_kwargs = { 'include_input': True, 'input_dims': 3, 'max_freq_log2': L - 1, 'num_freqs': L, 'log_sampling': True, 'periodic_fns': [mnp.sin, mnp.cos], } embedder_obj = Embedder(**embed_kwargs) embed = lambda x, eo=embedder_obj: eo.embed(x) return embed, embedder_obj.out_dim ``` #### 2.3 损失网络 NeRF涉及到两个网络loss的相加后作为总的loss，来优化两个网络。因此，需要用`NeRFWithLossCell`类，将前向网络与损失函数连接起来。其中，前向计算过程比较复杂，涉及**空间采样、位置编码、神经网络预测、体渲染**等步骤，而这些步骤在测试阶段同样需要用到，因此将其封装成一个函数`sample_and_render()`，只需输入射线信息`rays`、网络信息`net_kwargs`、训练/测试的参数设置`train_kwargs/test_kwargs`，就能输出射线所对应像素点的RGB的预测值。 类的属性包括优化器、网络信息，还有打印信息所需`psnr`。`psnr`也是一个损失函数，但它不是优化的目标，因此不能作为`construct`的输出，只能用属性的方式进行记录。 ```python class NeRFWithLossCell(nn.Cell): def __init__(self, optimizer, net_coarse, net_fine, embed_fn_pts, embed_fn_views): super(NeRFWithLossCell, self).__init__() self.optimizer = optimizer self.net_coarse = net_coarse self.net_fine = net_fine self.embed_fn_pts = embed_fn_pts self.embed_fn_views = embed_fn_views self.net_kwargs = { 'net_coarse': self.net_coarse, 'net_fine': self.net_fine, 'embed_fn_pts': self.embed_fn_pts, 'embed_fn_views': self.embed_fn_views } self.psnr = None def construct(self, H, W, K, rays_batch, rgb, chunk=1024 * 32, c2w=None, ndc=True, near=0., far=1., use_viewdirs=False, **kwargs): # 数据准备，获取射线的位置、方向、远近场、视角 rays = get_rays_info(H, W, K, rays_batch, c2w, ndc, near, far, use_viewdirs=True) # 采样+渲染 rets_coarse, rets_fine = sample_and_render(rays, **self.net_kwargs, **kwargs) # 计算loss loss_coarse = img2mse(rets_coarse['rgb_map'], rgb) loss_fine = img2mse(rets_fine['rgb_map'], rgb) loss = loss_coarse + loss_fine self.psnr = mse2psnr(loss_coarse) return loss ``` #### 2.4 训练网络 这个类是封装损失网络和优化器，用优化器单步更新网络参数。 ```python class NeRFTrainOneStepCell(nn.TrainOneStepCell): def __init__(self, network, optimizer): super(NeRFTrainOneStepCell, self).__init__(network, optimizer) self.grad = ops.GradOperation(get_by_list=True) self.optimizer = optimizer def construct(self, H, W, K, rays_batch, rgb, **kwargs): weights = self.weights loss = self.network(H, W, K, rays_batch, rgb, **kwargs) grads = self.grad(self.network, weights)(H, W, K, rays_batch, rgb, **kwargs) return F.depend(loss, self.optimizer(grads)) ``` ### 3. 采样 #### 3.1 粗采样 粗采样就是沿着射线进行分段均匀分布的随机采样。输入为射线和采样点数，以及其他参数配置，返回值为采样点的三维坐标`pts`、采样点在-z方向距离值`z_vals`，-z方向分段点`z_splits`。 ```python def sample_coarse(rays, N_samples, perturb=1., lindisp=False, pytest=False): N_rays = rays.shape[0] rays_o, rays_d = rays[:, 0:3], rays[:, 3:6] near, far = rays[..., 6:7], rays[..., 7:8] t_vals = mnp.linspace(0, 1, N_samples + 1) if not lindisp: z_splits = near * (1. - t_vals) + far * t_vals else: z_splits = 1. / (1. / near * (1. - t_vals) + 1. / far * t_vals) z_splits = mnp.broadcast_to(z_splits, (N_rays, N_samples + 1)) if perturb > 0.: upper = z_splits[..., 1:] lower = z_splits[..., :-1] t_rand = np.random.rand(*list(upper.shape)) if pytest: np.random.seed(0) t_rand = np.random.rand(*list(z_splits.shape)) t_rand = Tensor(t_rand, dtype=ms.float32) z_vals = lower + (upper - lower) * t_rand else: z_vals = .5 * (z_splits[..., 1:] + z_splits[..., :-1]) pts = rays_o[..., None, :] + rays_d[..., None, :] * z_vals[..., :, None] return pts, z_vals, z_splits ``` #### 3.2 细采样 细采样根据粗采样的得到的分段权重，将其作为概率密度函数进行采样，然后将采样结果和粗采样结果拼接，得到细采样输出。这里用`sample_pdf()`按照概率密度函数进行采样，其程序实现的主要步骤为： 1. 根据PDF，计算累积分布函数CDF，它将是一个分段线性函数。 2. 在[0, 1]内，对CDF值用均匀分布进行采样。 3. 将采样到的CDF值映射回坐标值。 其中，第3步需要用高维的`searchsorted`算子去寻找坐标值的索引，然而，目前MindSpore的`searchsorted`只支持1维输入，无法完成这一任务，暂时用pytorch的算子代替。 ```python def sample_pdf(bins, weights, N_samples, det=False, pytest=False): weights = weights + 1e-5 pdf = weights / mnp.sum(weights, -1, keepdims=True) cdf = mnp.cumsum(pdf, -1) cdf = mnp.concatenate([mnp.zeros_like(cdf[..., :1]), cdf], -1) if det: u = mnp.linspace(0., 1., N_samples) u = mnp.broadcast_to(u, tuple(cdf.shape[:-1]) + (N_samples,)) else: u = np.random.randn(*(list(cdf.shape[:-1]) + [N_samples])) u = Tensor(u, dtype=ms.float32) if pytest: np.random.seed(0) new_shape = list(cdf.shape[:-1]) + [N_samples] if det: u = np.linspace(0., 1., N_samples) u = np.broadcast_to(u, new_shape) else: u = np.random.rand(*new_shape) u = Tensor(u, dtype=ms.float32) cdf_tmp, u_tmp = torch.Tensor(cdf.asnumpy()), torch.Tensor(u.asnumpy()) inds = Tensor(torch.searchsorted(cdf_tmp, u_tmp, right=True).numpy()) below = ops.Cast()(mnp.stack([mnp.zeros_like(inds - 1), inds - 1], -1), ms.float32) below = ops.Cast()(below.max(axis=-1), ms.int32) above = ops.Cast()(mnp.stack([(cdf.shape[-1] - 1) * mnp.ones_like(inds), inds], -1), ms.float32) above = ops.Cast()(above.min(axis=-1), ms.int32) inds_g = mnp.stack([below, above], -1) matched_shape = (inds_g.shape[0], inds_g.shape[1], cdf.shape[-1]) cdf_g = ops.GatherD()(mnp.broadcast_to(cdf.expand_dims(1), matched_shape), 2, inds_g) bins_g = ops.GatherD()(mnp.broadcast_to(bins.expand_dims(1), matched_shape), 2, inds_g) denom = (cdf_g[..., 1] - cdf_g[..., 0]) denom = mnp.where(denom < 1e-5, mnp.ones_like(denom), denom) t = (u - cdf_g[..., 0]) / denom samples = bins_g[..., 0] + t * (bins_g[..., 1] - bins_g[..., 0]) return samples ``` ### 4. 射线获取 `get_rays()`完成的是根据照片尺寸$[H,W]$、相机内参矩阵$K$，相机位姿$c2w$，计算在世界坐标系下每个像素所对应的位置射线`rays_o`和方向射线`rays_d`。这里统一采用openGL坐标系，即$x$为向右、$y$为向上、$z$为向外。其中，`rays_d`统一按照-z方向，也就是拍摄照片时相机的朝向，进行归一化。因为在进行粗采样和细采样时，对于所有不同方向的射线，都是以-z方向上的距离为准进行采样的。 `get_rays_info()`是将射线的所有信息拼接成`rays`张量，便于后续调用，射线信息包括： 1. 位置向量rays_o； 2. 方向向量rays_d； 3. 近场near（体渲染时的积分下限）； 4. 远场far（体渲染时的积分上限）； 5. 单位化后的视角向量view_dir； ```python def get_rays(H, W, K, c2w): i, j = mnp.meshgrid(mnp.linspace(0, W - 1, W), mnp.linspace(0, H - 1, H), indexing='xy') dirs = mnp.stack([(i - K[0][2]) / K[0][0], -(j - K[1][2]) / K[1][1], -mnp.ones_like(i)], -1) c2w = Tensor(c2w) rays_d = mnp.sum(dirs[..., None, :] * c2w[:3, :3], -1) rays_o = ops.BroadcastTo(rays_d.shape)(c2w[:3, -1]) return rays_o, rays_d def get_rays_info(H, W, K, rays_batch=None, c2w=None, ndc=True, near=0, far=1, use_viewdirs=True): if c2w is not None: rays_o, rays_d = get_rays(H, W, K, c2w) else: rays_o, rays_d = rays_batch if use_viewdirs: viewdirs = rays_d viewdirs = viewdirs / mnp.norm(viewdirs, axis=-1, keepdims=True) viewdirs = mnp.reshape(viewdirs, [-1, 3]) if ndc: rays_o, rays_d = ndc_rays(H, W, K[0][0], 1., rays_o, rays_d) rays_o = mnp.reshape(rays_o, [-1, 3]) rays_d = mnp.reshape(rays_d, [-1, 3]) near, far = near * mnp.ones_like(rays_d[..., :1]), far * mnp.ones_like(rays_d[..., :1]) rays = mnp.concatenate([rays_o, rays_d, near, far], -1) if use_viewdirs: rays = mnp.concatenate([rays, viewdirs], -1) return rays ``` ### 5. 渲染 根据网络输出的空间采样点的$RGB\sigma$，用体渲染公式计算出射线对应二维像素点的RGB值。因此，本函数是NeRF前向计算的主体框架。其主要过程为： 1. 根据射线数据，进行粗采样。 2. 将粗采样得到的空间采样点坐标`pts_coarse`，和射线单位方向向量`views_coarse`拼接，输入粗采样网络。经过位置编码和神经网络前向计算，得到空间采样点$RGB\sigma$预测值`raw_coarse`。其中，`views_coarse`是`rays_d`的单位向量，消除了不同向量模长的影响。 3. 将`raw_coarse`输入体绘制函数`render()`，得到渲染后的返回值`ret_coarse`。它是一个字典，包括了渲染后的所有结果，其中包括粗采样点的权重`rets_coarse['weights']`。 4. 根据粗采样网络采样点的权重，以及采样分段区间，进行细采样。 5. 将细采样得到的空间采样点坐标`pts_fine`，和射线单位方向向量`views_fine`拼接，输入细采样网络。经过位置编码和神经网络前向计算，得到空间采样点$RGB\sigma$预测值`raw_fine`。 6. 将`raw_fine`输入体绘制函数`render()`，得到渲染后的返回值`ret_fine`，它同样包括了渲染后的所有结果。 7. 返回粗采样网络和细采样网络渲染后的返回值`rets_coarse`，`rets_fine`。 ```python def sample_and_render(rays, net_coarse=None, net_fine=None, embed_fn_pts=None, embed_fn_views=None, N_coarse=64, N_fine=64, perturb=1., lindisp=False, pytest=False, raw_noise_std=0., white_bkgd=False): # 数据准备 rays_d = rays[..., 3: 6] views = rays[:, -3:] if rays.shape[-1] > 8 else None # 粗采样 pts_coarse, z_coarse, z_splits = sample_coarse(rays, N_coarse, perturb, lindisp, pytest) views_coarse = mnp.broadcast_to(views[..., None, :], pts_coarse.shape) sh = pts_coarse.shape # 粗采样网络的positional encoding pts_embeded_coarse = embed_fn_pts(pts_coarse.reshape([-1, 3])) views_coarse_embeded = embed_fn_views(views_coarse.reshape([-1, 3])) # 输入粗采样网络 + 渲染 得到输出 net_coarse_input = mnp.concatenate([pts_embeded_coarse, views_coarse_embeded], -1) raw_coarse = net_coarse(net_coarse_input).reshape(list(sh[:-1]) + [4]) rets_coarse = render(raw_coarse, z_coarse, rays_d, raw_noise_std, white_bkgd, pytest) # 细采样 weights = rets_coarse['weights'] pts_fine, z_fine = sample_fine(rays, z_coarse, z_splits, weights, N_fine, perturb, pytest) views_fine = mnp.broadcast_to(views[..., None, :], pts_fine.shape) sh = pts_fine.shape # 细采样网络的positional encoding pts_embeded_fine = embed_fn_pts(pts_fine.reshape([-1, 3])) views_embeded_fine = embed_fn_views(views_fine.reshape([-1, 3])) # 输入细采样网络 + 渲染 得到输出 net_fine_input = mnp.concatenate([pts_embeded_fine, views_embeded_fine], -1) raw_fine = net_fine(net_fine_input).reshape(list(sh[:-1]) + [4]) rets_fine = render(raw_fine, z_fine, rays_d, raw_noise_std, white_bkgd, pytest) return rets_coarse, rets_fine ``` ### 6. 主函数 main函数的任务如下： 1. 加载图片和位姿、内参等数据，将其分成一个一个batch并打乱； 2. 用`create_nerf()`，创建一个NeRF模型，返回值包括：各网络实例构成的字典`net_kwargs`，训练参数`train_kwargs`，测试参数`test_kwargs`，优化器`optimizer`。 3. 构建损失网络`net_with_loss`，并加载之前保存的训练参数。 4. 构建训练网络`train_net`。 5. 迭代优化`train_net`。 6. 保存训练时参数，保存渲染视频。 训练时调用训练网络： ```python train_net(H, W, K, batch_rays, target_s, **train_kwargs) ``` ## 三、参考资料 [1] Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. [2] NeRF论文的官方实现： https://github.com/bmild/nerf [3] NeRF的Pytorch实现：https://github.com/yenchenlin/nerf-pytorch [4] MindSpore 1.6 API：https://www.mindspore.cn/docs/api/zh-CN/r1.6/index.html

人工智能正在进一步进入我们的日常生活，但重点主要集中在“大型机器”上，例如自动驾驶汽车。 也许现在也是“小机器”人工智能革命的时候了。在本文中，我们主要探讨两个主要问题，即在“小型机器”中实现人工智能的理由，以及开发人工智能小型机器将面临哪些挑战?未来，在人工智能方面，我们应该有飞行汽车和机器人管家。甚至还可能遇到有感知能力的机器人决定起来反抗我们。虽然我们还没有发展到这种程度，但显然人工智能(AI)技术已经进入了我们的世界。每次当我们让智能语音助手做一件事是，机器学习技术就会先搞明白你说了什么，并试图对你想让它做什么做出最好的决定。例如，每次视频网站或电商平台向你推荐“你可能喜欢的电影”或“你可能需要的商品”时，它都是基于复杂的机器学习算法，尽可能地向你提供具有说服力的建议，这显然比过去的促销活动更有吸引力。虽然我们可能不是所有人都有自动驾驶汽车，但我们敏锐地意识到这一领域的发展以及自动导航提供的潜力。人工智能技术承载着一个伟大的希望——机器可以根据周围的世界做出决定，像人类一样处理信息，甚至以一种优于人类的方式。但如果我们考虑一下上面的例子，就会发现只有“大型机器”才能实现人工智能的承诺，这些设备往往没有功率、尺寸或成本的限制。或者换句话说，它们会发热，有线路供电，体积很大，而且很昂贵。例如，Alexa 和 Netflix 这些全球领先的IT巨头企业依靠云中的大型耗电服务器（数据中心）来推断用户的意图。虽然自动驾驶汽车很可能依赖电池，但考虑到这些电池必须转动车轮和转向，它们的能量容量是巨大的。与最昂贵的人工智能决策相比，它们是巨大的能源支出。因此，尽管人工智能前景广阔，但“小机器”却被抛在了后面 。由较小电池供电或具有成本和尺寸限制的设备无法参与机器可以看到和听到的想法。今天，这些小机器只能利用简单的人工智能技术，也许是听一个关键词，或者从心率分析低维信号，如光电体积描记术 (PPG)。如果小机器能看能听会怎样？但是，小型机器能够看到和听到是否有价值？可能很多人很难想象像门铃摄像头这样利用自动驾驶或自然语言处理等技术的小设备。尽管如此，诸如词汇识别、语音识别和图像分析之类的不太复杂、处理密集程度较低的 AI 计算仍然存在机会：门铃摄像头和消费级安全摄像头通常会触发一些无趣的事件，例如风引起的植物运动、云引起的剧烈光线变化，甚至是狗或猫在镜头前面动等事件。这可能导致错误警报触发，导致房主开始忽略掉一些重要事件。因为，房主可能在世界不同的地方旅行，也可能正在睡觉，而他们的安全摄像机却对日出、云和日落引起的照明变化频繁发出警报。而更智能的摄像机则可以更加精准是识别物体变化，如人体的轮廓，进而避免误报干扰。门锁或其他接入点可以使用面部识别甚至语音识别来验证人员访问权限，在很多情况下无需钥匙或IC卡。许多摄像头希望在某些事件上触发：例如，跟踪摄像头可能希望在画面中出现某一种动物时触发，安全摄像头可能希望在画面中出现人或开门或脚步声等噪音时触发，并且有些摄像机可能想要通过语音命令触发等等。大词汇量命令在许多应用中都很有用。虽然有很多类似 “Hey Alexa”、“Hey Siri” 解决方案，但如果开始考虑 20 个或更多单词的词汇，则可以在工业设备、家庭自动化、烹饪用具和许多其他设备中找到用于简化人机交互的用途。这些例子只是表面上的。让小型机器看到、听到和解决以前需要人工干预的问题的想法是一个强大的想法，我们每天都在继续寻找创造性的新用例。让小型机器能看和听的挑战是什么？那么，如果人工智能对小型机器如此有价值，为什么我们还没有广泛应用呢？答案是计算能力。人工智能推理是神经网络模型计算的结果。把神经网络模型想象成你的大脑如何处理图片或声音的一个粗略的近似，把它分解成非常小的片段，然后当这些小片段组合在一起时识别出模式。现代视觉问题的主力模型是卷积神经网络 (CNN)。这些模型在图像分析方面非常出色，在音频分析中也非常有用。挑战在于此类模型需要数百万或数十亿次数学计算。传统上，这些应用很难选择实施：使用廉价且低功耗的微控制器解决方案。虽然平均功耗可能很低，但 CNN 可能需要几秒钟的时间来计算，这意味着 AI 推理不是实时的，因此会消耗大量电池电量。购买可以在所需延迟内完成这些数学运算的昂贵且高性能的处理器。这些处理器通常很大，需要大量外部组件，包括散热器或类似的冷却组件。但是，它们执行 AI 推理的速度非常快。无法实施。低功耗微控制器解决方案将太慢而无法使用，而高性能处理器方法将打破成本、尺寸和功率预算。我们需要的是一种嵌入式的人工智能解决方案，从头开始构建，以最大限度地减少CNN计算的能源消耗。与传统的微控制器或处理器解决方案相比，AI推断需要在一个数量级上执行，并且不需要内存等外部组件的帮助，这些外部组件会消耗能量、体积和成本。如果人工智能推理解决方案可以消除机器视觉的能量损失，那么即使是最小的设备也可以看到并识别周围世界发生的事情。幸运的是，我们正处于这场“小机器”革命的开端。现在的产品几乎可以消除人工智能推断的能源成本，并实现电池驱动的机器视觉。例如，一个微控制器可用于执行 AI 推理，同时仅消耗微焦耳的能量。责任编辑：庞桂玉    来源： 千家网

华为诺亚实验室的研究员发现图神经网络（GNN）也能做视觉骨干网络。将图像表示为图结构，通过简洁高效的适配，提出一种新型视觉网络架构 ViG，表现优于传统的卷积网络和 Transformer。在 ImageNet 图像识别任务，ViG 在相似计算量情况下 Top-1 正确率达 82.1%，高于 ResNet 和 Swin Transformer。论文链接：https://arxiv.org/abs/2206.00272PyTorch 代码：https://github.com/huawei-noah/CV-BackbonesMindSpore 代码：https://gitee.com/mindspore/models/tree/master/research/cv/ViG在计算机视觉领域，骨干网络一直是特征提取的重要部件。从 AlexNet 到 ResNet，卷积网络 CNN 在很长一段时间内一直是视觉任务的标配。近年来，基于注意力机制的 Transformer 和以全连接层为主的 MLP 网络也开始在计算机视觉领域崭露头角。与现有主流 CNN 模型相比，基于 Transformer 或 MLP 的模型在视觉任务上也显示出了良好的性能。直到现在，关于谁是更好的视觉骨干网络还是一个仍在探索和颇具争议的课题。 传统的卷积网络将图像视作一个矩阵或网格，通过滑动窗口对邻域像素点或特征点进行聚合；视觉 Transformer 或 MLP 则是输入图片切分为若干个图像块，形成一个序列，用注意力机制或全连接层处理序列关系，如图 1 所示。网格或序列表示的方法，对于图像来说显得不够灵活。比如，一个人往往由头部、四肢和躯干构成，这些部位之间有一定连接关系，是一种非规则化的会变化的模式。 图 1：图像的 3 种表示方法。 为了更好地对图像进行表示，本文提出用图结构（Graph）来对图像进行解析。将图像切分成若干图像块，每个图像块视作一个节点来构建图结构。进而提出用图神经网络进行图像识别等任务，首次构建了视觉 GNN，简称 ViG，如下图 2 所示。 图 2：视觉图神经网络 ViG 架构。 直接使用原始 GNN 在图像任务会有过平滑的问题，也就是随着网络的加深，节点特征之间会越来越相似。为了缓解这个问题，ViG 引入前馈神经网络 FFN 模块来增强特征变换能力和特征多样性。通过基础的图卷积模块和 FFN 模块，作者构建了 isotropic 式和金字塔式的 ViG 网络架构。在 ImageNet 基准测试和下游任务上的实验表明了该方法在视觉任务方面的优越性。例如， Pyramid ViG-S 仅用 4.5G FLOPs 就达到了 82.1% 的 ImageNet top-1 正确率，这比计算量相近的 Swin Transformer 和 ResNet 都要高出不少。 转发自：https://www.jiqizhixin.com/articles/2022-06-26