尊敬的沙箱实验室用户：您好！因产品功能特性更新，《使用MindSpore开发训练模型识别手写数字》实验将于2021年8月6日下线优化，预计将于2021年8月31日重新上线，届时请您关注，给您造成不便，请谅解。 对此，我们将采取以下措施：1．暂时关闭该实验入口，此前所进行该实验的记录及实验报告等信息可在【开发者个人中心】-【我的实验】中进行查看；2．对于曾体验该实验的用户，若您上次结束实验时有剩余实验时间，我们将保留您的剩余实验时间，可在重新上线后使用剩余实验时间进行实验；如您有任何问题，可随时通过工单或者服务热线（+86-4000-955-988 ）与我们联系。感谢您对华为云培训中心沙箱实验室的支持！  发布日期：2021年8月5日 

尊敬的微认证客户：您好！因实验部分问题需修复，华为云学院于2021年8月5日对《使用MindSpore训练手写数字识别模型》微认证的课程及实验进行下线优化，预计将于2021年8月30日重新上线，届时请您关注。为此，我们将采取以下措施：1．对于已购买该微认证并通过考试领取证书的客户，原证书在证书有效期内仍有效，并与课程优化后的证书拥有同等效力；2．对于已购买该微认证但未通过考试且仍有考试机会的客户，可在重新上线后进行新课程学习、实验，参加考试并领取证书；如您有任何问题，可随时通过工单或者服务热线（+86-4000-955-988 ）与我们联系。感谢您对华为云微认证的支持！ 发布日期：2021年8月5日

04 如何实现可解释AI？从前面的介绍，大家可以感觉到可解释AI很高大上，那么具体如何实现呢？结合业界的研究成果，我们认为实现可解释AI主要有3类方法： 第一类是基于数据的可解释性，通常称为深度模型解释，是最容易想到的一种方法，也是很多论文里面经常涉及的一类技术；主要是基于数据分析和可视化技术，实现深度模型可视化，直观展示得到模型结果的关键依据。 第二类是基于模型的可解释性，这类方法也称为可解释模型方法，主要是通过构建可解释的模型，使得模型本身具有可解释性，在输出结果的同时也输出得到该结果的原因。 第三类是基于结果的可解释性，此类方法又称为模型归纳方法，思路是将已有模型作为一个黑盒，根据给定的一批输入和对应的输出，结合观察到模型的行为，推断出产生相应的结果的原因，这类方法的好处是完全与模型无关，什么模型都可以用。 05 MindSpore1.1版本的可解释AI能力MindSpore1.1开源版本，在MindInsight部件中集成了的可解释AI能力：显著图可视化（Saliency Map Visualization），也称为关键特征区域可视化。这部分归属于第一类基于数据的可解释性方法，后续我们将陆续开源更多的解释方法，除了第一类，还将包括第二类基于模型的可解释方法和第三类基于结果的可解释方法。 当前显著图可视化主要是CV领域的模型解释，在1.1版本中，我们支持6种显著图可视化解释方法：Gradient、Deconvolution、GuidedBackprop、GradCAM、RISE、Occlusion。其中：Gradient、Deconvolution,、GuidedBackprop和GradCAM等4种方法属于基于梯度的解释方法。 这种类型的解释方法，主要利用模型的梯度计算，来突显关键特征，效率比较高，下面简要介绍下这4种方法：1) Gradient，是最简单直接的解释方法，通过计算输出对输入的梯度，得到输入对最终输出的“贡献”值；而Deconvolution和GuidedBackprop是对Gradient的延展和优化；2) Deconvolution，对原网络中ReLU进行了修改使其成为梯度的ReLU，从而过滤负向梯度，仅关注对输出起到正向贡献的特征； 3) GuidedBackprop，是在原网络ReLU基础上对负梯度过滤，仅关注对输出起到正向贡献的且激活了的特征，能够减少显著图噪音；4) GradCAM，针对中间激活层计算类别权重，生成对类别敏感的显著图，可以得到类别相关的解释。另外2种方法：Occlusion和RISE，则属于基于扰动的解释方法，该类型方法的好处是，仅需利用模型的输入和输出，可以做到模型无关，具体说明下： 1) RISE，使用蒙特卡洛方法，对随机掩码进行加权（权重为遮掩后的模型的输出）平均得到最终显著图； 2) Occlusion，通过遮掩特定位置的输入，计算模型输出的改变量来得到该位置的“贡献”，遍历全部输入，得到显著图。 那么对于具体场景，该如何选择合适的解释方法来解释对应的模型呢？ 为了满足这个诉求，MindSpore1.1版本提供了可解释AI的度量框架，同时还提供了4种度量方法：Faithfulness、Localization、Class sensitivity、Robustness，针对不同解释方法的解释效果进行度量，帮助开发者或用户选择最合适的解释方法。简单描述下这4种度量方法： 1) Faithfulness，可信度。按照重要度从大到小移除特征，并记录特定标签概率的减少量。遍历所有特征之后，比较置信度减少量的分布和特征重要性的分布相似性。与黑盒模型越契合的解释，两个分布情况应当越相似，该解释方法具有更好的可信度。 2) Localization，定位性。基于显著图的解释具有目标定位的能力（即给定感兴趣的标签，显著图高亮图片中与标签相关的部分），localization借助目标检测数据集，对于同一图片同一个标签，通过显著图高亮部分和Ground Truth的重合度，来度量显著图的定位能力。3) Class sensitivity，分类敏感度。不同分类对应的图中的对象的显著图高亮部分应该明显不同。将概率最大和最小标签的显著图进行比较，如果两个标签的显著图差异越大，解释方法的分类敏感度越好。 4) Robustness，健壮性。该指标反映解释方法在局部范围的抗扰动能力，Lipschitz值越小，解释收扰动影响越小，健壮性越强。这些解释方法，具体该如何使用呢？我们将在下一篇文章深入介绍：“可解释AI如何帮助图片分类模型调试调优？”，敬请期待! 未来，MindSpore还将支持更多的解释和度量方法，逐步丰富可解释AI能力，更好地帮助模型调优和增强模型信任度，促进AI规模应用和推广。 了解完MindSpore的关键技术是不是很心动呢！赶紧【点击链接】并【立即报名】，即可在 ModelArts 平台学习到一个经典案例掌握基于MindSpore的深度学习！ 转自 https://bbs.huaweicloud.com/blogs/286730

01 为什么需要可解释AI？在人类历史上，技术进步、生产关系逻辑、伦理法规的发展是动态演进的。当一种新的技术在实验室获得突破后，其引发的价值产生方式的变化会依次对商品形态、生产关系等带来冲击，而同时当新技术带来的价值提升得到认可后，商业逻辑的组织形态在自发的调整过程中，也会对技术发展的路径、内容甚至速度提出诉求，并当诉求得到满足时适配以新型的伦理法规。在这样的相互作用中，技术系统与社会体系会共振完成演进，是谓技术革命。近10年来，籍由算力与数据规模的性价比突破临界点，以深度神经网络为代表的联结主义模型架构及统计学习范式（以后简称深度学习）在特征表征能力上取得了跨越级别的突破，大大推动了人工智能的发展，在很多场景中达到令人难以置信的效果。比如：人脸识别准确率达到97％以上；谷歌智能语音助手回答正确率，在2019年的测试中达到92.9%。在这些典型场景下，深度学习在智能表现上的性能已经超过了普通人类（甚至专家），从而到了撬动技术更替的临界点。在过去几年间，在某些商业逻辑对技术友好或者伦理法规暂时稀缺的领域，如安防、实时调度、流程优化、竞技博弈、信息流分发等，人工智能（暨深度学习）取得了技术和商业上快速突破。食髓知味，技术发展的甜头自然每个领域都不愿放过。而当对深度学习商业化运用来到某些对技术敏感、与人的生存或安全关系紧密的领域，如自动驾驶、金融、医疗和司法等高风险应用场景时，原有的商业逻辑在进行技术更替的过程中就会遇到阻力，从而导致商业化（及变现）速度的减缓甚至失败。究其原因，以上场景的商业逻辑及背后伦理法规的中枢之一是稳定的、可追踪的责任明晰与分发；而深度学习得到的模型是个黑盒，无法从模型的结构或权重中获取模型行为的任何信息，从而使这些场景下责任追踪和分发的中枢无法复用，导致人工智能在业务应用中遇到技术和结构上的困难。举两个具体的例子：例1，在金融风控场景，通过深度学习模型识别出来小部分用户有欺诈嫌疑，但是业务部门不敢直接使用这个结果进行处理，因为难以理解结果是如何得到的，从而无法判断结果是否准确，担心处理错误；而且缺乏明确的依据，如果处理了，也无法向监管机构交代； 例2，在医疗领域，深度学习模型根据患者的检测数据，判断患者有肺结核，但是医生不知道诊断结果是怎么来的，不敢直接采用，而是根据自己的经验，仔细查看相关检测数据，然后给出自己的判断。从这2个例子可以看出，黑盒模型严重影响模型在实际场景的应用和推广。要解决模型的这些问题，就需要打开黑盒模型，透明化模型构建过程和推理机理。那么可解释AI是实现模型透明化的有效技术。02 什么是可解释AI？可解释AI，不论是学术界还是工业界都没有一个统一的定义。这里列举3种典型定义，供大家参考讨论：1) 可解释性就是希望寻求对模型工作机理的直接理解，打破人工智能的黑盒子。2) 可解释AI是为AI算法所做出的决策提供人类可读的以及可理解的解释。3) 可解释的AI是确保人类可以轻松理解和信任人工智能代理做出的决策的一组方法。可见，关注点在于对模型的理解，黑盒模型白盒化以及模型的可信任。 MindSpore团队根据自身的实践经验和理解，将可解释AI定义为：一套面向机器学习（主要是深度神经网络）的技术合集，包括可视化、数据挖掘、逻辑推理、知识图谱等，目的是通过此技术合集，使深度神经网络呈现一定的可理解性，以满足相关使用者对模型及应用服务产生的信息诉求（如因果或背景信息），从而为使用者对人工智能服务建立认知层面的信任。 03 可解释AI解决什么问题？按DARPA（美国国防部先进研究项目局）的说法，可解释AI的目的，就是要解决用户面对模型黑盒遇到问题，从而实现：用户知道AI系统为什么这样做，也知道AI系统为什么不这样做。用户知道AI系统什么时候可以成功，也知道AI系统什么时候失败。用户知道什么时候可以信任AI系统。用户知道AI系统为什么做错了。MindSpore实现的可解释AI计划主要解决如下两类问题： 1) 解决深度学习机制下技术细节不透明的问题，使得开发者可以通过XAI工具对开发流程中的细节信息进行获取，并通过获取到的可理解信息，帮助开发者进行模型故障排除或性能提升； 2) 提供深度学习技术与服务对象的友好的认知接口（cognitive-friendly interface），通过该接口，基于深度学习的服务提供者可以有合适工具对深度学习服务进行商业化逻辑的操作，基于深度学习的人工智能服务的消费者可以获得必要的释疑并建立信任，也可以为AI系统的审核提供能力支持。 转自 https://bbs.huaweicloud.com/blogs/286730

量子在机器学习中的应用早在上个世纪，科学家就提出了用于机器学习的量子感知机概念。最近20年，越来越多的用于机器学习的量子算法被发掘出来，其中包括用于求解线性方程组的HHL算法，和基于此的量子主成分分析、量子支持向量机等。下图给出了各种量子机器学习算法对最好经典算法的加速效果。然而，有意义地实用化这些算法需要成千上万，乃至百万量级的量子比特，在当前NISQ（Noisy Intermediate-Scale Quantum）阶段，真实量子计算机的比特数只能达到几十到几百的量级，且系统含有较多噪声。为了在NISQ阶段展现量子计算机的优势，人们发展出来了量子经典混合机器学习库，经典计算机与量子计算机相辅相成，共同完成一个复杂的任务，例如量子化学模拟和组合优化等。量子机器学习库MindQuantumMindQuantum是结合MindSpore和HiQ开发的量子机器学习库，支持多种量子神经网络的训练和推理。得益于华为HiQ团队的量子计算研发能力和MindSpore高性能自动微分能力，MindQuantum能够高效处理量子机器学习、量子化学模拟和量子优化等问题，性能达到业界TOP1，为广大的科研人员、老师和学生提供了快速设计和验证量子机器学习算法的高效平台。下图是MindQuantum的架构图，当前我们利用量子模拟器算子来对量子体系进行模拟，它可以完成前向传播和梯度计算的功能，在此基础之上，我们有量子算法库，例如量子神经网络啊、量子化学模拟的VQE和量子优化算法的QAOA等，再往上就有了量子应用，我们可以利用MindQuantum的量子算法来进行机器学习、化学模拟和运筹优化等任务。在MindQuantum中，量子神经网络的结构如下图所描述，其中的量子线路由三大块构成，编码线路会将经典数据编码到量子态上，然后是待训练线路，我们可以通过调节线路中逻辑门的参数来使得最后的测量结果符合预期。通过MindQuantum中的MindQuantumLayer，我们可以很容易的搭建量子机器学习层，并且可以无缝的跟MindSpore中其他的算子构成一张更大的机器学习网络。下面，我们结合一个简单的例子来体验一下MindQuantum量子机器学习库。MindQuantum量子神经网络初体验对于如上的量子线路，encoder线路表征系统对初始量子态的误差影响，  和  为某个固定值，我们需要训练一个ansatz线路来抵消掉这个误差，使得最后的量子态还是处于  态。这时我们只需要对量子末态进行泡利  算符测量，由于  态是  算符的本征态，且本征值为1，因此我们只需让测量值最大即可。量子线路的搭建import numpy as npfrom mindquantum.ops import QubitOperatorfrom mindquantum import Circuit, Hamiltonian encoder = Circuit().rx('alpha', 0).ry('beta', 0).no_grad()ansatz = Circuit().rx('a', 0).ry('b', 0)circ = encoder + ansatzham =  Hamiltonian(QubitOperator('Z0'))alpha, beta = 0.5, 1.2encoder_data = np.array([[alpha, beta]]).astype(np.float32)搭建训练网络from mindquantum.nn import MindQuantumLayerimport mindspore as ms class Net(ms.nn.Cell):    def __init__(self, pqc):        super(Net, self).__init__()        self.pqc = pqc        def construct(self, x):        return -self.pqc(x) pqc = MindQuantumLayer(['alpha', 'beta'], ['a', 'b'], circ, ham)train_net = Net(pqc)训练opti = ms.nn.Adam(train_net.trainable_params(), 0.2)net = ms.nn.TrainOneStepCell(train_net, opti)for i in range(100):    print(net(ms.Tensor(encoder_data)))最后收敛结果为-0.993。同时我们也可以求得最后量子态与目标态的保真度。from mindquantum.highlevel import StateEvolutiona, b = pqc.weight.asnumpy()pr = {'alpha': alpha, 'beta': beta, 'a': a, 'b': b}state = StateEvolution(circ).final_state(pr)fid = np.abs(np.vdot(state, [1, 0]))**2通过上面的训练，我们利用量子神经网络抵消了系统的误差，使得最后的量子态的保真度达到99.9999%。更多样例除了上面简单的例子外，我们还给出了利用MindQuantum来进行自然语言处理、量子化学模拟、组合优化求解和手写体识别等案例，具体请参考下面链接:https://gitee.com/mindspore/mindquantum/tree/master/tutorials 转自https://bbs.huaweicloud.com/blogs/285688

MindSpore在3.28日正式开源了量子机器学习库MindQuantum，本文介绍MindQuantum的关键技术。介绍MindQuantum前，先简单阐述下量子计算的相关概念。量子计算基本概念量子计算是当今世界最具颠覆性的技术之一，各个国家和公司都在加大该领域的研发投入。量子计算机的概念最早是由著名物理学家费曼于1981年提出，按照他的想法，利用量子力学原理运行的量子计算机，相比于经典计算机能够更快的对复杂量子系统进行模拟。由于量子系统的纠缠性、叠加性和并行性，人们可以以多项式级乃至指数级的加速来实现一些算法，如用于大数分解的Shor算法、用于量子搜索的Grover算法等。为了让大家快速步入量子计算大门，我们首先需要了解一些基本的概念，包括用于信息存储的量子比特和对量子比特进行逻辑操作的量子门。量子比特在经典计算机里，人们通常用电位的高低来表示二进制的0和1，然后利用三极管等半导体器件对电流进行操控，以完成通用逻辑运算。然而，在同一时间内，同一个比特只能处于低电位和高电位中的一种情况。在神奇的量子世界里，一些实体可以同时处于两种不同的状态。例如电子，它的自旋可以同时处于向上的状态和向下的状态，如果我们把这种向上和向下的状态分别记为0和1，那么以电子自旋为代表的量子比特则可以同时处于0和1的叠加态。按照狄拉克符号的规则，我们把这种0和1的状态分别记为  ，称为右矢表示。对于单个量子比特，其状态是处于  和  的叠加态，也即：这里，  和  必须满足  ，也即态的归一化条件。有一定线性代数基础的同学看到这里可能就会想到，单量子比特的态就是以 和 为基矢所张成的二维空间中的矢量。我们把此空间称为希尔伯特空间。而多比特量子态所处的空间则由多个这种单比特空间直积而成。为了便于大家理解，我们可以将 和 用二维空间中最简单的两个正交基矢表示：这样任意的单量子比特态可以表示为：那么多量子比特又该如何表示呢？以两比特为例，两比特量子态所处的空间由两个二维希尔伯特空间直积而成，四个基矢分别为  、  、和  ，其中：其他以此类推。因此，我们可以发现，对于  个比特的系统，其量子态能够同时处于  个计算基矢的叠加态上，这是经典比特无法企及的。量子逻辑门有了基本量子信息载体的量子比特后，我们就需要对这些量子比特进行相应的操控。在经典计算机里，我们有一些半导体器件来对电信号进行处理，从而形成经典逻辑门，例如与非门、异或门等。而在量子计算机里，我们将这种对量子比特进行操控的逻辑门成为量子逻辑门，例如在超导量子计算机中，我们可以将一些微波脉冲作用在超导量子比特上，对其进行相应的控制，例如比特翻转等。这种操控所形成的逻辑我们也可以用线性代数语言来描述，例如最常用的几个逻辑门  、  和  三个泡利门和哈达玛门  可以分别用矩阵表示为： 这些门都是作用在单比特上的量子门，其作用在量子态的运算规则满足矩阵乘法，例如：我们可以发现，  就是比特翻转门，它将  态翻转为  态，将 态翻转为  态。除了这种单比特门，我们还有多比特门，例如控制翻转门CNOT，它的作用效果是只有当控制位为  时，才在作用位上作用翻转门  。不难发现，上面的量子门的矩阵数值上都是固定的，还有一些门，他们是可变参数的，例如  、  和  旋转门。它们的矩阵表达式为： 这里，通过改变 \theta 的值，我们得到不同的旋转门。量子线路类比于经典线路，我们可以把一系列的量子逻辑门进行精心的设计组合，构成一个量子线路并完成一定的任务。如下图所示，该量子线路对三个量子比特进行调控，分别为  、  和  ，线路由三个量子门构成分别为作用在 上的哈达玛门、受  控制且作用在  上的  门和作用在上的含参数旋转门  。我们可以对量子线路演化后的量子态进行测量，从量子态中提取信息，并进行后续操作。下面，我们利用MindQuantum来对上面的线路进行演化，并得到最终的量子态。首先，按照[安装指导](MindSpore/mindquantum)完成MindQuantum的安装，运行如下代码，将得到末态量子态。import numpy as npfrom mindquantum import Circuitfrom mindquantum.highlevel import StateEvolution c = Circuit()c.h(0)c.x(1, 0)c.ry('theta', 2) state = StateEvolution(c).final_state({'theta': np.pi/2}, ket=True)print(state)输出如下:0.5¦000⟩0.5¦011⟩0.5¦100⟩0.5¦111⟩因此我们得到最终用的量子态为：转自https://bbs.huaweicloud.com/blogs/285688 

做完了Tesseract文字识别的实验，不能识别手写文字，继续尝试使用MindSpore开发训练模型识别手写数字实验。我的凭证这里，从个人账号点击进去，不同的上下文会提供不同的下拉列表有点模糊，提了云声。obs桶是免费创建，按用量计费，实验的话，完全可以承担。ModelArts也是免费创建，按需计费，后面会用到。之后就是上传训练用的数据、脚本，创建好日志和输出文件目录。修改脚本文件的时候，出了个错，在修改vi train_lenet.py的时候，“② 红色框2实例化一个用于参数更新的优化器，两个问号处分别填写学习率和动量参数，学习率和动量的范围为0~1。通常学习率设置0.0到0.1之间，动量设置为0.8到1.0之间能取的较好的训练效果。因此，在红色框2处（52行），将原代码中的第一个“?”设置为0.0到0.1之间的数值，第二个“?”设置0.8到1.0之间的数值；”只修改了其中的一个参数，漏掉了一个，导致整个实验的失败。想要修改训练脚本，需要重新xterm远程登录，vi修改再次上传obs。训练作业并没有再次运行的按键，需要点击修改训练作业，即使未做任何修改，也可以触发另一个版本的训练。实验时间不够了。等明天再做？嗯，尝试使用实验手册实际跑一下。难点是，实验所用的数据和脚本都保存在沙箱环境中，并没有像上一个Tesseract实验提供wget的链接，实验的时间又用完了。。。通过其他的IAM账号获得实验时间，然后尝试scp出来，还有一种更简单的方法：首先按照实验手册创建好obs的资源，然后用其他IAM账号（如果没有可以创建一个）进去实验环境，然后不用沙箱的账号密码登录，用自己的账号在沙箱环境登录，将桌面的训练数据、脚本，依次上传到自己的obs桶中去。退出实验环境，用自己的账号（非IAM方式）登录，从控制台找到ModelArts界面，创建训练作业，执行。 查看日志，可能是参数学习率（设置0.0到0.1之间）设置成0.05的原因，准确率有点低。整个训练的时间不到2分钟。

华为在20年9月份开源了MindSpore Lite 1.0.0版本之后，其接口易用性、算子性能与完备度、第三方模型的广泛支持等方面，得到了众多手机应用开发者的广泛认可。MindSpore Lite为HMS Core AI领域提供了全场景AI推理框架，支撑华为手机的相机、**、钱包、浏览器的二维码扫描、物体识别等AI相关模块，为各类华为穿戴、智慧屏等设备提供基础AI服务。同时，作为HMS Core开放给全球开发者接入的重要能力之一，华为机器学习服务已为全球1000+应用接入，日均调用量超过3亿。目前，在21年新年伊始，华为发布了MindSpore Lite 1.1.0版本，在算子性能优化、模型小型化、加速库自动裁剪工具、端侧模型训练、语音类模型支持、Java接口开放、模型可视化等方面进行了全面升级，升级后的版本更轻、更快、更易用，新特性也会体现到HMS Core的新版本中。1. 算子库优化与扩展推理性能优化是本次版本的重头戏，除了持续的ARM CPU(FP16/FP32/INT8)性能优化，ARM GPU和X86_64的优化也是本次的亮点。GPU方面我们除了传统的算子优化，还加入了在线融合、AutoTuning等技术，使得ARM GPU推理性能大幅提升；同时为了更好的支持PC侧推理，在X86_64算子方面我们做了大量汇编层面的优化；经过大量模型的实测，MindSpore Lite 1.1.0版本在推理性能方面在业界各类框架中极具竞争力。1.1 ARM CPU优化我们从引入减少计算量的更优算法，到尽可能减少硬件访存从而提高指令吞吐量，MindSpore Lite 的CPU算子性能大幅提升。我们使用TF Hub官网上100+端侧预置模型进行了推理时延对比测试，测试结果显示在Mate30/P30等高端机型上MindSpore Lite已全面超越官网数据，在P20等中低端机型上推理性能优于官网数据的占比也达到97%。1.1.1 FP16推理性能MindSpore Lite全面支持ARMv8.2的FP16推理，推理时延基本达到了FP32类型推理的二分之一，在推理时延大幅降低的同时精度满足业务要求；我们的FP16推理方案已经在华为HMS MLKit和华为手机预置的各类AI服务中普遍应用。由于TF Lite不支持FP16推理，所以在FP16推理性能对比测试环节中我们只选择了MNN最新的1.1版本，从测试结果看MindSpore Lite在FP16推理时延更低，性能表现更好。来源：华为开发者论坛