第1章中介绍了梯度下降算法训练回归模型，神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数，那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播（Backward Propagation）算法，使得计算梯度更加有效率。在介绍反向传播之前，先来介绍一下链式法则。假设有两个函数y=g（x）和z=h（y），那么z对x的求导过程如下：假设有三个函数x=g（s）、y=h（s）和z=k（x，y），z对s的求导过程如下：神经网络的梯度计算，就是依赖链式法则一层层反向传播的。如图3.4所示的前向神经网络，输入层有n个属性x1，x2，…，xn，中间隐藏层有p个神经元，第j个神经元为hj，j∈（0，p-1）。输出层为q维。对隐藏层的每一个神经元hj，先经过一个线性变换，公式如下：式中，wj0——偏置值；wj1，wj2，…，wjn——作用在属性x1，x2，…，xn上的权重。[插图]输入给神经元后，经过激活函数的作用得到[插图]。第二层同理有神经元输入：输出。以上为前向神经网络的前向传播（ForwardPropagation）过程。对单个数据样本（x，y），假设损失函数为均方差，则对第k个输出项的损失为：通过链式法则，损失函数对权重vkj的梯度为：式中，第一项第三项而对于第二项，假设激活函数为sigmoid函数，则梯度有一个很好的性质，即：三项相乘可以得到：由于真实标签yk由数据给定，而输出值[插图]与hj均由前向传播算法计算得到，则可以轻易地计算得到每个中间层权重vkj，并且该计算过程可以并行进行。类似地，可以得到损失值在隐藏单元hj上的累积梯度为同理，可以通过链式法则，得到损失函数对第一层权重wji的梯度为（假设隐藏层激活函数为ReLU函数）：在上一步计算得到后，也可以高效并行地计算出。在上述过程中，假设了损失函数是均方差，激活函数为sigmoid和ReLU，其实这样的计算法则对任意可微的损失函数和激活函数都是有效的。从计算过程来看，在前向传播得到隐藏层与输出层数值后，先从损失函数算起，接着从顶层逐渐计算梯度，将梯度逐层往输入层传播。这与前向传播的顺序是相反的，也是该算法为什么被称为反向传播的原因。反向传播（见图3.5）得到所有参数的梯度之后，可以利用梯度下降算法对参数进行更新迭代，从而达到训练神经网络的目的。神经网络训练过程如算法3.1所示。输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:训练完成的神经网络(1) 初始化网络参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机无放回选取b个样本mb(4) 前向传播逐层计算隐藏层的参数值,得到样本输出(5) 根据损失函数计算误差,得到输出层梯度(6) 反向逐层计算隐藏层梯度(7) 计算连接参数梯度并更新参数                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

在机器学习中，过拟合（Overfitting）与欠拟合（Underfitting）都是指模型选择不能够很好地拟合数据本身，即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数，为了拟合尽可能多的数据，甚至包括一些错误的样本，这些参数会因过度拟合数据而产生一些噪声。而欠拟合与之相反，其原因是选择的参数或模型不够复杂，例如用线性模型去拟合非线性结构，显然是欠拟合的。图2.7表示了在分类问题中出现的过拟合与欠拟合问题。对于这样的非线性模型，如果采用图2.7（a）的线性模型，显然无法去拟合非线性的分界线，这种情况为欠拟合，模型将无法得到很好的预测效果。而为了拟合尽可能多的数据，可能选择了图2.7（c）中曲线所示的复杂模型，尽管这样的模型将数据100%地区分开了，但并没有很好地拟合数据特征，对于一个新来的测试点，这个过拟合的模型很可能出现区分错误，这样的模型叫作过拟合。而图2.7（b）中的曲线则为一个更好的模型，具有更好的泛化能力。如图2.8所示的回归问题，如果用浅色的多项式曲线去拟合，尽管可以完美拟合所有数据点，但失去了数据本身的特性，并且无法很好地得到泛化。例如左侧第一和第二个点之间任意一个未知数据点，预测值将会非常大，导致很大的偏差。相反，深色的线性模型反映了数据本身的变化趋势，在预测新的数据点时，可以达到更高的准确度。在上述问题中，从图形的角度理解了过拟合和欠拟合的概念，下面将从数据的角度解释这两个概念。在一个机器学习问题中，数据包含训练数据（Training Data）和测试数据（Testing Data），模型需要在训练数据上选择与训练，而测试数据对于模型是不可见的，对于一个欠拟合的模型，在训练数据上效果就会很差，这个很容易鉴别，那怎么知道模型是否过拟合呢？采用的做法是，在训练数据中抽出一部分样本，构成一个验证数据（Validation Data），假设验证数据的分布和训练数据、测试数据相似，可以通过验证数据上的表现来判定模型是否过拟合。图2.9的横坐标为模型复杂度，纵坐标为误差值，下方曲线表示训练数据上的误差，而上方曲线表示验证数据上的误差。可以清楚地观察到，当模型复杂度增加时，训练数据上的误差逐渐变小，因为复杂的模型更容易拟合数据。然而验证数据上的误差是先降后升的，这是因为模型从欠拟合逐渐过渡到过拟合阶段。验证数据的作用就是帮助选择虚线处的模型，它可以最好地拟合数据本身，从而期望达到更好的泛化效果——算法对新鲜样本（测试数据）有更好的适应能力。第4章将介绍增强模型泛化能力来防止过拟合的一些方法，控制模型复杂度，可以缓解过拟合，学习到隐藏在数据背后的规律。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

与回归问题不同的是，分类问题的输出不再是连续值，而是离散值，即样本的类别。分类问题在现实中的应用非常广泛，例如区分图片上的猫和狗、手写数字识别、垃圾邮件分类、人脸识别等。分类问题有二分类（“是”或“不是”）和多分类（多个类别中判别哪一类），而所有的多分类问题都可以转换成多个二分类问题，例如在分类动物的时候，可以逐步对猫、狗等每种动物都进行“是”或“不是”的判别，从而实现多分类的目标。本节主要以二分类问题来讨论。首先思考一个问题：能不能用回归问题的解法求解分类问题呢？答案是可以的。分类问题与普通回归问题最主要的区别在于要拟合的不是直线或曲线，而是一系列离散值。2.1节中提到的逻辑回归就可以很好地拟合线性二分类问题。逻辑回归基于如图2.4所示的逻辑函数（Logistic Function，又称为对数概率函数），即：式中，e（.）——指数函数。对于任意给定的输入值x，逻辑函数将其映射到范围为0~1的一个数值。当x>0时，输出值更接近1；当x<0时，输出值更接近0；x=0时为拐点，拥有最大斜率值。逻辑函数的输出值，通常被看作输出为1的概率。此外，逻辑函数的一个重要的性质在于，它是一个单调可微的函数，保证了可以使用梯度下降算法来训练模型。对于给定样本属性x，假设标签y∈{0，1}，预测值[插图]，这里[插图]。对于分类问题，若z（x）>0，则预测值为1；若z（x）<0，则预测值为0。这样就可以将预测值z（x）代入逻辑函数，得到：从概率的角度来讲，可以把分类概率表达为，同样的，对于给定数据集，在线性回归问题中，优化目标是最小化均方差，而在逻辑回归模型中，优化目标是最大化似然函数L，其计算公式为：然而当样本数过大时，由于计算机浮点数的特性，很容易导致数值溢出，同时就计算梯度而言，连续加和的形式要比连续相乘容易。因此在实际应用中，往往对多个连续相乘项取对数处理，即使用如下公式的对数似然函数：现在就可以用2.2节中介绍的梯度下降算法，以最小化损失函数来训练参数w，即：这个损失函数又被称为交叉熵函数（Cross Entropy）。当y（i）的值分别为1或0时，单个样本上的损失函数J（x（i），y（i），w）分别对应式（2.21）的左或右部分。如图2.5所示，当y（i）=0时，如果h（x（i））越趋近于0，则损失函数值越小，同时斜率也越缓和；当y（i）=1时，则相反。逻辑函数对于分类错误的样本，将会产生更大的惩罚值和更大的梯度。逻辑回归模型从回归概率的角度定义了线性二分类问题。图2.6（a）给出了线性分类器的图形表示，深色样本为y=0，浅色样本为y=1，而中间的曲线为训练得到的线性分类边界z（x）=wTx=0。当z（x）<0，即点在分界线的上方时，预测值为0，反之预测值为1。线性分类器具有很好的可解释性，然而如图2.6（b）所示的非线性分类器，实际中样本的分界线往往不是线性的。这个时候需要定义不同的参数模型，如多项式模型、支持向量机、神经网络（Neural Network）模型等，学习复杂的非线性的分类器。但值得注意的是，同样可以把非线性分类问题拆分为两部分：（1）通过特征函数将样本映射到线性空间。（2）利用线性分类模型学习最终分类边界。第3章将介绍如何利用逻辑回归模型来训练神经网络。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

梯度下降（Gradient Descent）算法是一个一阶最优化算法，通常也称为最速下降算法。为了找到一个损失函数（或目标函数）的局部最小值，必须向函数前点对应梯度（或者近似梯度）的反方向移动适当的距离，从而实现迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部最大值点，这个相反的过程被称为梯度上升算法。本节以梯度下降算法为例进行探讨。梯度下降算法基于以下观察：如果实数函数J（w）在w处可微且有定义，那么函数J（w）在w点沿着梯度相反的方向-▽J（w）下降最快。如图2.2所示，沿中间路线的梯度的相反方向下山，要远比左侧和右侧路线所走的路程要短。基于此，梯度下降算法的思想包括以下部分。（1）选定一个初始点w0。（2）沿梯度反方向逐步更新参数，即wt=wt-1-α▽J（wt-1）直至收敛。这里α>0，α为步长（Step Size），又称为学习率（Learning Rate），它的值可以在训练之前设为定值，也可以根据训练情况调整。基于梯度的定义，对于足够小的α值，有J（wt）≤J（wt-1）。那么从w0出发，如果给定合适的步长，会逐步得到更小的损失函数J（w0）≥J（w1）≥J（w2）≥…。如果顺利，序列wt将逐渐收敛到损失函数的极小值，这一过程如图2.3所示。假设损失函数J定义在平面上，并且函数图像类似于一个碗形容器。椭圆形的曲线代表等高线，即函数J为常数的集合构成的曲线，越往中间值越小。任意选择一个初始点w0，箭头指向该点梯度的反方向（梯度方向与该点为等高线垂直），逐步沿着梯度下降方向更新参数w，将最终到达碗底，即函数J的极小值点。2.1节把求解线性回归问题转换为求最小化损失函数J（w）问题，那么就可以用梯度下降算法来求解。对于一组给定的数据集{（x（i），y（i））}，根据x的属性个数定义参数w，线性方程h（x（i））与损失函数的关系如下：随机选取一个初始点w0及合适的步长α，计算梯度公式为：式中，，在原属性向量上添加了一个常数1的维度，用于更新偏置参数w0。基于梯度▽J（w），可以逐步更新wt，通过wt=wt-1-α▽J（wt-1）得到最优的参数值。梯度下降算法不仅用于线性回归，机器学习中很多问题都可以通过梯度下降算法最小化损失函数来解决。梯度下降算法又称批量梯度下降（Batch Gradient Descent）算法，这里的批量是指用到了所有的训练样本个数m。在实际问题中，往往有相当多的样本数，例如一个学校的学生人数、银行里的客户数目、硬盘里的图片等。尤其对于复杂的学习模型，如深度神经网络，其参数本身就很庞大，如果每次计算梯度都用到所有的数据样本，那么计算量将是相当大的，甚至是不可计算的。事实上可以将该算法想象成一个随机的过程，也就是每次仅随机抽取一个点，在期望上与所有点加起来的平均大体相似。这样就可以用单个点的梯度代替平均的梯度，该单个点的梯度叫随机的梯度，整体的梯度可以看成是随机梯度的期望值。基于随机梯度下降的线性规划问题迭代算法涉及公式如下：式中，x（i）——第t次迭代时，从m个数据样本中随机采样到的样本。由于每次更新只用到一个样本，而不用遍历所有数据集，迭代速度就会很快，但是迭代次数以及收敛的极小值可能不是最优的，因为随机采样的偏差会导致每次选取的梯度方向不一定是最优的。在实际应用中，使用更广泛的是一种被称为小批量（Mini-batch）梯度下降的算法，这是介于批量梯度下降算法和随机梯度下降算法之间的折中算法。每次随机选取样本数量为b（b<m）的小批量样本。这样一方面节省了计算整个批量的时间，同时用小批量计算的梯度方向也会比基于一个样本的随机梯度方向更加准确。小批量梯度下降算法如算法2.1所示。算法2.1　小批量梯度下降算法输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:收敛的参数wT(1) 初始化参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机选取b个样本(4) 计算梯度并更新参数:算法2.1概括了小批量梯度下降算法的主要流程，其中mb为从m个样本中随机采样的b个样本的索引集合，Ji（w）为第i个样本上的损失函数。步长的选择、收敛的条件等问题将在以后部分介绍。                                                                                                                                                                                                        本文转载自华为云社区 作者:HWCloudAI

（请严格按照回复示例进行回复，格式不对会影响获奖哦~）（回复格式：华为云ID+截图）为了巩固大家的学习成果，紧跟学习进度请将需要完成的每章随堂测验内容按要求回复到本帖下方还能有机会获得附加幸运奖哦~打卡时间2020.12.23-2021.01.06 23:59打卡要求在本帖中，回复对应章节的随堂测验并提交截图 ↓                                              回复格式：华为云ID+课程完成截图，如图所示↓↓↓华为云ID：grandmaster奖励方式在本阶段内提交随堂测验的用户中随机抽取5位幸运奖奖励华为云定制三和一数据线 活动注意事项 由于本帖回复内容为随堂测试结果，已设置回帖仅版主可见想了解更多关于全栈成长计划课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-96671-1-1.html

《零基础WEB全栈学习训练营》第二阶段已结束感谢大家的积极参与和支持（因参加课程的学生数量及打卡人数未达到开奖要求，取消第二阶段结业考试以及奖励，只发作业得分总排名前三名的奖励）课程相关内容- 课程观看入口：   点此查看课程课程为录播，现在报名还可观看相关内容- 课程大纲：   点此查看课程大纲-第二阶段直播回看链接：1.8月13日【大厂前端经典面试题解析】直播回放地址：https://bbs.huaweicloud.com/videos/103100学习打卡任务内容及奖励安排课程表奖品如下：各学习任务打卡1.随堂测验打卡贴：【零基础WEB全栈学习训练营】第二阶段·每章随堂测验打卡帖2.最终考核打卡帖：【零基础WEB全栈学习训练营】第二阶段•最终考核打卡帖《零基础WEB全栈学习训练营》第一阶段回看链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=86105其他学习与活动内容1.【零基础WEB全栈学习训练营】学习情况调查问卷，和版主反馈下你的态度？发发牢骚？学习调查问卷点这里点这里点这里

直播回放https://bbs.huaweicloud.com/live/cloud_live/202012241900.html内容讲解材料请参考附件实操材料课程名称链接HBase通用API使用样例https://bbs.huaweicloud.com/forum/thread-90741-1-1.htmlHBase Rest接口调用样例https://bbs.huaweicloud.com/forum/thread-90746-1-1.htmlHBase thrift接口调用样例https://bbs.huaweicloud.com/forum/thread-90749-1-1.html

机器学习服务可以做什么？

排列语言模型尽管 MLM 任务在预训练中被广泛使用，但 Yang 等人认为，当模型被用于下游任务时，MLM 的预训练过程中使用的一些特殊词例（如[MASK]）并不存在。这导致了预训练和调优阶段之间存在差异性。为了克服这个问题，研究人员提出用 PLM 作为预训练目标来替代 MLM。简而言之，PLM 是一种在输入序列的随机排列上进行的语言建模任务。每种排列（permutation）是从所有可能的排列中随机抽取得来的。然后，我们将序列的排列中的一些词例选取为目标，并训练模型根据其它的词例以及目标的自然位置，来预测目标词例。注意，这种排列并不影响序列的自然位置，只定义词例预测的顺序。实际上，由于收敛较慢，我们只能预测排列后的序列中的最后几个词例。针对面向目标的表征，研究人员还引入了双流自注意力机制

人工智能具有悠久的历史，可以追溯到20世纪50年代。早期人工智能的发展极其缓慢，其主要原因在于各领域对人工智能具有领域内独特的定义和理解，所研究的内容和方法也相对独立，缺乏技术和信息层面的交流和共享。在1956年夏季的达特茅斯人工智能研究会上，约翰·麦卡锡等人首次将不同领域中出现的“类人计算”“机器智能”等描述进行了统一，正式提出了“人工智能”这一术语，明确了人工智能的首要使命，即运用算法构建动态计算环境来模拟人类智能，从而奠定了人工智能发展的基础。在接下来的20年间，人工智能在语音处理和问题求解等方面均取得了不俗的表现。其中，较为成功的人工智能案例是“通用解题机”和“LISP人工智能语音”。尽管如此，早期的人工智能技术仍存在很大的局限性，只能处理一些简单的问题，在实际应用中的表现不尽如人意。另一方面，代表神经网络先进成果的感知机理论也一度受到了强烈抨击，导致了第一波人工智能热潮的迅速降温，包括政府在内的各路投资者对人工智能项目的资助相继停止，从而使人工智能进入了第一轮寒冬。这波低潮一直持续到20世纪80年代末，专家系统作为人工智能领域一项极具商业价值的研究应运而生，解锁了人工智能的第一轮寒冬。受符号主义的影响，专家系统的研究者希望让机器像人类一样进行逻辑推理，进而模仿人的认知过程，这也促使了很多面向逻辑演算的编程语言的诞生，如Prolog。不幸的是，这一波热潮未能持续很久。因为专家系统需要昂贵的计算平台，随着个人计算机性能的不断提升，专家系统逐渐被价格低廉的个人计算机所取代。最终，人工智能硬件市场急剧萎缩，人工智能也进入了第二轮寒冬。从20世纪90年代中期开始，遵循摩尔定律，计算机的运算能力呈指数级增长，各种机器学习算法得以快速验证、训练和应用，直接引发了人工智能的复兴。在该阶段，支持向量机（Support Vector Machine，SVM）、Boosting、KernelMethod等机器学习方法在手写数字识别、股票预测、情感分类、点击率预测等实际应用中取得了优异的表现。1997年由IBM公司制造的深蓝（Deep Blue）计算机系统战胜了当时的国际象棋世界冠军卡斯帕罗夫，引起了社会各界对人工智能的高度关注，重燃了人们对人工智能的信心。自此，人工智能的新一波热潮逐步席卷了全球。在本轮人工智能热潮中，最具价值也最具影响力的一项研究当属深度学习。作为机器学习的代表性方法，深度学习以人工神经网络为基本框架，在数据表征、特征提取、特征交互等多个方面取得了颠覆性的成果。深度学习得益于大数据的不断积累和计算机的飞速发展，其中，海量数据解决了神经网络训练的过拟合问题，而高性能的硬件设备让模型训练成为可能。近年来，随着深度学习研究的不断深入，我们目睹了Google AlphaGo成功击败人类世界围棋冠军，以及包括无人车在内的各项智能技术的蓬勃发展，仿佛再一次看到人工智能赶超人类的希望。总而言之，人工智能正在逐步改变人类的日常生活模式，并凭借其惊人的效果和迅猛的发展势头，广泛融入各个行业的实际应用中，涉及计算机视觉、自然语言理解、语音识别、智能游戏等多个领域。深度学习，作为人工智能的一项崭新技术，从海量数据中汲取知识，并与外界环境进行互动，通过反馈学习交互策略，无论在理论方法上还是现实应用中，都取得了颠覆性的成果。接下来，将聚焦深度学习，探讨深度学习的定义和现实应用。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

回归问题算法通常是利用一系列属性来预测一个值，预测的值是连续的。例如给出一套房子的一些特征数据，如面积、卧室数等来预测房价，利用最近一周的气温变化和卫星云图来预测未来的气温情况等。如果一套房子实际价格为500万元，通过回归分析的预测值为499万元，则认为这是一个比较好的回归分析。在机器学习问题中，常见的回归分析有线性回归（Linear Regression）、多项式回归（Polynomial Regression）、逻辑回归（Logistic Regression）等。本节重点介绍线性回归算法，逻辑回归将在2.3节重点阐述。线性回归是一个很简单的回归算法，使用它可以快速地了解很多关于深度学习的基础知识。首先看一个只有一个特征值的线性回归问题，给定数据如表2.1所示。这些给定的数据也叫作数据集（Dataset），把每组数据记作（x（i），y（i）），一共有m组数据。目标就是给出一个模型，根据新给定的x值预测y的值。对于线性回归，使用的模型是一个线性函数，公式如下：式中，w0，w1——最终需要训练得到的参数。式中，w0，w1——最终需要训练得到的参数。这个模型也叫作假设（Hypothesis），线性回归的目标就是找到一组最优的w0和w1，使假设贴近表2.1中的数据集。如图2.1所示，希望训练得到的w0和w1能够尽可能拟合所给定的数据集。图2.1　线性回归模型那么如何得到最优的w0和w1呢？将训练的目标转换为最小化下面的函数：这个需要被最小化的函数就叫作损失函数（Loss Function），损失函数类型可以有很多种，上面用的这种叫作均方误差（Mean Square Error），常用于解决回归问题，此外交叉熵误差（Cross Entropy Loss）函数常被用于解决分类问题，即：可以看到，最终的优化目标就是最小化预测值h（x（i））与训练数据中实际的标签y（i）的误差。在上述情景中，为了便于理解，输入数据x只有一条属性，实际应用中往往会涉及n个属性（n≥1），此时需要训练得到n+1个参数w，w=[w0，w1，…，wn]，其中w0为偏置（Bias），wi（i=1，2，…，n）为第i条属性的权重（weight）。综上，可以把回归问题统一表示为以下形式：（1）数据集（2）参数（3）假设（4）损失函数为方便表达，把数据集表示为一个m×（n+1）的矩阵X，其中每一行的第一个元素恒为1，其后为x（i）的n个属性，即：同时，把目标值也记为向量形式y=（y（1）；y（2）；…；y（m）），则线性回归问题可以表示为：                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

1.5.2　端云协同MindSpore依托华为“端—边—云”的业务场景，在隐私保护日渐重要的情况下，致力于支持全场景部署，并打通云到端全流程。MindSpore针对全场景提供一致的开发和部署能力，以及按需协同能力，让开发者能够实现AI应用在云、边缘和手机上快速部署，全场景互联互通，实现更好的资源利用和隐私保护，创造更加丰富的AI应用。学术界和工业界没有对端云协同做系统的概念定义，一般认为涉及云和端交互的学习形态，即是端云协同系统。模型压缩、端侧推理、端侧训练、迁移学习、联邦学习等技术在端侧的应用都可以划分到端云协同的范畴。这些涉及在云侧构建、预训练或托管模型，在端侧执行或训练模型，以及云和端之间模型或权重的传输。在端侧推理场景中，对云侧模型进行模型压缩并转换为端侧推理模型，使用端侧推理框架加载模型并对本地数据进行推理。但云侧预训练模型使用的数据集和端侧真实的数据存在差异，为了利用端侧真实数据训练模型，带来精准的个性化体验，端侧训练成为必然。由于端侧设备在算力、电量和数据量方面的限制，从头训练一个模型不切实际，因此迁移学习技术被用在了端侧学习中，可以大幅度降低端侧训练的难度。为了充分利用端侧数据和端侧训练能力，一些端云联合学习方法和框架被提出来，旨在联合多个端侧设备共同训练一个全局模型，并实现端侧隐私保护。Google率先于2016年提出了联邦学习方法和框架。杨强等又提出了横向联邦学习、纵向联邦学习、联邦迁移学习以及联邦强化学习等方法及对应的框架。端侧推理、迁移学习和联邦学习属于端云协同的不同阶段，如图1.3所示的MindSpore端云协同框架融合了这三种形态并打通了云到端全流程。MindSpore端云协同框架整合了MindSpore云侧框架、MindSpore端侧框架，并打通了模型生成、模型压缩、编译优化和端侧学习的全流程。MindSpore提供神经架构搜索（Neural Architecture Search，NAS）能力用于自动化生成模型，构建模型库。MindSpore模型压缩模块用于对模型库中的模型进行剪枝和量化。MindSpore提供了编译优化能力用于转换和优化模型，并通过神经处理单元（Neural-network Processing Unit，NPU）、图形处理单元（GraphicsProcessing Unit，GPU）或ARM NEON(1)等加速算子执行。MindSpore端云协同框架具有如下多种特性(2)。（1）快速多处部署。实际场景中，模型需要快速适配不同机型硬件。通过神经架构搜索技术构建多元化的模型库，适配多种机型。针对特定应用场景，从模型库中搜索满足性能约束的模型，拿来即用，无须重复训练。（2）全栈性能优化。结合神经架构搜索、模型压缩（剪枝、蒸馏、量化）、编译优化（算子融合、常量折叠、硬件加速）等手段优化模型精度、大小、时延，追求极致性能。（3）灵活易用。支持多种策略，如模型生成、模型压缩和编译优化组合使用。打通云到端全流程，集中管理全流程策略和配置，方便使用。（4）多种学习形态。MindSpore端云框架逐步支持多种学习形态，比如支持当前业界常用的端侧推理形态，并逐步支持迁移学习、联邦学习等需要端侧训练能力的高级学习形态，满足开发者各种各样的场景需求。1.5.3　调试轻松MindSpore实现看得见的AI开发、更轻松的调试体验、动静结合的开发调试模式。开发者可以只开发一套代码，通过变更一行代码，从容切换动态图／静态图调试方式。需要高频调试时，选择动态图模式，通过单算子／子图执行，方便灵活地进行开发调试。需要高效运行时，可以切换为静态图模式，对整张图进行编译执行，通过高效的图编译优化，获得高性能。MindSpore切换调试模式代码如代码1.5所示。代码1.5　MindSpore切换调试模式代码1.5.4　性能卓越MindSpore通过AI Native执行新模式，最大化发挥了“端—边—云”全场景异构算力。它还协同华为昇腾芯片On Device执行、高效AI数据格式处理、深度图优化等多维度达到极致性能，帮助开发者缩短训练时间，提升推理性能。此外，数据集、模型越来越大，单机的内存和算力无法满足需求，需要模型并行；模型手动切分门槛高，开发效率低，调试困难。MindSpore可以通过灵活的策略定义和代价模型，自动完成模型切分与调优，获取最佳效率与最优性能。MindSpore自动并行代码如代码1.6所示。代码1.6　MindSpore自动并行代码示例1.5.5　开源开放MindSpore致力于AI开发生态的繁荣，开源开放可扩展架构，助力开发者灵活扩展第三方框架、第三方芯片支持能力，让开发者实现各种定制化需求。MindSpore将在门户网站、开源社区提供更多学习资源、支持与服务。[插图](1)　参考链接：https://developer.arm.com/architectures/instruction-sets/simd-isas/neon。(2)　MindSpore端云协同框架处于开发迭代中，其支持特性以官网公布的为准。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

直播回放https://bbs.huaweicloud.com/live/cloud_live/202012161900.html内容讲解材料请参考附件实操材料课程名称链接Hive的HCatalog接口调用样例https://bbs.huaweicloud.com/forum/thread-90734-1-1.htmlHive的JDBC接口调用样例https://bbs.huaweicloud.com/forum/thread-90735-1-1.htmlHetu的JDBC接口调用样例https://bbs.huaweicloud.com/forum/thread-90737-1-1.html

DevOps开发正在成为热点与趋势，你对DevOps开发了解多少呢，快来完成测评吧~（1-15为单选，16-20为多选，每小题5分，满分100分）活动时间：12月16日-12月31日点击参与测评赢码豆-＞＞DevOps开发者测评：初级能力测评③大福利福利1：答题得60分即可获得200码豆 → 问卷提交后自动显示分数，码豆自动发放，点击会员中心查看码豆-＞＞https://devcloud.huaweicloud.com/bonususer/home/converge?from_region=undefined福利2：邀请≥5人完成测评还可再得1000码豆→提交问卷后，点击分享按钮，按照步骤提示生成专属邀请海报，邀请好友完成测评，参与者可看到邀请数据实时更新~完成问卷提交即可发起邀请，与本人测评分数无关，奖品数量有限先到先得哦~此奖项不可累计获得。（生成邀请海报步骤往下看~~~）福利3：加入DevOps职业认证训练营，专家讲师全程陪伴学习，还可打卡赢300美金考试券&码豆等大礼→想学习更多DevOps开发的理论和实操知识，加入DevOps职业认证训练营吧，持续规划与设计、持续开发与集成、持续测试与反馈、持续安全与审计、持续部署与发布、持续运维与监控等6大板块内容覆盖端到端DevOps开发全流程，还有DevOps专家全程1V1辅导，每日打卡赢积分换奖品，还还有机会获得300USD考试券哦~了解详情戳＞＞DevOps职业认证训练营↓↓↓ 添加助手小姐姐 回复“DevOps”进课程群或了解更多活动信息~会员中心入口：https://devcloud.huaweicloud.com/bonususer/home码豆奖励活动规则：1）码豆可在码豆会员中心兑换实物礼品；2）邀请好友参加的码豆奖励将于1月11日前充值到账，请到会员中心的“查看明细”中查看到账情况；3）码豆只能用于会员中心的礼品兑换，不得转让，具体规则请到会员中心阅读“码豆规则”；4）为保证码豆成功发放，如果修改过账号名还请向工作人员提供修改前后的账号名。活动规则补充说明1.若转发他人分享的专属海报，则本人无法享受邀请奖励。2.被邀请好友必须完成测评（完成测评后点击提交即可，得分多少不限制），每个华为云账号只能被邀请一次。3.本活动需要邀请人和被邀请人正常访问评测页面完成活动，使用非正常途径或手段（如写脚本等方式）获得的奖励无效，且一旦发现作弊行为，将取消对应人员的活动资格、冻结违规账号。4.最终邀请奖的获奖名单将于1月5日公布于活动帖中，奖励码豆将于1月11日前充值到账。5.任何问题反馈请添加小助手微信咨询。*活动解释权归华为云开发者社区所有。附【邀请好友方法】生成邀请链接和邀请好友参加方法如下（以下截图以另一活动为例）第一步：完成问卷填写，并提交。第二步：在问卷结束页，点击下面那个黄色按钮“邀请好友答卷 免费领取...”第三步：点击之后，会提示你需要在浏览器中打开分享页面，请点击右上角“...”按钮，选择“在浏览器打开”第四步：在浏览器中打开会显示如下页面，保存您的专属海报图片，分享出去即可，只要有朋友也答卷完成，即可获得相应的礼品和抽奖资格。后续也可以再打开此页面，查看你的邀请进度（页面最下方）。

今日共有12条快讯 理论诞生272年后，这个看似简单的数学问题终求得闭式解山羊吃草，一个很普通的场景，但或许新的数学发现就在其中。2020/12/13 12:32原文链接「九章」刷屏的背后：万字长文解析，量子计算机和电子计算机各有何优劣？量子计算机和传统电子计算机在算法方面的优劣势2020/12/13 12:19原文链接工程论文千千万，如何发现和综述新研究？这里有个利用AI技术的热门开源项目paperai 利用 AI 技术发现和综述医疗 / 科学论文。2020/12/13 12:28原文链接其他VS Code竟然能约会，找对象不看脸，看编程水平最硬核的约会软件2020-12-13 13:00:44原文链接黄道十二宫杀手密码51年后被破解，来自两位程序员与数学家通力合作65万种解密方向，8个月终破译2020-12-13 12:43:27原文链接快讯IBM-MIT 发起对象识别模型挑战赛上周五，IBM 联合 MIT 宣布在计算机视觉社区发起挑战赛，即开发实用的对象识别模型，以证明对 ObjectNet 图像的预测。挑战赛将以公开排行榜的竞赛形式进行，获胜者将于 6 月 CVPR 2021 宣布。该挑战不提供任何训练集，且测试集的标签和图像本身也完全隐藏。参与者可用的唯一信息是数据集中显示的对象类别列表。这两个限制必然要求成功的模型具有高度鲁棒性和通用性。ObjectNet 挑战赛将在本周一 12 月 14 日正式启动，欢迎世界各地研究人员参与。2020-12-14 04:35原文链接高通公司将其圣地亚哥园区打造成未来智慧城市据外媒报道，电信巨头高通公司在圣地亚哥拥有 36 座建筑物，25,000 名员工和数百英亩的土地，几乎是一座小型城市。在过去的一年中，该公司一直在为该区域的建筑物，基础设施，交通运输和安全系统推出新技术，以展示技术型智慧城市的运作方式。园区目前拥有一系列使用传感器和分析功能的系统，优化从能源使用到停车的一切需求。摄像头系统使用人工智能来改善园区和建筑物的访问并增强安全性，系统利用 HVAC 系统中的传感器来管理能耗，灯杆兼作互联网热点。2020-12-14 04:35原文链接谷歌 AI 更博：通过机器学习增强人像照明专业肖像摄影师可以使用设备（例如闪光灯和反光镜）拍摄出光影恰好的人像。为了让普罗大众也能拍出专业级别的照片，谷歌发布了Portrait Light，这是 Pixel Camera 和 Google Photos 应用程序的一项新的后期捕捉功能，该功能为人像添加了模拟定向光源，其方向性和强度设置为补充原始照片光线。该功能可重定位光源建模，该光源可添加到场景中，并自动选择初始照明方向和强度以补充照片中现有的照明。2020-12-14 04:35原文链接人工智能改善美国食品体系美国农业部发布博文，位于加州大学戴维斯分校的美国农业部农业研究局（ARS）西部人类营养研究中心（WHNRC）近日已与来自六个组织的 40 多名研究人员共同组成了一个研究所使用人工智能创建下一代食品系统。由加州大学戴维斯分校领导的团队还包括加州大学伯克利分校，康奈尔大学和伊利诺伊大学香槟分校。该项目由美国农业部国家粮食和农业研究所提供 2000 万美元的资助。该研究所的目标包括利用分子育种提高作物产量，质量和抗病性。使用 AI 应用程序和其他技术（例如感应平台和机器人技术）以减少资源使用；加强食品安全；以及开发用于消费者做出个性化健康决策的工具。2020-12-14 04:28原文链接研究显示大规模采用人工智能可以帮助巴西经济复苏据外媒报道，微软委托咨询公司 FrontierView 进行的一项新研究显示，如果公司和政府促进人工智能的大规模采用，那么未来十年巴西经济将出现高达 4.2％的增长。国内生产总值增长潜力超过四个百分点是研究中提出的最乐观的情景，其中人工智能的使用不仅限于自动化，还用于创造高技术工作，推动生产力和经济增长。根据这项研究，即使在最保守的情况下，该技术使用最少且仅用于自动化，巴西的 GDP 也会增长 1.8％。2020-12-14 04:28原文链接现代汽车证实以 11 亿美元收购波士顿动力据外媒报道，波士顿动力现在正式成为现代汽车集团的一部分。韩国企业集团现代汽车已与软银达成协议以 11 亿美元收购波士顿动力控股权（80％的股份）。软银将保留 20％的股份。至少从 11 月初开始，两家公司就一直在进行谈判，预计交易将于 2021 年 6 月完成。2020-12-14 04:26原文链接