这是一篇关于度量学习损失函数的综述。检索网络对于搜索和索引是必不可少的。深度学习利用各种排名损失来学习一个对象的嵌入 —— 来自同一类的对象的嵌入比来自不同类的对象的嵌入更接近。本文比较了各种著名的排名损失的公式和应用。深度学习的检索正式的说法为度量学习(ML)。在这个学习范式中，神经网络学习一个嵌 入—— 比如一个128维的向量。这样的嵌入量化了不同对象之间的相似性，如下图所示。学习后的嵌入可以进行搜索、最近邻检索、索引等。这个综述比较了各种损失的公式和应用。综述分为两部分。第一部分对对比损失和三元组损失进行了对比。第二部分将介绍N-pairs损失和Angular损失。.英文原文：https://ahmdtaha.medium.com/retrieval-with-deep-learning-a-ranking-loss-survey-part-2-

ModelArts 社区开发者成长路线ModelArts 快速上手ModelArts 系列课程ModelArts开发资源ModelArts：一站式AI开发平台AI 全栈计划基础篇ModelArts 官方开发文档AI 全栈计划进阶篇ModelArts 精品FAQ汇总ModelArts 快速入门文档AI 全栈计划应用篇 ModelArts 新特性及配套案例华为云 AI 实战营ModelArts-Lab GiteeModelArts 社区优质活动推荐MDG 及AI 创新沙龙《基ModelArts   OCR文字识别SQLite数据库管理》暨华为云MDG重庆站首秀 AI 创新开发者沙龙—在武大樱花下写防疫课观后感基于ModelArts的交通标志识别及其在无人车系统中的应用“如何转型搞AI”圆桌论坛高精地图3D目标检测DevRun 开发者沙龙下一代 AI：自监督 VS 有监督，谁更胜一筹？基于ModelArts与HiLens的智能塔台监控防护系统解决方案基于ModelArts与HiLens端云协同开发行人检测与跟踪方案北京老炮儿旭哥说AI：谈谈企业级AI开发平台普惠AI风口之下传统企业的转型之路AI Gallery-开发者学习·交流·实践HDC.Cloud 2020基于华为云AI平台开发口罩智能识别方案强化学习的落地实践华为诺亚方舟实验室在AutoML的技术成果分享基于ModelArts的AI应用开发调参及模型优化实践ModelArts平台上使用MindSpore实现ResNet50训练速度翻倍2020 AI 实战营2020年华为云AI实战营课程2020年华为云AI实战营活动汇总【直播回放】第1章-图像分类【直播回放】第2章-物体检测  【直播回放】第3章-图像分割  【直播回放】第5章-OCR  【直播回放】第6章-视频分析 【直播回放】第7章-NLP 【直播回放】第8章-语音识别 2020 AI 全栈计划2020年AI全栈成长计划活动汇总AI全栈成长计划-AI基础篇课程AI全栈成长计划-AI进阶篇课程AI全栈成长计划-AI应用篇课程【直播回放】零基础入门AI 零代码开发模型【直播回放】BUFF加持，ModelArts助你进阶炼丹师！【直播回放】ModelArts+HiLens   端云协同应用开发实战【直播回放】乘风破浪，一名合格AI打工人的学习之路2020 Qcon 上海王俊：MindSpore-端边云统一训练和推理的AI计算框架白小龙：ModelArts-全流程加快AI应用开发和部署夏飞：HiLens-端云协同多模态AI应用开发和实践朱声高：ModelArts Pro-在行业多模态AI开发的应用实践2020年十佳论坛帖2020年十佳博文【基于ModelArts】带你零代码开发检测口罩是否佩戴的模型医学与AI的结合（一）：如何基于ModelArts自动机器学习完成心脏病预测模型华为云“云上先锋”·AI主题赛（垃圾分类）-Top7复盘（转发自第7名获奖选手的分享）【手摸手学ModelArts】传说中的“云毕业照“，先睹为快!用ModelArts轻松玩转Python正则表达式和魔法方法难例挖掘助力ModelArts AI开发平台完成全流程闭环和大家一起讨论一下在modelarts操作中最容易遇到哪些问题ModelArts在数据标注、数据过滤上的“奇技淫巧”：自动分组ModelArts精品FAQ汇总数据风格变换：ModelArts的数据域迁移功能ModelArts开发速成，看这里！！（快速入门、进阶学习资料、开发案例、开发者活动等）【吃螃蟹的程序猿】ModelArts-AI市场算法，断点训练(Resume Training)和迁移学习(Finetuning）【每天进步一点点】基于ModelArts AI市场算法MobileNet_v2实现花卉分类，支持CPU、GPU、Ascend推理告别夏日空调，用华为云ModelArts训练AI鬼故事生成器，0成本打造降温神器【AI实战营】第五章OCR延伸学习材料【乘风破浪的开发者】华为云云享专家胡琦：快快使用ModelArts，零基础也能玩转AI！手把手教你用ModelArts基于YOLO V3算法实现物体检测Demo分享 | 当自动驾驶遇到ModelArts，ModelArts AI Gallery与HiLens Kit开发业界广泛流传一句话：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已开发教程 |基于ModelArts的视频全量目标分析和建模案例分析2020年最受欢迎活动2020年最佳版主2020华为云AI实战营运气男孩主页 | 关注人工智能全栈成长计划向云而生1024程序员节云筑2020年终盛典：云上会考AI考场AI创意案例大PKModelArts 社区 2020 全面回顾请点击查看：【ModelArts 社区】2020我们茁壮成长《攀登AI之峰》致敬每一位AI 开发者，恭祝大家牛年勇攀高峰！(点击即可播放）新年福利来啦！本帖回复你想对 ModelArts 社区想说的话（文字中需含“ModelArts社区”关键字），如：学 AI 就上 ModelArts 社区，即可参与福利活动。获奖规则：楼层的的 5%、10%、15%、20%、25%、30%......95% 即可获得ModelArts书籍盖楼数排名前20送ModelArts社区大礼包（含 ModelArts 定制版限量口罩、笔记本、卫衣、贴纸、鼠标垫、ModelArts书籍等），相同楼层按照发帖顺序，最早的获得活动规则：参与用户必须体验或访问过 ModelArts 才可参与活动：点击访问 ModelArts 成功即可，否则视为无效参与；活动时间：即日起至2月27日00:00；活动结束后5日内公布详细结果，公示期3天，公示期结束开始兑奖，一般15个工作日左右完成发放，但可能会有所延长；所有奖品都是活动结束后，统一收集并确认信息后进行发放，活动奖品颜色随机，且部分奖品数量有限发完即止；因奖品采购时间、批次产生的差异属正常情况，如奖品库存不足将进行同价位奖品调换，介意者谨慎参与活动；如发现使用他人身份恶意重复报名活动，或采取机器批量注册/虚拟手机号注册/购买账号等恶意注册行为进行违规行为，华为云AI社区有权取消相应人员的活动参与权利，并收回相关奖励；所有的获奖账号必须在领取奖品之前就完成实名认证，且实名账号必须与参与活动的账号为同一个，同一实名账号仅可参与此活动一次。本次活动所有回帖内容需满足华为云论坛发帖规范：https://bbs.huaweicloud.com/forum/thread-23077-1-1.html。ModelArts 社区祝大家新年快乐，万事如意，代码无Bug！获奖公告：（因存在有人恶意刷帖，华为云论坛自动屏蔽，导致部分楼层断层，在活动基础上新增用户排序让真实的用户也能获得奖品）楼层排序楼层比例楼层中奖楼层（四舍五入）中奖账号奖品6135%30.6531zhengguixiangModelArts书籍61310%61.361多米诺的古牌ModelArts书籍61315%91.9592#N/AModelArts书籍61320%122.6123hispchomeModelArts书籍61325%153.25153疫情快快结束ModelArts书籍61330%183.9184#N/AModelArts书籍61335%214.55215#N/AModelArts书籍61340%245.2245#N/AModelArts书籍61345%275.85276#N/AModelArts书籍61350%306.5307#N/AModelArts书籍61355%337.15337#N/AModelArts书籍61360%367.8368#N/AModelArts书籍61365%398.45398#N/AModelArts书籍61370%429.1429#N/AModelArts书籍61375%459.75460#N/AModelArts书籍61380%490.4490#N/AModelArts书籍61385%521.05521麻衣ModelArts书籍61390%551.7552精彩无限ModelArts书籍61395%582.35582精彩无限重复 顺延下一位tzywwModelArts书籍用户排序正常通过审核用户数比例楼层（四舍五入）中奖楼层中奖账号奖品775%3.854离人上千秋ModelArts书籍7710%7.78加油O幸福ModelArts书籍7715%11.5512HW-QGSModelArts书籍7720%15.415拓佑ModelArts书籍7725%19.2519胡琦ModelArts书籍7730%23.123沈云ModelArts书籍7735%26.9527zhengyong134ModelArts书籍7740%30.831zgx1636964790ModelArts书籍7745%34.6535Hello DiggerModelArts书籍7750%38.539倪平宇ModelArts书籍7755%42.3542元气满满的少女月ModelArts书籍7760%46.246多米诺的古牌ModelArts书籍7765%50.0550云宝的小hModelArts书籍7770%53.954十年树木ModelArts书籍7775%57.7558listen2youModelArts书籍7780%61.662gudengModelArts书籍7785%65.4565夏暖ModelArts书籍7790%69.369麻衣ModelArts书籍7795%73.1573wcrw129ModelArts书籍大礼包用户（盖楼用户较少，只有两名用户参与）25张辉大礼包2RabbitCloud大礼包请上面获奖用户在2021年3月11日24点前反馈问卷，邮寄时间问卷截止后一周。问卷地址：https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=03ac5527840047a3a5a03d22d18cea22

直播回放https://bbs.huaweicloud.com/live/cloud_live/202101281900.html 内容讲解材料请参考附件实操材料课程名称链接使用java命令提交spark任务样例https://bbs.huaweicloud.com/forum/thread-90792-1-1.htmlSpark读写HBase样例https://bbs.huaweicloud.com/forum/thread-90827-1-1.htmlSpark-submit提交SparkSQL样例https://bbs.huaweicloud.com/forum/thread-90877-1-1.htmlSparkStreaming读取Kafka写入HBase样例https://bbs.huaweicloud.com/forum/thread-90888-1-1.html

第1章中介绍了梯度下降算法训练回归模型，神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数，那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播（Backward Propagation）算法，使得计算梯度更加有效率。在介绍反向传播之前，先来介绍一下链式法则。假设有两个函数y=g（x）和z=h（y），那么z对x的求导过程如下：假设有三个函数x=g（s）、y=h（s）和z=k（x，y），z对s的求导过程如下：神经网络的梯度计算，就是依赖链式法则一层层反向传播的。如图3.4所示的前向神经网络，输入层有n个属性x1，x2，…，xn，中间隐藏层有p个神经元，第j个神经元为hj，j∈（0，p-1）。输出层为q维。对隐藏层的每一个神经元hj，先经过一个线性变换，公式如下：式中，wj0——偏置值；wj1，wj2，…，wjn——作用在属性x1，x2，…，xn上的权重。[插图]输入给神经元后，经过激活函数的作用得到[插图]。第二层同理有神经元输入：输出。以上为前向神经网络的前向传播（ForwardPropagation）过程。对单个数据样本（x，y），假设损失函数为均方差，则对第k个输出项的损失为：通过链式法则，损失函数对权重vkj的梯度为：式中，第一项第三项而对于第二项，假设激活函数为sigmoid函数，则梯度有一个很好的性质，即：三项相乘可以得到：由于真实标签yk由数据给定，而输出值[插图]与hj均由前向传播算法计算得到，则可以轻易地计算得到每个中间层权重vkj，并且该计算过程可以并行进行。类似地，可以得到损失值在隐藏单元hj上的累积梯度为同理，可以通过链式法则，得到损失函数对第一层权重wji的梯度为（假设隐藏层激活函数为ReLU函数）：在上一步计算得到后，也可以高效并行地计算出。在上述过程中，假设了损失函数是均方差，激活函数为sigmoid和ReLU，其实这样的计算法则对任意可微的损失函数和激活函数都是有效的。从计算过程来看，在前向传播得到隐藏层与输出层数值后，先从损失函数算起，接着从顶层逐渐计算梯度，将梯度逐层往输入层传播。这与前向传播的顺序是相反的，也是该算法为什么被称为反向传播的原因。反向传播（见图3.5）得到所有参数的梯度之后，可以利用梯度下降算法对参数进行更新迭代，从而达到训练神经网络的目的。神经网络训练过程如算法3.1所示。输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:训练完成的神经网络(1) 初始化网络参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机无放回选取b个样本mb(4) 前向传播逐层计算隐藏层的参数值,得到样本输出(5) 根据损失函数计算误差,得到输出层梯度(6) 反向逐层计算隐藏层梯度(7) 计算连接参数梯度并更新参数                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

在机器学习中，过拟合（Overfitting）与欠拟合（Underfitting）都是指模型选择不能够很好地拟合数据本身，即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数，为了拟合尽可能多的数据，甚至包括一些错误的样本，这些参数会因过度拟合数据而产生一些噪声。而欠拟合与之相反，其原因是选择的参数或模型不够复杂，例如用线性模型去拟合非线性结构，显然是欠拟合的。图2.7表示了在分类问题中出现的过拟合与欠拟合问题。对于这样的非线性模型，如果采用图2.7（a）的线性模型，显然无法去拟合非线性的分界线，这种情况为欠拟合，模型将无法得到很好的预测效果。而为了拟合尽可能多的数据，可能选择了图2.7（c）中曲线所示的复杂模型，尽管这样的模型将数据100%地区分开了，但并没有很好地拟合数据特征，对于一个新来的测试点，这个过拟合的模型很可能出现区分错误，这样的模型叫作过拟合。而图2.7（b）中的曲线则为一个更好的模型，具有更好的泛化能力。如图2.8所示的回归问题，如果用浅色的多项式曲线去拟合，尽管可以完美拟合所有数据点，但失去了数据本身的特性，并且无法很好地得到泛化。例如左侧第一和第二个点之间任意一个未知数据点，预测值将会非常大，导致很大的偏差。相反，深色的线性模型反映了数据本身的变化趋势，在预测新的数据点时，可以达到更高的准确度。在上述问题中，从图形的角度理解了过拟合和欠拟合的概念，下面将从数据的角度解释这两个概念。在一个机器学习问题中，数据包含训练数据（Training Data）和测试数据（Testing Data），模型需要在训练数据上选择与训练，而测试数据对于模型是不可见的，对于一个欠拟合的模型，在训练数据上效果就会很差，这个很容易鉴别，那怎么知道模型是否过拟合呢？采用的做法是，在训练数据中抽出一部分样本，构成一个验证数据（Validation Data），假设验证数据的分布和训练数据、测试数据相似，可以通过验证数据上的表现来判定模型是否过拟合。图2.9的横坐标为模型复杂度，纵坐标为误差值，下方曲线表示训练数据上的误差，而上方曲线表示验证数据上的误差。可以清楚地观察到，当模型复杂度增加时，训练数据上的误差逐渐变小，因为复杂的模型更容易拟合数据。然而验证数据上的误差是先降后升的，这是因为模型从欠拟合逐渐过渡到过拟合阶段。验证数据的作用就是帮助选择虚线处的模型，它可以最好地拟合数据本身，从而期望达到更好的泛化效果——算法对新鲜样本（测试数据）有更好的适应能力。第4章将介绍增强模型泛化能力来防止过拟合的一些方法，控制模型复杂度，可以缓解过拟合，学习到隐藏在数据背后的规律。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

与回归问题不同的是，分类问题的输出不再是连续值，而是离散值，即样本的类别。分类问题在现实中的应用非常广泛，例如区分图片上的猫和狗、手写数字识别、垃圾邮件分类、人脸识别等。分类问题有二分类（“是”或“不是”）和多分类（多个类别中判别哪一类），而所有的多分类问题都可以转换成多个二分类问题，例如在分类动物的时候，可以逐步对猫、狗等每种动物都进行“是”或“不是”的判别，从而实现多分类的目标。本节主要以二分类问题来讨论。首先思考一个问题：能不能用回归问题的解法求解分类问题呢？答案是可以的。分类问题与普通回归问题最主要的区别在于要拟合的不是直线或曲线，而是一系列离散值。2.1节中提到的逻辑回归就可以很好地拟合线性二分类问题。逻辑回归基于如图2.4所示的逻辑函数（Logistic Function，又称为对数概率函数），即：式中，e（.）——指数函数。对于任意给定的输入值x，逻辑函数将其映射到范围为0~1的一个数值。当x>0时，输出值更接近1；当x<0时，输出值更接近0；x=0时为拐点，拥有最大斜率值。逻辑函数的输出值，通常被看作输出为1的概率。此外，逻辑函数的一个重要的性质在于，它是一个单调可微的函数，保证了可以使用梯度下降算法来训练模型。对于给定样本属性x，假设标签y∈{0，1}，预测值[插图]，这里[插图]。对于分类问题，若z（x）>0，则预测值为1；若z（x）<0，则预测值为0。这样就可以将预测值z（x）代入逻辑函数，得到：从概率的角度来讲，可以把分类概率表达为，同样的，对于给定数据集，在线性回归问题中，优化目标是最小化均方差，而在逻辑回归模型中，优化目标是最大化似然函数L，其计算公式为：然而当样本数过大时，由于计算机浮点数的特性，很容易导致数值溢出，同时就计算梯度而言，连续加和的形式要比连续相乘容易。因此在实际应用中，往往对多个连续相乘项取对数处理，即使用如下公式的对数似然函数：现在就可以用2.2节中介绍的梯度下降算法，以最小化损失函数来训练参数w，即：这个损失函数又被称为交叉熵函数（Cross Entropy）。当y（i）的值分别为1或0时，单个样本上的损失函数J（x（i），y（i），w）分别对应式（2.21）的左或右部分。如图2.5所示，当y（i）=0时，如果h（x（i））越趋近于0，则损失函数值越小，同时斜率也越缓和；当y（i）=1时，则相反。逻辑函数对于分类错误的样本，将会产生更大的惩罚值和更大的梯度。逻辑回归模型从回归概率的角度定义了线性二分类问题。图2.6（a）给出了线性分类器的图形表示，深色样本为y=0，浅色样本为y=1，而中间的曲线为训练得到的线性分类边界z（x）=wTx=0。当z（x）<0，即点在分界线的上方时，预测值为0，反之预测值为1。线性分类器具有很好的可解释性，然而如图2.6（b）所示的非线性分类器，实际中样本的分界线往往不是线性的。这个时候需要定义不同的参数模型，如多项式模型、支持向量机、神经网络（Neural Network）模型等，学习复杂的非线性的分类器。但值得注意的是，同样可以把非线性分类问题拆分为两部分：（1）通过特征函数将样本映射到线性空间。（2）利用线性分类模型学习最终分类边界。第3章将介绍如何利用逻辑回归模型来训练神经网络。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

梯度下降（Gradient Descent）算法是一个一阶最优化算法，通常也称为最速下降算法。为了找到一个损失函数（或目标函数）的局部最小值，必须向函数前点对应梯度（或者近似梯度）的反方向移动适当的距离，从而实现迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部最大值点，这个相反的过程被称为梯度上升算法。本节以梯度下降算法为例进行探讨。梯度下降算法基于以下观察：如果实数函数J（w）在w处可微且有定义，那么函数J（w）在w点沿着梯度相反的方向-▽J（w）下降最快。如图2.2所示，沿中间路线的梯度的相反方向下山，要远比左侧和右侧路线所走的路程要短。基于此，梯度下降算法的思想包括以下部分。（1）选定一个初始点w0。（2）沿梯度反方向逐步更新参数，即wt=wt-1-α▽J（wt-1）直至收敛。这里α>0，α为步长（Step Size），又称为学习率（Learning Rate），它的值可以在训练之前设为定值，也可以根据训练情况调整。基于梯度的定义，对于足够小的α值，有J（wt）≤J（wt-1）。那么从w0出发，如果给定合适的步长，会逐步得到更小的损失函数J（w0）≥J（w1）≥J（w2）≥…。如果顺利，序列wt将逐渐收敛到损失函数的极小值，这一过程如图2.3所示。假设损失函数J定义在平面上，并且函数图像类似于一个碗形容器。椭圆形的曲线代表等高线，即函数J为常数的集合构成的曲线，越往中间值越小。任意选择一个初始点w0，箭头指向该点梯度的反方向（梯度方向与该点为等高线垂直），逐步沿着梯度下降方向更新参数w，将最终到达碗底，即函数J的极小值点。2.1节把求解线性回归问题转换为求最小化损失函数J（w）问题，那么就可以用梯度下降算法来求解。对于一组给定的数据集{（x（i），y（i））}，根据x的属性个数定义参数w，线性方程h（x（i））与损失函数的关系如下：随机选取一个初始点w0及合适的步长α，计算梯度公式为：式中，，在原属性向量上添加了一个常数1的维度，用于更新偏置参数w0。基于梯度▽J（w），可以逐步更新wt，通过wt=wt-1-α▽J（wt-1）得到最优的参数值。梯度下降算法不仅用于线性回归，机器学习中很多问题都可以通过梯度下降算法最小化损失函数来解决。梯度下降算法又称批量梯度下降（Batch Gradient Descent）算法，这里的批量是指用到了所有的训练样本个数m。在实际问题中，往往有相当多的样本数，例如一个学校的学生人数、银行里的客户数目、硬盘里的图片等。尤其对于复杂的学习模型，如深度神经网络，其参数本身就很庞大，如果每次计算梯度都用到所有的数据样本，那么计算量将是相当大的，甚至是不可计算的。事实上可以将该算法想象成一个随机的过程，也就是每次仅随机抽取一个点，在期望上与所有点加起来的平均大体相似。这样就可以用单个点的梯度代替平均的梯度，该单个点的梯度叫随机的梯度，整体的梯度可以看成是随机梯度的期望值。基于随机梯度下降的线性规划问题迭代算法涉及公式如下：式中，x（i）——第t次迭代时，从m个数据样本中随机采样到的样本。由于每次更新只用到一个样本，而不用遍历所有数据集，迭代速度就会很快，但是迭代次数以及收敛的极小值可能不是最优的，因为随机采样的偏差会导致每次选取的梯度方向不一定是最优的。在实际应用中，使用更广泛的是一种被称为小批量（Mini-batch）梯度下降的算法，这是介于批量梯度下降算法和随机梯度下降算法之间的折中算法。每次随机选取样本数量为b（b<m）的小批量样本。这样一方面节省了计算整个批量的时间，同时用小批量计算的梯度方向也会比基于一个样本的随机梯度方向更加准确。小批量梯度下降算法如算法2.1所示。算法2.1　小批量梯度下降算法输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:收敛的参数wT(1) 初始化参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机选取b个样本(4) 计算梯度并更新参数:算法2.1概括了小批量梯度下降算法的主要流程，其中mb为从m个样本中随机采样的b个样本的索引集合，Ji（w）为第i个样本上的损失函数。步长的选择、收敛的条件等问题将在以后部分介绍。                                                                                                                                                                                                        本文转载自华为云社区 作者:HWCloudAI

（请严格按照回复示例进行回复，格式不对会影响获奖哦~）（回复格式：华为云ID+截图）为了巩固大家的学习成果，紧跟学习进度请将需要完成的每章随堂测验内容按要求回复到本帖下方还能有机会获得附加幸运奖哦~打卡时间2020.12.23-2021.01.06 23:59打卡要求在本帖中，回复对应章节的随堂测验并提交截图 ↓                                              回复格式：华为云ID+课程完成截图，如图所示↓↓↓华为云ID：grandmaster奖励方式在本阶段内提交随堂测验的用户中随机抽取5位幸运奖奖励华为云定制三和一数据线 活动注意事项 由于本帖回复内容为随堂测试结果，已设置回帖仅版主可见想了解更多关于全栈成长计划课程内容请移步主帖：https://bbs.huaweicloud.com/forum/thread-96671-1-1.html

《零基础WEB全栈学习训练营》第二阶段已结束感谢大家的积极参与和支持（因参加课程的学生数量及打卡人数未达到开奖要求，取消第二阶段结业考试以及奖励，只发作业得分总排名前三名的奖励）课程相关内容- 课程观看入口：   点此查看课程课程为录播，现在报名还可观看相关内容- 课程大纲：   点此查看课程大纲-第二阶段直播回看链接：1.8月13日【大厂前端经典面试题解析】直播回放地址：https://bbs.huaweicloud.com/videos/103100学习打卡任务内容及奖励安排课程表奖品如下：各学习任务打卡1.随堂测验打卡贴：【零基础WEB全栈学习训练营】第二阶段·每章随堂测验打卡帖2.最终考核打卡帖：【零基础WEB全栈学习训练营】第二阶段•最终考核打卡帖《零基础WEB全栈学习训练营》第一阶段回看链接：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=86105其他学习与活动内容1.【零基础WEB全栈学习训练营】学习情况调查问卷，和版主反馈下你的态度？发发牢骚？学习调查问卷点这里点这里点这里

直播回放https://bbs.huaweicloud.com/live/cloud_live/202012241900.html内容讲解材料请参考附件实操材料课程名称链接HBase通用API使用样例https://bbs.huaweicloud.com/forum/thread-90741-1-1.htmlHBase Rest接口调用样例https://bbs.huaweicloud.com/forum/thread-90746-1-1.htmlHBase thrift接口调用样例https://bbs.huaweicloud.com/forum/thread-90749-1-1.html

机器学习服务可以做什么？

排列语言模型尽管 MLM 任务在预训练中被广泛使用，但 Yang 等人认为，当模型被用于下游任务时，MLM 的预训练过程中使用的一些特殊词例（如[MASK]）并不存在。这导致了预训练和调优阶段之间存在差异性。为了克服这个问题，研究人员提出用 PLM 作为预训练目标来替代 MLM。简而言之，PLM 是一种在输入序列的随机排列上进行的语言建模任务。每种排列（permutation）是从所有可能的排列中随机抽取得来的。然后，我们将序列的排列中的一些词例选取为目标，并训练模型根据其它的词例以及目标的自然位置，来预测目标词例。注意，这种排列并不影响序列的自然位置，只定义词例预测的顺序。实际上，由于收敛较慢，我们只能预测排列后的序列中的最后几个词例。针对面向目标的表征，研究人员还引入了双流自注意力机制

人工智能具有悠久的历史，可以追溯到20世纪50年代。早期人工智能的发展极其缓慢，其主要原因在于各领域对人工智能具有领域内独特的定义和理解，所研究的内容和方法也相对独立，缺乏技术和信息层面的交流和共享。在1956年夏季的达特茅斯人工智能研究会上，约翰·麦卡锡等人首次将不同领域中出现的“类人计算”“机器智能”等描述进行了统一，正式提出了“人工智能”这一术语，明确了人工智能的首要使命，即运用算法构建动态计算环境来模拟人类智能，从而奠定了人工智能发展的基础。在接下来的20年间，人工智能在语音处理和问题求解等方面均取得了不俗的表现。其中，较为成功的人工智能案例是“通用解题机”和“LISP人工智能语音”。尽管如此，早期的人工智能技术仍存在很大的局限性，只能处理一些简单的问题，在实际应用中的表现不尽如人意。另一方面，代表神经网络先进成果的感知机理论也一度受到了强烈抨击，导致了第一波人工智能热潮的迅速降温，包括政府在内的各路投资者对人工智能项目的资助相继停止，从而使人工智能进入了第一轮寒冬。这波低潮一直持续到20世纪80年代末，专家系统作为人工智能领域一项极具商业价值的研究应运而生，解锁了人工智能的第一轮寒冬。受符号主义的影响，专家系统的研究者希望让机器像人类一样进行逻辑推理，进而模仿人的认知过程，这也促使了很多面向逻辑演算的编程语言的诞生，如Prolog。不幸的是，这一波热潮未能持续很久。因为专家系统需要昂贵的计算平台，随着个人计算机性能的不断提升，专家系统逐渐被价格低廉的个人计算机所取代。最终，人工智能硬件市场急剧萎缩，人工智能也进入了第二轮寒冬。从20世纪90年代中期开始，遵循摩尔定律，计算机的运算能力呈指数级增长，各种机器学习算法得以快速验证、训练和应用，直接引发了人工智能的复兴。在该阶段，支持向量机（Support Vector Machine，SVM）、Boosting、KernelMethod等机器学习方法在手写数字识别、股票预测、情感分类、点击率预测等实际应用中取得了优异的表现。1997年由IBM公司制造的深蓝（Deep Blue）计算机系统战胜了当时的国际象棋世界冠军卡斯帕罗夫，引起了社会各界对人工智能的高度关注，重燃了人们对人工智能的信心。自此，人工智能的新一波热潮逐步席卷了全球。在本轮人工智能热潮中，最具价值也最具影响力的一项研究当属深度学习。作为机器学习的代表性方法，深度学习以人工神经网络为基本框架，在数据表征、特征提取、特征交互等多个方面取得了颠覆性的成果。深度学习得益于大数据的不断积累和计算机的飞速发展，其中，海量数据解决了神经网络训练的过拟合问题，而高性能的硬件设备让模型训练成为可能。近年来，随着深度学习研究的不断深入，我们目睹了Google AlphaGo成功击败人类世界围棋冠军，以及包括无人车在内的各项智能技术的蓬勃发展，仿佛再一次看到人工智能赶超人类的希望。总而言之，人工智能正在逐步改变人类的日常生活模式，并凭借其惊人的效果和迅猛的发展势头，广泛融入各个行业的实际应用中，涉及计算机视觉、自然语言理解、语音识别、智能游戏等多个领域。深度学习，作为人工智能的一项崭新技术，从海量数据中汲取知识，并与外界环境进行互动，通过反馈学习交互策略，无论在理论方法上还是现实应用中，都取得了颠覆性的成果。接下来，将聚焦深度学习，探讨深度学习的定义和现实应用。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

回归问题算法通常是利用一系列属性来预测一个值，预测的值是连续的。例如给出一套房子的一些特征数据，如面积、卧室数等来预测房价，利用最近一周的气温变化和卫星云图来预测未来的气温情况等。如果一套房子实际价格为500万元，通过回归分析的预测值为499万元，则认为这是一个比较好的回归分析。在机器学习问题中，常见的回归分析有线性回归（Linear Regression）、多项式回归（Polynomial Regression）、逻辑回归（Logistic Regression）等。本节重点介绍线性回归算法，逻辑回归将在2.3节重点阐述。线性回归是一个很简单的回归算法，使用它可以快速地了解很多关于深度学习的基础知识。首先看一个只有一个特征值的线性回归问题，给定数据如表2.1所示。这些给定的数据也叫作数据集（Dataset），把每组数据记作（x（i），y（i）），一共有m组数据。目标就是给出一个模型，根据新给定的x值预测y的值。对于线性回归，使用的模型是一个线性函数，公式如下：式中，w0，w1——最终需要训练得到的参数。式中，w0，w1——最终需要训练得到的参数。这个模型也叫作假设（Hypothesis），线性回归的目标就是找到一组最优的w0和w1，使假设贴近表2.1中的数据集。如图2.1所示，希望训练得到的w0和w1能够尽可能拟合所给定的数据集。图2.1　线性回归模型那么如何得到最优的w0和w1呢？将训练的目标转换为最小化下面的函数：这个需要被最小化的函数就叫作损失函数（Loss Function），损失函数类型可以有很多种，上面用的这种叫作均方误差（Mean Square Error），常用于解决回归问题，此外交叉熵误差（Cross Entropy Loss）函数常被用于解决分类问题，即：可以看到，最终的优化目标就是最小化预测值h（x（i））与训练数据中实际的标签y（i）的误差。在上述情景中，为了便于理解，输入数据x只有一条属性，实际应用中往往会涉及n个属性（n≥1），此时需要训练得到n+1个参数w，w=[w0，w1，…，wn]，其中w0为偏置（Bias），wi（i=1，2，…，n）为第i条属性的权重（weight）。综上，可以把回归问题统一表示为以下形式：（1）数据集（2）参数（3）假设（4）损失函数为方便表达，把数据集表示为一个m×（n+1）的矩阵X，其中每一行的第一个元素恒为1，其后为x（i）的n个属性，即：同时，把目标值也记为向量形式y=（y（1）；y（2）；…；y（m）），则线性回归问题可以表示为：                                                                                                                                本文转载自华为云社区 作者:HWCloudAI

1.5.2　端云协同MindSpore依托华为“端—边—云”的业务场景，在隐私保护日渐重要的情况下，致力于支持全场景部署，并打通云到端全流程。MindSpore针对全场景提供一致的开发和部署能力，以及按需协同能力，让开发者能够实现AI应用在云、边缘和手机上快速部署，全场景互联互通，实现更好的资源利用和隐私保护，创造更加丰富的AI应用。学术界和工业界没有对端云协同做系统的概念定义，一般认为涉及云和端交互的学习形态，即是端云协同系统。模型压缩、端侧推理、端侧训练、迁移学习、联邦学习等技术在端侧的应用都可以划分到端云协同的范畴。这些涉及在云侧构建、预训练或托管模型，在端侧执行或训练模型，以及云和端之间模型或权重的传输。在端侧推理场景中，对云侧模型进行模型压缩并转换为端侧推理模型，使用端侧推理框架加载模型并对本地数据进行推理。但云侧预训练模型使用的数据集和端侧真实的数据存在差异，为了利用端侧真实数据训练模型，带来精准的个性化体验，端侧训练成为必然。由于端侧设备在算力、电量和数据量方面的限制，从头训练一个模型不切实际，因此迁移学习技术被用在了端侧学习中，可以大幅度降低端侧训练的难度。为了充分利用端侧数据和端侧训练能力，一些端云联合学习方法和框架被提出来，旨在联合多个端侧设备共同训练一个全局模型，并实现端侧隐私保护。Google率先于2016年提出了联邦学习方法和框架。杨强等又提出了横向联邦学习、纵向联邦学习、联邦迁移学习以及联邦强化学习等方法及对应的框架。端侧推理、迁移学习和联邦学习属于端云协同的不同阶段，如图1.3所示的MindSpore端云协同框架融合了这三种形态并打通了云到端全流程。MindSpore端云协同框架整合了MindSpore云侧框架、MindSpore端侧框架，并打通了模型生成、模型压缩、编译优化和端侧学习的全流程。MindSpore提供神经架构搜索（Neural Architecture Search，NAS）能力用于自动化生成模型，构建模型库。MindSpore模型压缩模块用于对模型库中的模型进行剪枝和量化。MindSpore提供了编译优化能力用于转换和优化模型，并通过神经处理单元（Neural-network Processing Unit，NPU）、图形处理单元（GraphicsProcessing Unit，GPU）或ARM NEON(1)等加速算子执行。MindSpore端云协同框架具有如下多种特性(2)。（1）快速多处部署。实际场景中，模型需要快速适配不同机型硬件。通过神经架构搜索技术构建多元化的模型库，适配多种机型。针对特定应用场景，从模型库中搜索满足性能约束的模型，拿来即用，无须重复训练。（2）全栈性能优化。结合神经架构搜索、模型压缩（剪枝、蒸馏、量化）、编译优化（算子融合、常量折叠、硬件加速）等手段优化模型精度、大小、时延，追求极致性能。（3）灵活易用。支持多种策略，如模型生成、模型压缩和编译优化组合使用。打通云到端全流程，集中管理全流程策略和配置，方便使用。（4）多种学习形态。MindSpore端云框架逐步支持多种学习形态，比如支持当前业界常用的端侧推理形态，并逐步支持迁移学习、联邦学习等需要端侧训练能力的高级学习形态，满足开发者各种各样的场景需求。1.5.3　调试轻松MindSpore实现看得见的AI开发、更轻松的调试体验、动静结合的开发调试模式。开发者可以只开发一套代码，通过变更一行代码，从容切换动态图／静态图调试方式。需要高频调试时，选择动态图模式，通过单算子／子图执行，方便灵活地进行开发调试。需要高效运行时，可以切换为静态图模式，对整张图进行编译执行，通过高效的图编译优化，获得高性能。MindSpore切换调试模式代码如代码1.5所示。代码1.5　MindSpore切换调试模式代码1.5.4　性能卓越MindSpore通过AI Native执行新模式，最大化发挥了“端—边—云”全场景异构算力。它还协同华为昇腾芯片On Device执行、高效AI数据格式处理、深度图优化等多维度达到极致性能，帮助开发者缩短训练时间，提升推理性能。此外，数据集、模型越来越大，单机的内存和算力无法满足需求，需要模型并行；模型手动切分门槛高，开发效率低，调试困难。MindSpore可以通过灵活的策略定义和代价模型，自动完成模型切分与调优，获取最佳效率与最优性能。MindSpore自动并行代码如代码1.6所示。代码1.6　MindSpore自动并行代码示例1.5.5　开源开放MindSpore致力于AI开发生态的繁荣，开源开放可扩展架构，助力开发者灵活扩展第三方框架、第三方芯片支持能力，让开发者实现各种定制化需求。MindSpore将在门户网站、开源社区提供更多学习资源、支持与服务。[插图](1)　参考链接：https://developer.arm.com/architectures/instruction-sets/simd-isas/neon。(2)　MindSpore端云协同框架处于开发迭代中，其支持特性以官网公布的为准。                                                                                                                                本文转载自华为云社区 作者:HWCloudAI