-
分享回顾(PPT文末自取)听完了张老师精彩的十五分钟分享,大家交流的热情足以温暖整个平安夜(温暖我们的明明是知识,是知识啊~)深度学习是什么,从近些年来的相关技术成果和报道中,我们觉得它是敏锐的“观察家”?杰出的“画家”?高超的“棋手”?还是游戏“高手”?是不是从某种程度上来说,深度学习已经无所不能了?看到这,你是激动地无以复加,还是为此而恐慌得毛骨悚然?其实也大可不必,深度学习现如今的发展也并不如我们想象得那么快。这一次分享,张铄老师以假性样本为基点,从两个角度带我们去分析深度学习目前的一个发展:(1)差异较大的不同类样本会不会被识别为同一类?(2)无明显差异的两个样本会不会被识别为不同类?并以此制作假房颤样本,通过识别心电图中真实的房颤样本与假房颤样本的结果,印证了,在深度网络同一类中仍然存在大量差异巨大的不属于此类的假性样本,同时在深度网络中一个及其微小的扰动就能使得输出结果大不相同。故而论证,在样本层面,深度学习学到的样本分布与真实的样本分布其实是交集的关系,它并非那样的精准无差。基于这样的一个结果,我们进一步对深度学习生成对抗攻击,发现其漏洞百出,甚至是真实的世界中也存在着一些天然的对抗样本,比如站台的站牌和海龟(感兴趣的小伙伴可以试一试~)。这也就意味着其实深度学习并不如我们想象得那样“强”,还有很多的难关要克服,很长的一段路要走。最后,深度学习虽然已经在各领域取得比较不错的效果,但其结果中仍存在着大量明显错误的“假性样本”,并且“黑箱机制”限制了其结果的可解释性,在各方面都存在亟待解决的缺陷,并非低门槛的“万能方法”,希望同学们在使用时不要仅仅会“调包训练”,而是真正弄懂背后的本质并使用相关的训练手段改善具体问题。遗留问题解答问题一:谷歌曾经说,现在的数据可能已经教会了AI,甚至让它出口成脏,您怎么看?张老师:可以这样理解,数据是深度学习的天花板,而深度学习算法的优劣只是在逼近这个天花板而已。所以数据的好坏确实对深度学习效果有着重大影响,在研究深度学习时一定要对数据处理加以重视,一般来说对数据进行预处理如进行数据清洗应该会有比之前更好的效果。问题二:有没有关于生成对抗的当前进展的综述论文?张老师:生成对抗相关的网络目前仍然是热点领域,每年的顶会都会有大量的新的GAN出来,非常多,推荐Github上有一个GAN-ZOO,上面集合了大量GAN的相关工作,有兴趣可以去了解一下。问题三:有没有深度学习的学习路径建议?张老师:个人认为深度学习的学习路线是:模式识别为基础--统计学习--深度学习,一定要重视基础,把每一步都踩实了,会有质变的。更多内容,请持续关注云享MindTalks活动,记得加小助手微信哦~扫码进微信群,仅限200人开始时间12月24日 20:00活动介绍云享MindTalks是由华为云DevCloud团队携手云享专家共同策划进行的系列技术交流活动。各业界大咖纷纷现身群聊,以即时对话形式,来进行最直接的技术交流和思想碰撞。不同领域的专家,各样的业界话题尽在此处,为保证极简极高效,活动仅20分钟,限量200人,先进先得。你是否会为AI的迅猛发展而战栗?是否以为深度学习已经无所不能?事实上,深度学习就像个傻瓜!可能一副墨镜就能让其崩溃这一次,张老师带队进行诱导AI行动你,不来吗? 专家介绍东南大学生物工程专业博士Huawei Developer Experts华为云享专家华为校园开发者华为开发者学院注册讲师活动规则1.扫码加小助手入群聊,仅限200人,先到先得。2.对未能及时回复的问题,由助手收集集中回答。3.更多资源和活动请进入云享MindTalks VIP群。4.抽奖奖品为限定HE2E知识卡牌和老师推荐书籍 《机器学习》。
-
在机器学习中,过拟合(Overfitting)与欠拟合(Underfitting)都是指模型选择不能够很好地拟合数据本身,即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数,为了拟合尽可能多的数据,甚至包括一些错误的样本,这些参数会因过度拟合数据而产生一些噪声。而欠拟合与之相反,其原因是选择的参数或模型不够复杂,例如用线性模型去拟合非线性结构,显然是欠拟合的。图2.7表示了在分类问题中出现的过拟合与欠拟合问题。对于这样的非线性模型,如果采用图2.7(a)的线性模型,显然无法去拟合非线性的分界线,这种情况为欠拟合,模型将无法得到很好的预测效果。而为了拟合尽可能多的数据,可能选择了图2.7(c)中曲线所示的复杂模型,尽管这样的模型将数据100%地区分开了,但并没有很好地拟合数据特征,对于一个新来的测试点,这个过拟合的模型很可能出现区分错误,这样的模型叫作过拟合。而图2.7(b)中的曲线则为一个更好的模型,具有更好的泛化能力。如图2.8所示的回归问题,如果用浅色的多项式曲线去拟合,尽管可以完美拟合所有数据点,但失去了数据本身的特性,并且无法很好地得到泛化。例如左侧第一和第二个点之间任意一个未知数据点,预测值将会非常大,导致很大的偏差。相反,深色的线性模型反映了数据本身的变化趋势,在预测新的数据点时,可以达到更高的准确度。在上述问题中,从图形的角度理解了过拟合和欠拟合的概念,下面将从数据的角度解释这两个概念。在一个机器学习问题中,数据包含训练数据(Training Data)和测试数据(Testing Data),模型需要在训练数据上选择与训练,而测试数据对于模型是不可见的,对于一个欠拟合的模型,在训练数据上效果就会很差,这个很容易鉴别,那怎么知道模型是否过拟合呢?采用的做法是,在训练数据中抽出一部分样本,构成一个验证数据(Validation Data),假设验证数据的分布和训练数据、测试数据相似,可以通过验证数据上的表现来判定模型是否过拟合。图2.9的横坐标为模型复杂度,纵坐标为误差值,下方曲线表示训练数据上的误差,而上方曲线表示验证数据上的误差。可以清楚地观察到,当模型复杂度增加时,训练数据上的误差逐渐变小,因为复杂的模型更容易拟合数据。然而验证数据上的误差是先降后升的,这是因为模型从欠拟合逐渐过渡到过拟合阶段。验证数据的作用就是帮助选择虚线处的模型,它可以最好地拟合数据本身,从而期望达到更好的泛化效果——算法对新鲜样本(测试数据)有更好的适应能力。第4章将介绍增强模型泛化能力来防止过拟合的一些方法,控制模型复杂度,可以缓解过拟合,学习到隐藏在数据背后的规律。 本文转载自华为云社区 作者:HWCloudAI
-
与回归问题不同的是,分类问题的输出不再是连续值,而是离散值,即样本的类别。分类问题在现实中的应用非常广泛,例如区分图片上的猫和狗、手写数字识别、垃圾邮件分类、人脸识别等。分类问题有二分类(“是”或“不是”)和多分类(多个类别中判别哪一类),而所有的多分类问题都可以转换成多个二分类问题,例如在分类动物的时候,可以逐步对猫、狗等每种动物都进行“是”或“不是”的判别,从而实现多分类的目标。本节主要以二分类问题来讨论。首先思考一个问题:能不能用回归问题的解法求解分类问题呢?答案是可以的。分类问题与普通回归问题最主要的区别在于要拟合的不是直线或曲线,而是一系列离散值。2.1节中提到的逻辑回归就可以很好地拟合线性二分类问题。逻辑回归基于如图2.4所示的逻辑函数(Logistic Function,又称为对数概率函数),即:式中,e(.)——指数函数。对于任意给定的输入值x,逻辑函数将其映射到范围为0~1的一个数值。当x>0时,输出值更接近1;当x<0时,输出值更接近0;x=0时为拐点,拥有最大斜率值。逻辑函数的输出值,通常被看作输出为1的概率。此外,逻辑函数的一个重要的性质在于,它是一个单调可微的函数,保证了可以使用梯度下降算法来训练模型。对于给定样本属性x,假设标签y∈{0,1},预测值[插图],这里[插图]。对于分类问题,若z(x)>0,则预测值为1;若z(x)<0,则预测值为0。这样就可以将预测值z(x)代入逻辑函数,得到:从概率的角度来讲,可以把分类概率表达为,同样的,对于给定数据集,在线性回归问题中,优化目标是最小化均方差,而在逻辑回归模型中,优化目标是最大化似然函数L,其计算公式为:然而当样本数过大时,由于计算机浮点数的特性,很容易导致数值溢出,同时就计算梯度而言,连续加和的形式要比连续相乘容易。因此在实际应用中,往往对多个连续相乘项取对数处理,即使用如下公式的对数似然函数:现在就可以用2.2节中介绍的梯度下降算法,以最小化损失函数来训练参数w,即:这个损失函数又被称为交叉熵函数(Cross Entropy)。当y(i)的值分别为1或0时,单个样本上的损失函数J(x(i),y(i),w)分别对应式(2.21)的左或右部分。如图2.5所示,当y(i)=0时,如果h(x(i))越趋近于0,则损失函数值越小,同时斜率也越缓和;当y(i)=1时,则相反。逻辑函数对于分类错误的样本,将会产生更大的惩罚值和更大的梯度。逻辑回归模型从回归概率的角度定义了线性二分类问题。图2.6(a)给出了线性分类器的图形表示,深色样本为y=0,浅色样本为y=1,而中间的曲线为训练得到的线性分类边界z(x)=wTx=0。当z(x)<0,即点在分界线的上方时,预测值为0,反之预测值为1。线性分类器具有很好的可解释性,然而如图2.6(b)所示的非线性分类器,实际中样本的分界线往往不是线性的。这个时候需要定义不同的参数模型,如多项式模型、支持向量机、神经网络(Neural Network)模型等,学习复杂的非线性的分类器。但值得注意的是,同样可以把非线性分类问题拆分为两部分:(1)通过特征函数将样本映射到线性空间。(2)利用线性分类模型学习最终分类边界。第3章将介绍如何利用逻辑回归模型来训练神经网络。 本文转载自华为云社区 作者:HWCloudAI
-
梯度下降(Gradient Descent)算法是一个一阶最优化算法,通常也称为最速下降算法。为了找到一个损失函数(或目标函数)的局部最小值,必须向函数前点对应梯度(或者近似梯度)的反方向移动适当的距离,从而实现迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部最大值点,这个相反的过程被称为梯度上升算法。本节以梯度下降算法为例进行探讨。梯度下降算法基于以下观察:如果实数函数J(w)在w处可微且有定义,那么函数J(w)在w点沿着梯度相反的方向-▽J(w)下降最快。如图2.2所示,沿中间路线的梯度的相反方向下山,要远比左侧和右侧路线所走的路程要短。基于此,梯度下降算法的思想包括以下部分。(1)选定一个初始点w0。(2)沿梯度反方向逐步更新参数,即wt=wt-1-α▽J(wt-1)直至收敛。这里α>0,α为步长(Step Size),又称为学习率(Learning Rate),它的值可以在训练之前设为定值,也可以根据训练情况调整。基于梯度的定义,对于足够小的α值,有J(wt)≤J(wt-1)。那么从w0出发,如果给定合适的步长,会逐步得到更小的损失函数J(w0)≥J(w1)≥J(w2)≥…。如果顺利,序列wt将逐渐收敛到损失函数的极小值,这一过程如图2.3所示。假设损失函数J定义在平面上,并且函数图像类似于一个碗形容器。椭圆形的曲线代表等高线,即函数J为常数的集合构成的曲线,越往中间值越小。任意选择一个初始点w0,箭头指向该点梯度的反方向(梯度方向与该点为等高线垂直),逐步沿着梯度下降方向更新参数w,将最终到达碗底,即函数J的极小值点。2.1节把求解线性回归问题转换为求最小化损失函数J(w)问题,那么就可以用梯度下降算法来求解。对于一组给定的数据集{(x(i),y(i))},根据x的属性个数定义参数w,线性方程h(x(i))与损失函数的关系如下:随机选取一个初始点w0及合适的步长α,计算梯度公式为:式中,,在原属性向量上添加了一个常数1的维度,用于更新偏置参数w0。基于梯度▽J(w),可以逐步更新wt,通过wt=wt-1-α▽J(wt-1)得到最优的参数值。梯度下降算法不仅用于线性回归,机器学习中很多问题都可以通过梯度下降算法最小化损失函数来解决。梯度下降算法又称批量梯度下降(Batch Gradient Descent)算法,这里的批量是指用到了所有的训练样本个数m。在实际问题中,往往有相当多的样本数,例如一个学校的学生人数、银行里的客户数目、硬盘里的图片等。尤其对于复杂的学习模型,如深度神经网络,其参数本身就很庞大,如果每次计算梯度都用到所有的数据样本,那么计算量将是相当大的,甚至是不可计算的。事实上可以将该算法想象成一个随机的过程,也就是每次仅随机抽取一个点,在期望上与所有点加起来的平均大体相似。这样就可以用单个点的梯度代替平均的梯度,该单个点的梯度叫随机的梯度,整体的梯度可以看成是随机梯度的期望值。基于随机梯度下降的线性规划问题迭代算法涉及公式如下:式中,x(i)——第t次迭代时,从m个数据样本中随机采样到的样本。由于每次更新只用到一个样本,而不用遍历所有数据集,迭代速度就会很快,但是迭代次数以及收敛的极小值可能不是最优的,因为随机采样的偏差会导致每次选取的梯度方向不一定是最优的。在实际应用中,使用更广泛的是一种被称为小批量(Mini-batch)梯度下降的算法,这是介于批量梯度下降算法和随机梯度下降算法之间的折中算法。每次随机选取样本数量为b(b<m)的小批量样本。这样一方面节省了计算整个批量的时间,同时用小批量计算的梯度方向也会比基于一个样本的随机梯度方向更加准确。小批量梯度下降算法如算法2.1所示。算法2.1 小批量梯度下降算法输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T输出:收敛的参数wT(1) 初始化参数w0(2) for t∈{1,2,…,T}(3) 从m个样本中均匀随机选取b个样本(4) 计算梯度并更新参数:算法2.1概括了小批量梯度下降算法的主要流程,其中mb为从m个样本中随机采样的b个样本的索引集合,Ji(w)为第i个样本上的损失函数。步长的选择、收敛的条件等问题将在以后部分介绍。 本文转载自华为云社区 作者:HWCloudAI
-
扫码进微信群,仅限200人开始时间12月24日 20:00活动介绍云享MindTalks是由华为云DevCloud团队携手云享专家共同策划进行的系列技术交流活动。各业界大咖纷纷现身群聊,以即时对话形式,来进行最直接的技术交流和思想碰撞。不同领域的专家,各样的业界话题尽在此处,为保证极简极高效,活动仅20分钟,限量200人,先进先得。你是否会为AI的迅猛发展而战栗?是否以为深度学习已经无所不能?事实上,深度学习就像个傻瓜!可能一副墨镜就能让其崩溃这一次,张老师带队进行诱导AI行动你,不来吗? 专家介绍东南大学生物工程专业博士Huawei Developer Experts华为云享专家华为校园开发者华为开发者学院注册讲师活动规则1.扫码加小助手入群聊,仅限200人,先到先得。2.对未能及时回复的问题,由助手收集集中回答。3.更多资源和活动请进入云享MindTalks VIP群。4.抽奖奖品为限定HE2E知识卡牌和老师推荐书籍 《机器学习》。
-
12月22日,历经一个多月的“华为云杯”2020人工智能创新应用大赛即将迎来最终决赛、闭幕式,TOP10的队伍将受邀前往西安进行总决赛答辩,组委会将根据初赛模型评测成绩、决赛专家评审成绩加权得出总决赛成绩,初赛与决赛权重比例为0.7:0.3,最终依据综合成绩评选出大赛奖项。以“智”取胜,学以“智”用当前AI产业正如火如荼地发展,各行各业纷纷引入AI,期望引领行业智能化步伐。在国家大力支持下,在技术创新驱动下,华为凭借在云计算领域的长期积累与耕耘,已经获得坚实基础。举办“华为云杯”2020人工智能创新应用大赛,旨在通过以赛促学、赛教结合的形式开展,吸引和挖掘优秀创新团队和人才,推动AI技术在遥感行业应用,实现人工智能技术的真正落地。在赛事期间,华为还在西安举办了华为云AI总裁班、华为云人工智能专家班和以“ModelArts Pro——行业 AI 落地新利器”为主题的 DevRun 开发者沙龙·华为云 AI 训练营活动。12月7日的华为云AI总裁班,共有30家优秀企业的30余位高管参会,共同学习并探索大数据潮流及人工智能行业的前沿技术及未来发展方向。陈功博士、华为西安研究所AI图像分析首席专家司宏杰与各企业家们进行了交流互动,对各企业家在实际工作中存在的疑问进行了解答,并对AI在企业发展中的重要作用进行了一对一的深入探讨。12月10日-12日的华为云人工智能专家班,共有40余位企业AI开发者及30余位来自高校人工智能专业的学生开发者参加。从干货分享到实操演练、互动交流,与现场参会企业及高校学生深入探讨如何接入业务场景,解决使用华为云服务资源过程中遇到的问题,提升参会人员自身AI业务能力,推进产学研融合,进一步助力航天基地人工智能产业生态的发展,推动航天基地打造全国人工智能产业高地,加快实现“用得起、用得好、用得放心”的普惠AI生态。12月12日的华为云 AI 训练营现场,华为云 AI 专家与百余位行业客户共聚一堂,共话如何快速构建 AI 能力,实现 AI 的自主迭代,AI 能力的复用,降低行业 AI 落地门槛。让众多西安行业客户了解到西安本地的企业已经在使用 ModelArts Pro 快速构建 AI 能力,通过自主掌控 AI 迭代,让模型越用越精准。根据艾瑞咨询研究报告显示:2020年中国人工智能赋能实体经济市场规模达 819.8 亿元,许多企业都在实体经济中积极寻找人工智能技术的落地应用场景。要想将人工智能技术落地实际应用场景,就需要AI解决方案产品化,可迭代,可复用,可在大型应用场景落地部署,而不是停留在实验室里的科研成果,而华为云始终致力于帮助企业和企业家实现以“智”取胜,学以“智”用的发展。决赛来袭,闭幕式暨颁奖典礼备受期待为培育人工智能创新氛围,深化新基建合作,提升高精尖人才研发创新能力而举办的“华为云杯”2020人工智能创新应用大赛,在12月11日至22日期间迎来决赛,并将于22日决赛日迎来决赛答辩、决赛评奖与闭幕式活动。本次大赛依托陕西航天卫星遥感行业坚实的发展基础,充分发挥航天科技对国家战略性新兴产业的引领作用,立足航天产业,发展人工智能新兴产业,推动军民融合,带动产城融合,在谋求错位发展中建设世界一流航天产业新城。决赛日当天,参与决赛的选手将在答辩现场介绍初赛中的算法,并就“AI如何助力遥感行业?”问题展开开放式讨论,最终依据综合成绩评选出冠军、亚军、季军及优胜奖。最终花落谁家,也将得出公平公正的结论。
-
今日共有18条快讯 产业鸿蒙OS 2.0手机开发者Beta版发布:2021年覆盖上亿台设备,华为智能手机将全面升级HarmonyOS 2.0 手机开发者 Beta 版本的发布,意味着它离普通消费者更近一步了。2020/12/16 18:25原文链接如何打造最小可行AI产品?这里有份避坑工程指南面向MVP的思维对于任何类型的系统都非常重要,AI也不例外,无论该技术看起来多么令人兴奋。用户可以采用一种MVP的AI产品,而无需花费大量时间或金钱,并且可以通过早期客户的反馈加以改进。就AI产品来说,其MVP产品也有一些特殊要求和特点。2020/12/16 15:46原文链接2020 Kaggle年度报告发布:美国公司最容易「人均百万」,90%数据科学家坚持终生学习近日,Kaggle 正式发布了 2020 年度报告。2020/12/16 15:42原文链接Github Star 7.2K,超级好用的OCR数据合成与半自动标注工具,强烈推荐!OCR 方向的工程师,一定需要知道这个 OCR 开源项目。2020/12/16 15:37原文链接向碳基芯片更进一步:台积电、斯坦福等联手开发碳纳米管晶体管新工艺,性能逼近硅元件由台积电首席科学家黄汉森领导2020-12-16 17:53:22原文链接理论多任务上实现SOTA,UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络这是一种为3D点云提出的无监督胶囊架构。2020/12/16 15:48原文链接单块GPU实现4K分辨率每秒30帧,华盛顿大学实时视频抠图再升级,毛发细节到位那个「让整个世界都变成你的绿幕」的抠图方法 Background Matting 发布了 2.0 版本。2020/12/16 15:32原文链接其他什么水平才能任教清华计算机系?海外留学经历并非必要条件2020-12-16 17:54:55原文链接快讯Deepdub 使用 AI 为外语电影的配音Deepdub 正在启动其平台,该平台使用 AI 将声音复制到视频中,从而使娱乐公司只需单击一个按钮就可以将多种语言的内容本地化。这家总部位于以色列特拉维夫的公司利用 AI 和深度学习在流媒体激增的同时扩展和保留娱乐公司的受众体验。Deepdub 成立于 2019 年,旨在通过在电影、电视、游戏和广告上带来更好的观众体验来弥合这一差距。Deepdub 通过添加新颖的口音来解决该问题,同时保留跨语言的原始演员声音。为此,即使演员从未从未用另一种语言说过这些单词,Deepdub 仍会根据该演员的合成语音使用基于来自演员的样本的合成语音来形成外来词。该技术被插入后期制作过程中,能显著加快后期制作,而成本仅为传统配音服务的一小部分。(VentureBeat)2020-12-17 08:06原文链接Motional 和 Lyft 的目标是 2023 年在美国主要城市部署无人驾驶机器人服务Apocalyn 和 Hyundai 的合资企业 Motional,旨在使自动驾驶汽车商业化,市值 40 亿美元,该公司计划在 2023 年使用 Lyft 叫车网络在美国主要城市推出完全无人驾驶的机器人驾驶服务。这是 Motional 首次为其 robotaxi 服务指定目标日期。虽然 Lyft 一直是拉斯维加斯 Motional 的合作伙伴,但这首次表明,打车公司将成为自动驾驶汽车公司商业化计划的主要合作伙伴。该消息发布是在上个月内华达州批准后,允许 Motional 在该州的公共道路上测试完全无人驾驶的车辆的过程,而无须驾驶汽车驾驶员。(TechCrunch)2020-12-17 08:05原文链接RunwayML 为其 AI 驱动的媒体创建工具筹集了 850 万美元RunwayML 是一家位于布鲁克林的初创公司,为设计师、艺术家和其他创作者建立了一个由 AI 驱动的工具库,该公司已经筹集了 850 万美元的风险投资。该公司表示,这些资金将用于加速其进入市场的努力,以期扩大其产品开发团队的规模。该公司首席执行官 Cristóbal Valenzuela 认为,几十年来,超过 2.1 万亿美元的媒体行业一直依靠熟悉的旧工具的「增量迭代」。尽管其中一些工具近年来变得「更智能」,但它们却根植于过时的范式,依赖于昂贵且耗时的过程。各种类型的公司视频每分钟的价格从 500 美元到 10000 美元不等,几分钟要花几天,几周甚至几个月的时间来制作。Valenzuela 表示:「深度学习技术为合成媒体和自动化的内容创建带来了新的范例。」「借助 Runway,我们正在建立创新革命的支柱-允许创作者完成直到最近才做的事情。」(VentureBeat)2020-12-17 08:05原文链接干洗机器人初创公司 Presso 筹集了 160 万美元 并将重点转移到影视服装干洗机器人干洗初创公司 Presso 今天宣布,它已经完成了 160 万美元的种子轮融资,投资方包括 Pathbreaker,AME Cloud Ventures,SOSV,1517 Fund 和 YETI Capital。这家位于亚特兰大的初创公司开发了一种自助服务亭,可以在五分钟内干洗衣服。该公司最初是针对商务旅客,并计划在酒店的走廊上安装机器,但疫情转移了该公司的启动重点,Presso 已将其大部分工作转移到了影视制作上。该公司表示,最新一代的技术能够一天清洗/消毒多达 150 种影视剧服饰套装。尽管新冠疫情仍在持续蔓延,但许多工作室已经开始提高产量。Netflix,HBO,Apple TV,FOX,迪士尼和 Hulu 都已就其技术与该公司联系。(TechCrunch)2020-12-17 08:04原文链接中国芯片制造商中芯国际(SMIC)下跌 5%:联席首席执行官计划辞职 并将面临从 MSCI 指数撤资的风险据美国全国广播公司财经频道报道,中国芯片制造商中芯国际(SMIC)的股票周三跌逾 5%,此前该公司表示已意识到其联席首席执行官计划辞职,而且该公司的股票将被从 MSCI 指数中剔除。中芯国际表示已「意识到」联席首席执行官孟松亮的「有条件辞职的意图」。该公司表示,正在就梁先生的辞职意向进行「核实」。同时,全球最大的股票指数公司之一的美国股票指数公司 MSCI 表示,将从 2021 年 1 月 5 日起将中芯国际从其指数中删除。该公司表示,这样做是在美国执行行政命令中任命这些公司之后,该命令禁止美国公司和个人拥有白宫指称支持中国军队的中国公司的股份。(CNBC)2020-12-17 08:03原文链接机器学习优化公司 OctoML 为苹果的 M1 芯片优化了 Apache TVM得益于苹果新的 M1 芯片中的 16 核神经引擎,快速专用的机器学习硬件将在负担得起的 Mac 服务器,台式机和笔记本电脑中变得司空见惯。今天,机器学习优化公司 OctoML 宣布,在 M1 芯片上,它已经比苹果最新的 Core ML 4 的性能提高了近 30%,这是一个较为明显的进展,OctoML 将其描述为「仅仅是 M1 性能改进故事的开始。」OctoML 使用了 Apache TVM 自动调度程序来优化 HuggingFace 基于 BERT 的模型,该模型广泛用于自然语言处理。与 Core ML 4 相比,OctoML 的基于 TVM 的机器学习堆栈将 GPU 延迟减少到 42 毫秒,而 Apple 的是 59 毫秒,而 CPU 延迟从 Apple 的 139 减少到 108 毫秒-分别增加了 29%和 22%。(VentureBeat)2020-12-17 08:03原文链接欧洲优步的竞争对手博尔特为人工智能自动驾驶筹集了超过 1.8 亿美元乘车巨头优步(Uber)的欧洲竞争对手博尔特(Bolt)本周三表示,已经筹集了 1.5 亿欧元(合 1.82 亿美元),以通过面部识别和人工智能来增强其平台的安全性。这家总部位于爱沙尼亚的公司拒绝透露其估值,但表示,在 5 月份发行了 1 亿欧元可转换债券后,该公司的估值为 19 亿美元。博尔特最新一轮融资由美国亿万富翁丹尼尔·桑德海姆(Daniel Sundheim)经营的对冲基金 D1 Capital Partners 牵头。另一家对冲基金 Darsana Capital Partners 也进行了投资。博尔特表示,将使用这笔资金来增强其安全性,并帮助其扩大乘车,电动自行车和踏板车的租赁以及食品配送服务。该公司的应用目前在欧洲和非洲的 40 多个国家/地区拥有 5000 万用户。(CNBC)2020-12-17 08:02原文链接谷歌、苹果等机构新研究表明 接受公共数据训练的大型语言模型可能泄露个人信息诸如 OpenAI 的 GPT-3 和谷歌的 GShard 之类的大型语言模型通过内部化来自公共网络的数十亿个示例来学习编写人性化的文本。他们利用电子书,维基百科和 Reddit 等社交媒体平台的资源,推断出完整的句子甚至整个段落。但是,谷歌、苹果、斯坦福大学、OpenAI、加州大学伯克利分校和东北大学联合发表的一项新研究证明了这种培训方法的缺陷。论文作者表明,当输入某些单词和短语时,大型语言模型可能泄露出敏感的私人信息。在这项新研究中,研究人员对 GPT-2 进行了实验,该技术早于 OpenAI 强大的 GPT-3 语言模型。他们声称,他们选择专注于 GPT-2,以避免因对较新的流行语言模型进行研究而导致的「有害后果」。(VentureBeat)2020-12-17 08:01原文链接新研究发现人类能通过远程遥控的在环模仿学习协助机器人模仿学习是一种通过复制人类演示的行为来学习复杂的机器人操纵技能的有前途的范例。但是,操纵任务通常包含瓶颈区域,这些区域需要一系列精确的动作才能取得有意义的进步,例如机器人将豆荚置入咖啡机以制作咖啡。在这些领域,即使是受过训练的机器人也可能会失败,因为行动上的小偏差会导致学习策略的失效。基于干预的策略学习是可以解决此问题的替代方法—它使操作员可以监控受过培训的策略并在遇到故障时接管控制权。斯坦福大学和德州大学奥斯汀分校的研究人员最近构建了一个针对 6 自由度操纵设置量身定制的数据收集系统,该系统可使远程操作员监视并干预受过训练的策略。他们开发了一种简单有效的算法,以对系统收集的新数据进行迭代训练,从而鼓励策略学习如何通过干预措施来解决瓶颈问题。他们证明了在基于我们的基于干预系统和算法收集的数据上受过训练的代理胜过由非介入式示威者收集的同等数量的样本受过培训的智能体,并且进一步证明了他们的方法在从中吸取教训方面优于多个最新基准人工干预具有挑战性的机器人穿线任务和咖啡制作任务2020-12-17 07:57原文链接旷视科技关联公司注册资本翻倍,经营范围新增工业机器人制造天眼查App显示,近日,宁波旷视金智科技有限公司发生多项工商变更,企业名称变更为旷视智链科技(宁波)有限公司,注册资本由2亿人民币增加至4亿人民币,增幅达100%。同时经营范围新增物料搬运装备制造、工业机器人制造、服务消费机器人制造、特殊作业机器人制造、工业自动控制系统装置制造、配电开关控制设备制造等。2020-12-16 17:36原文链接
-
近年来掀起的深度学习革命已经深刻地改变了诸多应用领域,并将在越来越多的领域取得成功。其中最广为人知的领域包括自动语音识别、图像识别、自然语言理解及很多其他交叉领域(如医疗、生物、金融等)。下面将依次简单介绍这些深度学习的典型现实应用。1.3.1 自动语音识别自动语音识别(Automatic Speech Recognition,ASR)是一项将语音转换成文本的技术。从早期的基于模板的方法到严格的统计模型,再到如今的深度模型,语音识别技术已经经历了几代的更迭。在深度学习模型之前,自动语音识别的主流模型是隐马尔可夫模型(Hidden Markov Models,HMM)。在使用这些模型之前,所有的自动语音识别系统都需要经历四个步骤:特征提取、声学模型、语言模型和解码搜索。在进入声学模型之前,需要消除噪声和增强信号,并将信号从时域转换到频域。声学模型主要用来进行特征的转换与表示,再通过一个语言模型,在解码搜索中对模型的结果进行排序并选取得分最高的文本序列。早期应用于声学建模的深度模型是普通的深度神经网络(Deep Neural Networks,DNN),但DNN需要固定大小的输入,因而需要一种能够处理不同长度语音信号的方法。另外,考虑到语音信号是一种非平稳时序信号,如何有效地对长时时序动态相关性进行建模也颇为重要。而这些恰好是循环神经网络的强项。因此,目前主流的自动语音识别深度学习模型是循环神经网络的变种——长短期记忆网络(Long ShortTerm Memory,LSTM)。以循环神经网络为基础的语音识别系统极大地减少了识别错误率,被广泛应用于目前商业上主流的语音识别设备(如亚马逊的Alexa)上。1.3.2 图像识别图像识别是深度学习最成功的应用之一。深度学习在计算机视觉领域的突破发生在2012年,Hinton教授的研究小组利用卷积神经网络架构(AlexNet)大幅降低了ImageNet ILSVRC挑战中图像分类任务的错误率并取得了冠军。之后不断有新的基于卷积神经网络的架构被提出,包括GoogleNet、VGGNet、ResNet、DenseNets和Inception。这些模型在不断加深网络深度的同时,也能不断提升图像分类的准确率。同时,深度学习也被应用于其他计算机视觉任务中,包括目标检测、图像分割、图像标注、行为分析、人脸识别,以及基于生成对抗网络(Generative Adversarial Networks,GAN)的图形风格迁移、视频生成等。在这些应用的背后,起到关键作用的深度学习模型当属深度卷积神经网络。卷积神经网络中最重要的操作是卷积和池化。受益于参数共享和稀疏连接,卷积神经网络非常适合处理图像数据。通过堆叠很多层,卷积神经网络可以不断地从低层特征中提取更高层的特征,最终更好地进行下游任务的处理。目前各种新的网络架构仍在不断被提出,我们期望深度学习在图像识别领域不断取得新的成果。1.3.3 自然语言处理神经网络从2000年开始就逐渐被应用到语言模型中,在成分解析、情感分析、信息抽取、机器翻译、文本分类等自然语言理解的任务上均取得了好的结果。其中,一项重要成果就是词向量的学习。词向量可以看作是一种运用深度神经网络将词转换成隐含空间中的一个向量化的位置表示的方法。将词向量作为循环神经网络的输入,能有效利用合成式的向量语法对句子和短语进行解析。合成式的向量语法可以被认为是由循环神经网络实施的上下文无关的概率语法。另一方面,以长短期记忆网络为代表的循环神经网络在机器翻译和语言模型等方面的表现也较为突出。近年来,除了循环神经网络之外,新的一些深度神经网络结构(如Transformer)也不断被提出,它们通过学习文本序列中的长期依赖和分层结构,在自然语言处理的任务上取得了显著的效果。此外,基于预训练的无监督模型,如建立在Transformer基础上的BERT(Bidirectional Encoder Representations from Transformers)模型,采用迁移学习和微调的方法,进一步刷新了深度学习方法在自然语言处理任务上的技术前沿。到目前为止,面向自然语言处理任务的深度学习架构仍在不断进化,与强化学习、无监督学习等的结合应该会带来效果更优的模型。1.3.4 其他领域深度学习在其他领域(如生物学、医疗和金融等)也有很多应用。在生物学研究中,深度学习算法可以发现人类无法捕捉到的特征。研究人员利用这些算法对细胞图像进行分类,建立基因组连接,加速药物发明周期。在医疗领域,深度卷积神经网络被应用于癌细胞分类、病变检测、器官分割和图像增强等医疗图像分析任务中,并取得了不错的成果。在金融领域,深度学习被应用于金融欺诈检测和反洗钱等任务,也可以通过模拟交易员的行为,完成选股、择时、风控等较为复杂的任务。此外,深度学习在异常检测和信用评分等领域也有应用。 本文转载自华为云社区 作者:HWCloudAI
-
深度学习是使用多层结构从原始数据中自动学习并提取高层次特征的一类机器学习算法。通常,从原始数据中提取高层次、抽象的特征是非常困难的。深度学习将原始的数据表示成一个嵌套的特征层级,这样一来,每层特征均可以由更简单的特征来定义和计算。尤为重要的是,深度学习可以自动地学习如何最优地将不同的特征置于哪一层。也就是说,相比于传统机器学习算法需要提供人工定义的特征,深度学习可以自己学习如何提取特征。因此,相比于传统的机器学习算法,深度学习并不依赖复杂且耗时的手动特征工程。深度学习中的“深度”体现在将数据转换为所需要数据的层数之深。给定模型进行数据输入,可以将描述模型如何得到输出的流程图中的最长路径的长度记为模型的深度。另一方面,在深度概率模型中,也把描述概念之间如何相互关联的图的深度而非计算图的深度记为一种模型的深度。值得注意的是,后者用来计算表示的计算图可能比概念图要深得多。鉴于这两种观点的共存,一般在一个模型有多深才算作“深度”模型上并没有达成共识。不过一般深度学习指的是比传统的机器学习需要更多的计算步骤或者概念学习的模型。绝大多数的深度学习模型是以人工神经网络(Artificial Neural Network,ANN)为基础构建的。人工神经网络是受人脑的启发而发明的计算系统。一个人工神经网络是由一个相互连接的被叫作神经元的单元组成的集合。神经元以层的形式被组织起来,不同的层对输入做不同的变换来获得不同层次的抽象和特征提取。不同的神经元之间的连接被赋予不同的权重,代表了一个神经元对另一个神经元的影响。感知机(Perceptron)是最早可以从样本数据中学习权重的模型。感知机的学习算法属于线性模型的参数学习方法。虽然线性模型仍然是一种被广泛使用的机器学习算法,却存在很多缺陷,最著名的缺陷是感知机无法学习异或(XOR)函数。目前,最为典型的深度学习模型框架是前向神经网络(Feedforward NeuralNetwork),也被叫作多层感知机(Multi Layer Perceptron,MLP)。前向神经网络之所以被称作“前向”是因为通过该网络的信息流是前向传递的,从输入数据开始,经过中间层的计算,得到最终输出。整个结构没有反馈连接,信息单向传播。前向神经网络构成了很多实用的深度学习模型的基础。例如,用于计算机视觉任务的卷积神经网络(Convolution Neural Network,CNN)就是一种特殊的前向神经网络。当前向神经网络被拓展到允许反馈连接时,被叫作循环神经网络(Recurrent Neural Network,RNN)。卷积神经网络和循环神经网络在现实应用中取得了非常大的成功。下面介绍的深度学习的现实应用很多都是以它们作为基础的。 本文转载自华为云社区 作者:HWCloudAI
-
人工智能具有悠久的历史,可以追溯到20世纪50年代。早期人工智能的发展极其缓慢,其主要原因在于各领域对人工智能具有领域内独特的定义和理解,所研究的内容和方法也相对独立,缺乏技术和信息层面的交流和共享。在1956年夏季的达特茅斯人工智能研究会上,约翰·麦卡锡等人首次将不同领域中出现的“类人计算”“机器智能”等描述进行了统一,正式提出了“人工智能”这一术语,明确了人工智能的首要使命,即运用算法构建动态计算环境来模拟人类智能,从而奠定了人工智能发展的基础。在接下来的20年间,人工智能在语音处理和问题求解等方面均取得了不俗的表现。其中,较为成功的人工智能案例是“通用解题机”和“LISP人工智能语音”。尽管如此,早期的人工智能技术仍存在很大的局限性,只能处理一些简单的问题,在实际应用中的表现不尽如人意。另一方面,代表神经网络先进成果的感知机理论也一度受到了强烈抨击,导致了第一波人工智能热潮的迅速降温,包括政府在内的各路投资者对人工智能项目的资助相继停止,从而使人工智能进入了第一轮寒冬。这波低潮一直持续到20世纪80年代末,专家系统作为人工智能领域一项极具商业价值的研究应运而生,解锁了人工智能的第一轮寒冬。受符号主义的影响,专家系统的研究者希望让机器像人类一样进行逻辑推理,进而模仿人的认知过程,这也促使了很多面向逻辑演算的编程语言的诞生,如Prolog。不幸的是,这一波热潮未能持续很久。因为专家系统需要昂贵的计算平台,随着个人计算机性能的不断提升,专家系统逐渐被价格低廉的个人计算机所取代。最终,人工智能硬件市场急剧萎缩,人工智能也进入了第二轮寒冬。从20世纪90年代中期开始,遵循摩尔定律,计算机的运算能力呈指数级增长,各种机器学习算法得以快速验证、训练和应用,直接引发了人工智能的复兴。在该阶段,支持向量机(Support Vector Machine,SVM)、Boosting、KernelMethod等机器学习方法在手写数字识别、股票预测、情感分类、点击率预测等实际应用中取得了优异的表现。1997年由IBM公司制造的深蓝(Deep Blue)计算机系统战胜了当时的国际象棋世界冠军卡斯帕罗夫,引起了社会各界对人工智能的高度关注,重燃了人们对人工智能的信心。自此,人工智能的新一波热潮逐步席卷了全球。在本轮人工智能热潮中,最具价值也最具影响力的一项研究当属深度学习。作为机器学习的代表性方法,深度学习以人工神经网络为基本框架,在数据表征、特征提取、特征交互等多个方面取得了颠覆性的成果。深度学习得益于大数据的不断积累和计算机的飞速发展,其中,海量数据解决了神经网络训练的过拟合问题,而高性能的硬件设备让模型训练成为可能。近年来,随着深度学习研究的不断深入,我们目睹了Google AlphaGo成功击败人类世界围棋冠军,以及包括无人车在内的各项智能技术的蓬勃发展,仿佛再一次看到人工智能赶超人类的希望。总而言之,人工智能正在逐步改变人类的日常生活模式,并凭借其惊人的效果和迅猛的发展势头,广泛融入各个行业的实际应用中,涉及计算机视觉、自然语言理解、语音识别、智能游戏等多个领域。深度学习,作为人工智能的一项崭新技术,从海量数据中汲取知识,并与外界环境进行互动,通过反馈学习交互策略,无论在理论方法上还是现实应用中,都取得了颠覆性的成果。接下来,将聚焦深度学习,探讨深度学习的定义和现实应用。 本文转载自华为云社区 作者:HWCloudAI
-
回归问题算法通常是利用一系列属性来预测一个值,预测的值是连续的。例如给出一套房子的一些特征数据,如面积、卧室数等来预测房价,利用最近一周的气温变化和卫星云图来预测未来的气温情况等。如果一套房子实际价格为500万元,通过回归分析的预测值为499万元,则认为这是一个比较好的回归分析。在机器学习问题中,常见的回归分析有线性回归(Linear Regression)、多项式回归(Polynomial Regression)、逻辑回归(Logistic Regression)等。本节重点介绍线性回归算法,逻辑回归将在2.3节重点阐述。线性回归是一个很简单的回归算法,使用它可以快速地了解很多关于深度学习的基础知识。首先看一个只有一个特征值的线性回归问题,给定数据如表2.1所示。这些给定的数据也叫作数据集(Dataset),把每组数据记作(x(i),y(i)),一共有m组数据。目标就是给出一个模型,根据新给定的x值预测y的值。对于线性回归,使用的模型是一个线性函数,公式如下:式中,w0,w1——最终需要训练得到的参数。式中,w0,w1——最终需要训练得到的参数。这个模型也叫作假设(Hypothesis),线性回归的目标就是找到一组最优的w0和w1,使假设贴近表2.1中的数据集。如图2.1所示,希望训练得到的w0和w1能够尽可能拟合所给定的数据集。图2.1 线性回归模型那么如何得到最优的w0和w1呢?将训练的目标转换为最小化下面的函数:这个需要被最小化的函数就叫作损失函数(Loss Function),损失函数类型可以有很多种,上面用的这种叫作均方误差(Mean Square Error),常用于解决回归问题,此外交叉熵误差(Cross Entropy Loss)函数常被用于解决分类问题,即:可以看到,最终的优化目标就是最小化预测值h(x(i))与训练数据中实际的标签y(i)的误差。在上述情景中,为了便于理解,输入数据x只有一条属性,实际应用中往往会涉及n个属性(n≥1),此时需要训练得到n+1个参数w,w=[w0,w1,…,wn],其中w0为偏置(Bias),wi(i=1,2,…,n)为第i条属性的权重(weight)。综上,可以把回归问题统一表示为以下形式:(1)数据集(2)参数(3)假设(4)损失函数为方便表达,把数据集表示为一个m×(n+1)的矩阵X,其中每一行的第一个元素恒为1,其后为x(i)的n个属性,即:同时,把目标值也记为向量形式y=(y(1);y(2);…;y(m)),则线性回归问题可以表示为: 本文转载自华为云社区 作者:HWCloudAI
-
MindSpore是华为公司推出的新一代深度学习框架,是源于全产业的最佳实践,最佳匹配昇腾处理器算力,支持终端、边缘、云全场景灵活部署,开创全新的AI编程范式,降低AI开发门槛。2018年华为全联接大会上提出了人工智能面临的十大挑战,其中提到训练时间少则数日多则数月,算力稀缺昂贵且消耗大,仍然面临没有“人工”就没有“智能”等问题。这是一项需要高级技能的、专家的工作,高技术门槛、高开发成本、长部署周期等问题阻碍了全产业AI开发者生态的发展。为了助力开发者与产业更加从容地应对这一系统级挑战,新一代AI框架MindSpore具有编程简单、端云协同、调试轻松、性能卓越、开源开放等特点,降低了AI开发门槛。1.5.1 编程简单MindSpore函数式可微分编程架构可以让用户聚焦模型算法数学原生表达。资深的深度学习开发者都体会过手动求解的过程,不仅求导过程复杂,结果还很容易出错。所以现有深度学习框架,都有自动微分的特性,帮助开发者利用自动微分技术实现自动求导,解决这个复杂、关键的过程。深度学习框架的自动微分技术根据实现原理的不同,分为以Google的TensorFlow为代表的图方法,以Facebook的PyTorch为代表的运算符重载,以及以MindSpore为代表的源码转换方法(Source to Source,S2S自动微分技术),如图1.1所示。\图方法实现简单,并且图的数据结构容易进行优化和并行。不过图方法的可编程性一直饱受争议,用户需要理解图的概念和接口,例如数据节点、通信节点、计算节点、数据边、依赖边、引用边等,存在一定的学习成本。并且,在图方法中控制流、高阶导的表示较为复杂。运算符重载方式比较符合用户尤其是研究人员的编程习惯,很受学术界欢迎。不过这种方式需要使用宿主语言(Host Language)的解释器,并且使用Tape模式去记录运行过程,所以开销比较大,同时这种动态方式也不利于反向性能优化。S2S自动微分技术,兼顾了可编程性和性能。一方面能够和编程语言保持一致的编程体验;另一方面它是中间表示(Intermediate Representation,IR)粒度的可微分技术,可复用现代编译器的优化能力,性能也更好。S2S自动微分技术使用了高效易调试的可微编程架构。首先在接口层提供Python编程接口,包括控制流表达,利于用户快速入门,如代码1.1所示。第一步用Python代码定义一个计算图(函数)。第二步,利用MindSpore提供的反向接口进行自动微分,这一步的结果是一个反向的计算图(函数)。第三步给定一些输入,就能获取第一步中的计算图(函数)在给定处的导数。在这个例子中,自动微分的结果是图中所有输入的导数。MindSpore的反向接口同样提供选项计算某一个或者一部分输入的导数。代码1.1 原生Python编程体验其次,IR(Intermediate Representation,中间表示)粒度的可微分技术能够把用户定义的网络源代码通过解析验证等过程转换为MindSpore定义的IR,也就是MindSpore IR,在IR的基础上应用IR更变器方法(IR Mutator Method),最终生成反向代码。在此过程中,也应用了算子融合等技术进一步提升反向性能。如图1.2所示,MindSpore对控制流的表达包括循环和条件。可以看到代码编程风格与原生Python保持一致,更重要的是,与Python对控制流的表达不同的是,MindSpore在生成控制流的反向时不会对循环进行展开,而通过在IR基础上进行反向计算,避免了表达式膨胀,从而提升性能。相比其他框架,用MindSpore可以降低核心代码量20%,降低开发门槛,效率整体提升50%以上。同时,能天然支持编译优化,进一步提升代码运行效率,有效降低科研工程门槛。MindSpore自动微分代码如代码1.2所示。除了图层面的自动微分以外,MindSpore同时支持算子层面的自动微分。在提供了深度学习主要网络的算子的同时,MindSpore自带的张量引擎(Tensor Engine)支持用户使用Python DSL(Domain Specific Language)自定义算子,并且提供算子级的自动微分接口。通过使用Python DSL,用户可以在Python中像写数学式一样自定义算子,如同数学中用公式定义函数一样,而张量引擎的算子自动微分接口可以直接对DSL定义的算子进行微分,正如数学中使用统一的微分符号表示求导一样,这样让代码的书写更加简洁直观,贴近用户的书写习惯,如代码1.3所示。这里的前向算子是用户用DSL自定义的算子,也是算子级自动微分的求解目标。接下来利用张量引擎提供的反向接口去推导出反向算子。对于多输入的算子,反向算子接口可以指定一个或者多个前向算子的输入,然后对这些输入同时进行自动微分计算。另外与图层面的自动微分不同,算子级的自动微分额外接收反向图中上一层算子(对应在正向图的下一层算子)的微分结果作为输入,然后使用链式法则计算出该层反向算子的结果。数学中高阶导数是通过对函数反复使用微分算子计算得到的,同样,在MindSpore中,用户可以对算子反复使用反向接口来计算算子的高阶导数。代码1.3 MindSpore算子级自动微分代码示例算子级的自动微分同样使用了IR方法,因此许多IR层面的优化技术可以应用在算子级的自动微分中。其中MindSpore的张量引擎根据深度学习的算子特征特别增加了IR层面的除零优化。未经优化的反向算子中可能存在大量的零元素,极大地影响求和等计算的效率。张量引擎的自动微分通过循环轴合并、循环域调度变换消除反向算子中的零元素,不仅能提高代码的运行效率,也使得代码简化让后续部署更加方便。此外MindSpore的张量引擎引入多项式(Polyhedral)模型,解决循环变形依赖问题,实现自动的算子调度,并且自动内存优化,实现内存最优排布、算子最佳性能。如此让用户从手写调度调优的细节中解放出来,更专注于算法本身。MindSpore的算子级自动微分接口不仅可以自动生成反向算子,更提供了进一步手动优化导数公式的可能。MindSpore的算子级自动微分功能把算子分割成若干步简单函数的复合运算后,先是利用已知基础函数的导数和求导法则分布求导,然后利用链式法则计算复合函数的导数,最后通过张量引擎内置的数学公式简化器进行化简。这可以满足绝大部分用户对自动微分的需要。但是对部分有更高性能或者代码部署要求的用户,MindSpore提供接口让用户可以用自己优化过的导数公式代替某一步或者若干步自动生成的微分,如代码1.4所示。虽然上面的例子中MindSpore业已完成Sigmoid函数的求导,但部分用户可能希望用手动推导的Sigmoid函数的导数dy=y(1-y)进行计算,这样可以利用前向函数计算的结果。这里把手动推导的导数公式放入函数custom_sigmoid_fdiff中,并在自动微分中重载这部分的求导。那么自动微分在保持其他部分自动生成的情况下,使用custom_sigmoid_fdiff作为输出对于x的导数进行运算。这样MindSpore保持了自动微分和手动调优的反向算子在风格上的统一,方便了图层对算子的调用。代码1.4 MindSpore手动调优自动微分代码示例总而言之,MindSpore在支持算子级自动微分的同时,对反向算子进行IR层面的优化,满足算子开发者自动生成反向算子的需求。同时MindSpore兼顾了用户对手动调优反向的需求,将自动和手动有机结合,简化了开发流程,提升了代码的可读性,增加了代码的运行效率。 本文转载自华为云社区 作者:HWCloudAI
-
11月22日,哈尔滨工业大学(深圳)和华为技术有限公司合作的创新实验课程——《华为云ModelArts AI模型开发实战》圆满结课。该课程由华为技术有限公司高级工程师、现任华为云EI图像算法专家——杜奇主讲,哈工大(深圳)实验与创新实践教育中心提供场地和软硬件等支持,共计16学时。课程主要面向有一定计算机基础的本科生,选课通知一经发布,便引起同学们的极大热情,课程容量80人,在两天内即被选完,课程内容如表1所示。《华为云ModelArts AI模型开发实战》的课程内容结合了华为云的技术积累和哈工大(深圳)的专业培养目标,基于华为云ModelArts一站式AI开发平台,向同学们讲解了图像分类、物体检测、人脸识别、OCR和视频分析五大热门AI领域的重要知识点。同学们可以利用ModelArts平台易上手的自动学习、预置算法、Notebook和充足的算力资源,零AI基础、零编程经验也可以进行AI模型的开发。通过本课程的学习,同学们无论是从理论上还是从动手实践上,都学到了AI领域的很多基础知识和经典算法,掌握了一定的模型调优能力。课堂上,同学们积极和老师互动,对杜老师讲授的内容表现出浓厚的兴趣,现场教学效果很好。为深化“引企入教”改革,推进创新教育理念,培养学生创新精神和实践能力,哈工大(深圳)开设企业创新实验课程,并将继续吸引优秀企业走进校园,促进企业需求融入人才培养环节。附:课程PPT、现场授课视频、源代码和实践案例文档获取链接表1 课程内容安排序号教学内容教学要求学时教学方式1人工智能的发展史与现状通过讲解人工智能各流派的发展历史,使学生了解人工智能各流派能解决和不能解决的问题,从历史的角度来看待人工智能技术的发展1讲课2神经网络发展史梳理神经网络的发展历史,使学生了解损失函数、梯度下降、学习率等基础概念是怎么发展而来的1讲课3ModelArts介绍与实验前准备讲师现场讲解演示ModelArts,使学生了解ModelArts能做什么,并进行实验前的必要准备1实验4零代码开发美食分类模型讲师现场演示,再搭配丰富的图文教程,教导学生掌握使用自动学习开发图像分类模型的方法1实验5图像分类介绍梳理图像分类领域的发展脉络,介绍经典数据集和经典算法,使学生掌握图像分类领域的基础知识1讲课6物体检测介绍梳理物体检测领域的发展脉络,介绍经典数据集和经典算法,使学生掌握物体检测领域的基础知识1讲课7使用FasterRCNN预置算法基于海量数据训练人车检测模型讲师现场演示,再搭配丰富的图文教程,教导学生掌握使用预置算法开发物体检测模型的方法2实验8人脸识别介绍讲解人脸相关的不同研究领域,介绍经典数据集和经典算法,使学生掌握人脸识别领域的基础知识1讲课9人脸检测工具对比学生自己动手测试不同人脸检测工具的检测效果,通过对比实验,使学生清楚知道在什么场景下适合用什么人脸检测工具1实验10人脸年龄和表情识别学生自行运行人脸年龄和表情识别算法,分析网络结构,使学生掌握人脸年龄和表情识别的原理1实验11FaceNet算法完成人脸识别讲师讲解FaceNet的网络结构,学生按照图文教程搭建FaceNet模型,并进行模型的训练和预测,从而掌握FaceNet算法实现人脸识别的方法1实验12OCR介绍介绍OCR领域的经典数据集和经典算法,使学生掌握OCR领域的基础知识1讲课13CTPN算法完成文字位置检测通过CTPN文字检测的实验,使学生掌握文字检测和常规物体检测的区别于联系1实验14视频分析介绍讲师讲解视频分析不同领域的应用、经典数据集和经典算法,使学生了解AI在视频方向上有哪些应用1讲课15使用C3D和I3D模型实现视频动作识别讲师讲解C3D模型和I3D模型结构,学生参考实验文档,动手训练C3D模型,并且掌握C3D模型和I3D模型的预测方法1实验宣传海报课堂现场课后留影
-
摘要:本文主要介绍基于深度学习的物理层应用,并提出一种基于深度Q网络(DQN)的MIMO系统位置信息验证方案,接收者在多变未知的信道环境下利用深度Q网络不断更新。01引言随着移动流量呈现的爆发式增长、高可靠性和低时延的通信场景给当前网络带来了更大的复杂性和计算挑战。据IBM报道,移动数据量到2020年将超过40万亿Gbits,比2009年增加44倍,连接总设备量将达到500亿。为了满足这一需求,需要新的通信理论和创新技术来满足5G系统的需求。近些年深度学习范式的发展使引起了学术界和工业界对基于深度学习的无线通信技术的研究,研究结果证实了深度学习技术可以提高无线通信系统的性能,并有潜力应用在物理层进行干扰调整、信道估计和信号检测、信号处理等方面。02深度学习范式深度学习的概念源于人工神经网络(ANN)的研究,由Hinton等人于2006年提出。如图1所示,深度学习通过建立具有阶层结构的ANN,往往包含一个输入层、多个隐藏层和一个输出层。每个层之间采用不同的权重与邻层之间进行连接,通过对输入信息进行逐层提取和筛选,可以实现端到端的监督学习和非监督学习 。深度神经网络包括前馈神经网络(FNN)、循环神经网络(RNN)、卷积神经网络(CNN)、对抗生成网络(GAN)和深度信念网络等。其中基于门控的RNN,例如长短期记忆(LSTM)网络对于输入有一定的记忆功能,因此常被用于物理层信号处理和信道状态信息估计等。此外,深度学习也可参与构建强化学习(RL)系统,形成深度强化学习,例如深度Q网络(DQN)[1],可以用于对物理层信号处理策略制定的优化。1)长短期记忆网络作为RNN的一个变体,长短期记忆网络可以有效解决简单循环神经网络的梯度爆炸或消失问题。RNN通过隐状态来存储历史信息。在简单的RNN中,隐状态的每个时刻都会被重写,因此可以看作是一种短期记忆。而在LSTM网络中,记忆单元保存关键信息的时间要长于短期记忆。LSTM网络引入门机制来控制信息传递的路径。门机制取值在0到1之间,来控制信息通过的比例。LSTM网络主要包括了3个门,其中遗忘门控制上一个时刻的内部状态需要遗忘多少信息;输入门控制当前时刻的候选状态保存多少信息;输出门控制当前时刻的内部状态有多少信息需要输出给外部状态。2)深度Q网络DQN将CNN与Q学习结合起来,采用Q 学习的目标值函数来构造深度学习的目标函数,利用记忆回放机制来解决数据之间的关联性问题,并采用迭代更新解决系统稳定性问题。假设环境在时刻所处的状态为,代理根据一定的策略 来采取动作,并获得奖励。然后,环境在时刻转移到以转移概率转移到了下一个状态。在DQN中,代理通过一系列行动与环境进行交互,目的是最大化累积奖励。同时,采用基于卷积神经网络的经验回放来进行Q函数的不断近似。在经验回放中,代理每一步使用ξ-greedy来选择动作,并将每个时刻的学习经验保存在经验池中。在算法的参数更新循环里,对记忆池里的样本进行随机采样或批量随机采样,通过Q学习对模型进行参数更新。并通过CNN来根据之前的经验,不断近似最大的Q值。CNN的损失函数就是近似的Q值与真实Q值之间的偏差,通过梯度下降算法不断调整神经网络的权重,就可不断减少损失函数的值。03 基于深度学习的物理层信号处理应用近年来,学术界和工业界已经出现了一些深度学习应用于物理层的相关工作,研究结果发表深度学习可以提高物理层性能。本小节从物理层信号处理的角度,从信道状态信息(CSI)估计、信号编解码、干扰调整和信号检测四个方面对目前已有的相关工作进行举例和说明。1)基于深度学习的CSI估计精确的CSI获取对于保证无线通信系统的链路性能至关重要。无线网络根据信道估计状态来选择具体的信号控制方案,例如,当CSI较低时,物理层采用低阶调制方案来对抗恶劣的通信状态从而降低误码率。5G通信系统采用多输入多输出(MIMO)、毫米波和非正交多址接入(NOMA)等技术,使得通信双方拥有更多的传输信道,信道估计问题也变得更加复杂。传统的CSI估计方案需要执行具有高复杂度的矩阵运算,受到了计算资源和时延的限制。利用深度学习来得到CSI信息时空和上下行之间的关联性,已经被证实可以提高CSI估计的效率,并减少所需上下行参考信息的数据量[2]。如图2所示,论文[3]提出将历史CSI数据经过一个二维卷积神经网络提取频率特征矢量,再利用一个一维卷积神经网络来从频率特征矢量中提取状态特征矢量。最后,一个LSTM网络用来进行CSI状态预测。由于二维卷积神经网络最初是用来处理图片数据的,因此,作者将CSI原始数据分割成单元格,每个单元格对应一个图片像素。每个频带的CSI和辅助信息对应的像素组成一个频道。因此,N个频带的数据将被转换成N个频道的像素信息,并输入到学习框架中。2)基于深度学习的编解码深度学习在信源编码和信道编码方面的应用,也证明了其可以提高编码效率并降低网络的BER。基于深度学习框架的联合编码方案可以通过循环神经网络实现对本文的源编码(结构化),然后将结构化的信息输入双向的LSTM网络,并最终输出最终传输的二进制数据流。在接收端,LSTM用来进行解码处理。论文[4]提出了就有全连接深度神经网络的编码器,用来提高基于置信传播算法的HPDC解码效率。O’Shea等人在[5]中将整个物理层建模为一个包含了调制、信道编码和信号分类功能的自编码器,并利用卷积神经网络来对自编码器进行训练。如图3所示,在多密集层神经网络的学习框架中,输入信号被编码为独热编码(One-hot encoding),无线信道建模为一个噪声层。交叉熵损失函数和随机梯度下降算法用来训练模型,在输出端将最高概率的输出信号作为解码结果。3)基于深度学习的干扰调整MIMO系统中的干扰调整通过线性预编码技术来调整发射信号,使得接收端的干扰信号可以控制在一个降维子空间里,从而突破MIMO系统干扰问题带来的吞吐量限制。现有工作中已经有研究结果表明,利用深度学习可以提高干扰调整网络中的吞吐量,并取得优化结果。He等人在[6]中提出了采用DQN来获得干扰调整下最优的用户选择策略。在该机制中,中央调度器用来收集所有信道状态和每个用户的缓存状态,并将信道资源分配给每个用户。信道的时变过程用一个有限状态马尔科夫模型来进行建模,系统的状态定义为每个用户的信道状态和缓存状况。中央调度器用来为系统训练处最佳策略,对应的系统动作定义为是否为每个用户分配信道资源来进行数据的传输,来最大化干扰调整网络的吞吐量。DQN也可被用于认知无线电网络中次用户与主用户之间的干扰消除,次用户利用跳频和移动性来抵御干扰者[7]。4)基于深度学习的信号检测基于DL的检测算法可以显著提高通信系统的性能,尤其适当传统的处理模块需要联合优化或是信道无法用常见的分析模型来表征时。论文[8]提出了一个五层全连接的DNN框架嵌入到OFDM接收器中来进行联合信道估计和信号检测。将接收到的信号以及对应的传输数据和导频作为输入,DNN可以推断出信道信息,而且可以用来预测发送的数据。在MIMO中检测中,基于贝叶斯最优检测器的迭代方法已经被证实有较优的性能和中等的计算复杂度。但在很多更复杂的环境下,未知的信道分布条件将限制这种检测器的效果。利用深度学习算法,可以根据一定的输入数据来恢复模型参数,从而提高检测器的自适应能力。同时,在一些情况下,深度学习算法还可以利用一些语义信息,例如接收器的位置和周围车辆节点的信息,来进行波束预测,从而提高系统性能。04 基于DQN的信号检测机制在基于位置服务的场景中,车辆或者用户需要不断发送信标消息来报告自己的位置,从而提高位置服务和网络性能。但有些车辆或用户会选择发送虚假的位置来获取更多的资源,影响了网络服务的效用。在MIMO系统中,传输信号往往包含了丰富的信息(到达角、接收功率等)可以在接收端利用信号检测技术对信标消息进行位置验证。我们提出基于DQN的信号检测机制,可以用于MIMO系统中发送者的位置信息验证和对信息伪造者的检测。主要的思想为,接收端对接收的信号采用最大似然估计进行假设检验,当接收到的信号通过检测检验时,则认为发送信号来自于发送者上报的位置。否则,认为发送者上报了虚假的位置信息。为了提高在多变的信道状态下的检测性能,在接收端基于DQN来预测采用不同的检测阈值可以取得的收益,并选取最优的检测阈值。系统框架如图4所示。1)系统模型 假设检验中的零假设定为发送节点上报真实位置信息,备择假设为发送节点上报了虚假位置信息。在每个时刻,接收端收到发送端的信号都与发送端与接收端之间的真实位置、信道状态和信号到达角有关。在已知发送信息和发送功率的条件下,接收端可以利用最大似然检测来对接收到的信号进行假设检验。2)最大似然检测 接收端采用最大似然检测算法来验证接收到的信号,检测规则定义为:其中代表检测阈值,取值范围为。和代表检测结果分别为正常和虚假上报。和分别为观测信号在零假设和备择假设下的后验分布。根据[9]可得,假设检验的结果(误报率和丢失率)与发送者的实际位置、上报位置、信道状况和检测阈值有关。对于接收端来说,发送者的实际位置、上报位置以及信道状态属于未知或部分已知的环境变量,在与发送者之间不断的信息交互过程中,本文提出接收端可以基于DQN来不断优化检测阈值的选择,从而提高信号检测的准确率。3)基于DQN的检测阈值优化在本文提出的机制中,将接收端的状态空间分为两个维度,第一个维度是发送端到接收端的信道状态,第二个维度是信道检测的结果。信道状态空间包括量化后的一系列信道指标,并假设信道的状态转移符合马尔科夫过程,即信道在当前时刻的状态都只与上一个时刻的状态有关。结果状态空间包括四种:真实数据检测结果为真、真实数据检测结果为假;虚假数据检测结果为真以及虚假数据检测结果为假。在每次动作过程中,接收端的直接奖励与检测结果有关,当检测结果正确时获得正收益,当检测结果错误时获得负收益。接收端的动作定义为进行信号检测的阈值,动作空间包括一系列量化的检测阈值。在每个片刻,接收端的混合策略为选择不同检测阈值的概率。基于本文第二章介绍的DQN原理,接收端在每次经历后,将自己选择的检验阈值、对应的状态结果和收益存储到经验池,利用CNN对Q函数进行训练预测,不断优化对检测阈值的选择。05 总结与未来发展建议在本文中,我们通过现有工作和案例证明了深度学习在物理层通信中的巨大应用潜力。除了以上介绍的几种应用方向,深度学习在端到端通信系统中也得到了一定的应用。不过,目前还尚未有结论基于深度学习的端到端通信系统性能是否会最终超过传统通信系统性能。另外,基于深度学习的物理层应用需要数据驱动,为了提高深度学习模型的训练效率,可以将需要长时间训练的模块进行融合,并需要考虑在良好的性能和训练效率之间的权衡。深度学习应用的兴起主要归功于各种可用的数据集,但目前用于无线通信相关的数据集仍然较少。数据的安全和隐私问题进一步限制了在真实世界对通信数据的访问功能。但为了基于深度学习的通信应用,需要一些开放性电信数据集的发布和共享。最后,5G复杂多变的通信环境,包括MIMO、毫米波通信以及NOMA技术等,也为深度学习的应用带来了巨大的潜力。参考文献[1] Mnih, Volodymyr, et al. "Human-levelcontrol through deep reinforcement learning." Nature 518.7540(2015): 529. https://www.nature.com/articles/nature14236.[2] A. Mousavi and R. G. Baraniuk, “Learning toInvert: Signal Recovery via Deep Convolutional Networks,” Proc. IEEE Int’l.Conf. Acoustics Speech Signal Process. (ICASSP’17), New Orleans, LA, Mar. 2017,pp. 2272–76.[3] C. Luo, J. Ji, Q. Wang, X. Chen and P. Li,"Channel State Information Prediction for 5G Wireless Communications: ADeep Learning Approach," in IEEE Transactions on Network Science andEngineering, early access.[4] E. Nachmani, Y. Be’ery, and D. Burshtein,“Learning to decode linear codes using deep learning,” in Proc. Communication,Control, and Computing (Allerton), 2016, pp. 341–346.[5] T. O’Shea and J. Hoydis, "An Introduction to Deep Learning for thePhysical Layer," in IEEE Transactions on Cognitive Communications andNetworking, vol. 3, no. 4, pp. 563-575, Dec. 2017.[6] Y. He, C. Liang, F. R. Yu, N. Zhao, and H.Yin, “Optimization of cache-enabled opportunistic interference alignmentwireless networks: A big data deep reinforcement learning approach,” in Proc.IEEE Int. Conf. Commun. (ICC), May 2017, pp. 1–6.[7] G. Han, L. Xiao, and H. V. Poor,“Two-dimensional anti-jamming communication based on deep reinforcementlearning,” in Proc. IEEE Int. Conf. Acoust. Speech Signal Process. (ICASSP),New Orleans, USA, Mar. 2017, pp. 2087–2091.[8] H. Ye, G. Y. Li, and B.-H. F. Juang, “Power ofDeep Learning for Channel Estimation and Signal Detection in OFDM Systems,”IEEE Wireless Commun. Lett., vol. 7, no. 1, Feb. 2018, pp. 114–17.[9] Bai, Lin, Jinho Choi, and Quan Yu. “SignalProcessing at Receivers: Detection Theory.” Low Complexity MIMO Receivers,Springer, Cham, 2014. pp.5-28
-
摘要:想了解深度学习却又无从下手,不如从手写数字识别模型训练开始吧!深度学习作为机器学习分支之一,应用日益广泛。语音识别、自动机器翻译、即时视觉翻译、刷脸支付、人脸考勤……不知不觉,深度学习已经渗入到我们生活中的每个角落,给生活带来极大便利。即便如此,依然有很多人觉得深度学习高深莫测、遥不可及,的确,它有深奥之处,非专业人士难以企及,但也有亲和力十足的一面,让没有基础的小白也能轻松上手,感受深度学习的魅力,接下来要介绍的手写数字识别模型训练正是如此。手写数字识别初探手写数字识别是计算机视觉中较为简单的任务,也是计算机视觉领域发展较早的方向之一,早期主要用于银行汇款、单号识别、邮政信件、包裹的手写、邮编识别等场景,目前手写数字识别已经达到了较高的准确率,得到大规模的推广与应用。虽然手写数字识别本身的领域比较狭窄,实用性有限,但是在它基础上发展起来的卷积神经网络等计算机视觉技术早已应用在更为复杂的任务中,因此,手写数字识别也成为计算机视觉领域衡量算法表现的一个基准任务。所以,通过这一实践场景来了解神经网络开发和训练,可谓再好不过了。如何使用深度学习框架MindSpore进行模型开发与训练?又如何在ModelArts平台训练一个可以用于识别手写数字的模型呢?让我们来一探究竟吧。数据集的选择与准备机器学习中的传统机器学习和深度学习都是数据驱动的研究领域,需要基于大量的历史数据对模型进行训练,再使用模型对新的数据进行推理和预测,因此数据是机器学习中的关键要素之一。MNIST数据集是目前手写数字识别领域使用最为广泛的公开数据集,大部分识别算法都会基于它进行训练和验证。MNIST数据集包含0~9这10种数字,每一种数字都包含大量不同形态的手写数字图片训练集,分为训练集和测试集。训练集涵盖6万张手写数字图片,测试级涵盖1万张手写数字图片。每一张图片皆为经过尺寸标准化的黑白图像,是28*28像素,像素值为0或者1的二值化图像。MNIST数据集的原始图像是黑白的,但在实际训练中使用数据增强后的图片能够获得更好的训练效果。本次训练所使用的经过数据增强的图片基于深度学习的识别方法与传统的机器学习使用简单模型执行分类等任务不同,此次训练我们使用深度神经网络作为训练模型,即深度学习。深度学习通过人工神经网络来提取特征,不同层的输出常被视为神经网络提取出的不同尺度的特征,上一层的输出作为下一层的输入,层层连接构成深度神经网络。深度学习工作原理1994年,Yann LeCun发布了结合反向传播的卷积神经网络 LeNet, 其在手写数字识别领域效果远超其他模型。1998年,Yann LeCun等人构建的卷积神经网络LeNet-5在手写数字识别问题中取得成功 ,被誉为卷积神经网络的“Hello Word”。LeNet-5以及在此之后产生的变体定义了现代卷积神经网络的基本结构,可谓入门级神经网络模型。本次实践使用的模型正是LeNet-5。LeNet-5结构LeNet-5由输入层、卷积层、池化层和全连接层组成。输入层用于输入数据;卷积层通过卷积运算对输入进行局部特征提取;池化层通过下采样的方式降低特征图的分辨率,从而降低输出对位置和形变的敏感度,同时还可降低网络中的参数和计算量;全连接层将局部特征通过权值矩阵组装成完整的图像,完成特征空间到真实类别空间的映射,最终的图像分类便是由全连接层完成的。有了这样一个神经网络后,我们还需要用大量数据集对它进行不断地训练,才能对输入数据有较为准确的预测结果,这一过程便依赖于华为自研的深度学习框架MindSpore。MindSpore的“学习”过程MindSpore当前已经部署在ModelArts的开发环境和训练环境中,同时提供了阈值算法供开发者直接使用,它的学习过程如下图所示,简单总结一下:1. 使用MindSpore提供的基本模块进行前线网络开发2. 对数据进行处理和增强以便得到更好的数据输入3. 利用前线网络构建训练模型,并进行模型保存和推理说起来可能平淡无奇,但是实验终究需要自己亲自动手才能体会其中的无限乐趣。看到这里,想必各种背景知识和原理大家已经略知一二,如果你已经跃跃欲试,那就快来华为云学院学习微认证课程《使用MindSpore训练手写数字识别模型》吧。对了,悄悄告诉你,这个实验现在还是免费的哟,来华为云学院沙箱实验室就能即刻体验。从原理到实践,带你全方位了解手写数字模型训练全过程,快速上手深度学习,速来!→点击直达华为云学院,get更多新技能
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签