• [技术干货] 探究 | 打破传统!用强化机器学习实现无人机轨迹规划
    近年来,无人机已被广泛应用于很多领域,它不仅可以完成很多的任务,包括轨迹规划、避障、巡航等,在民用、军事都有很广泛应用,而且还有降低成本、提高效率、减少损失等很多作用。  但是传统的无人机任务都采用飞控控制,需要人为操作。为了使无人机可以具备更广的适用性,或者从技术上来说拥有更好的泛化能力,深兰科学院尝试用强化学习来训练无人机做指定的任务。如果训练效果能够达到足够稳定的性能,则可以进一步实现商用目的。本文在此基础上,带大家简单了解一下强化学习的基础知识。  强化学习小课堂什么是强化学习?  1、强化学习  强化学习(Reinforcement Learning RL)也有很多其他名字,例如再励学习、增强学习、评价学习,是机器学习的范式和方法论之一,用于描述和解决智能体在与环境的交互过程中,通过学习策略以达成回报最大化或实现特定目标的问题。    上图为经典的强化学习结构图,从图片中可以看出,强化学习过程主要由4部分构成:智能体(agent)、观测到的状态(observation/state)、奖励(reward)和行为(action)。  一个强化学习的过程中,智能体获得从当前环境中观测到的状态,然后根据这一状态采取一定的行为或策略,同时,有一个评价系统来评价这个行为的好坏,并返回正/负奖励给到智能体。循环往复,直到完成整个任务,此为一次强化学习的交互。整个强化学习训练过程就是,智能体与环境不断的交互,最终会学习到合理的策略,让奖励最大或者达到某个任务(指定的状态)。    强化学习受行为主义心理学的启发,例如巴甫洛夫条件反射实验,训练摇铃小狗流口水。小狗看到吃的流口水、摇铃不流口水,实验中就采取摇铃并给狗喂狗粮的方法不停训练,最终即使在没有狗粮,只摇铃的情况下,小狗也会流口水。  强化学习与此类似,是让智能体在与环境交互的过程中,一旦选择对的行为则给予正奖励加强这种行为,在不断的训练过程中使得智能体选择最合适的行为,最终使得智能体的每一步都能选择合理的行为,从而达到整体任务奖励最大化,并完成任务。  2、深度强化学习  我们一般所说的强化学习其实是深度强化学习(Deep Reinforcement Learning DRL),深度强化学习是强化学习与深度学习结合的结果。顾名思义,就是将传统强化学习中的某一部分用深度学习来完成。  传统强化学习中的行为以及价值都是需要人为定义的,这也就是为什么传统强化学习起源较早,但是应用并不广泛的原因之一。而深度学习恰好将这一问题解决了,强化学习中的行为以及价值都用一个深度学习的网络来学习得到,这样不需要人为设定,使得强化学习可以广泛应用于很多领域。而传统强化学习无法解决的连续性动作的问题,深度强化学习也可以解决,使用对应的Actor-critic网络即可。  深度强化学习的分类,有很多种分类标准。  从智能体的个数上,可分为单智能体算法和多智能体算法;从是否基于模型的角度,可分为model-based和model-free;从训练时策略的选择,可分为on-policy和off-policy等等。  这里不一一展开,但在实际运用强化学习的时候,根据具体的任务或者项目,需要选择合适的深度强化学习算法。  强化学习可以解决什么问题?    这张图是2016年引起热议人工智能的AlphaGo事件,AlphaGo打败了围棋世界冠军李世石。AlphaGo作为一个智能体,就使用了深度强化学习技术进行了训练。在这一场景中,状态就是每一时刻的棋盘,行为就是下棋的动作,而评价系统会根据每一步棋的价值返回奖励。完成训练的AlphaGo在与李世石的比赛中,根据当前的棋盘选择最优的行为“下一步棋”,最终击败了李世石,这就是强化学习的一个具体应用。  智能体在不断与环境交互的过程中,会保留上次学习过的经验,下一轮与环境交互时,会选择奖励更大的行为,一般用来解决“智能体与环境交互时通过决策选择最好的行为”的这一类问题。
  • [新闻速递] DevRun智能基座昇腾高校行兰州大学专场圆满举办
    2021年6月10日,华为联合兰州大学信息科学与工程学院共同举办了DevRun智能基座昇腾高校行兰州大学专场活动。此次活动围绕人工智能与昇腾基础软硬件平台做了深入讨论。DevRun智能基座昇腾高校行活动是基于2020年华为与教育部“智能基座”产教融合协同育人基地项目开展的重要活动。兰州大学网信办主任、信息科学与工程学院党委书记、常务副院长陈文波为活动致辞。兰州大学网信办主任、信息科学与工程学院党委书记、常务副院长 陈文波目前,我国人工智能人才缺口巨大,高校作为人才培养的基础阵地,将成为输送人工智能技术人才的主力军。作为知名985高校,兰州大学将承担起输送尖端人才的重任。同时,各行业的同频共振离不开技术生态的建立和完善,人工智能人才的输送也成为技术生态建立的基础。为此,华为与各高校展开深入合作,与高校学子共同组建开放的社区与平台。智能基座社团就是华为为高校学子打造的,以连接高校学生,营造学习氛围,通过互动交流、学习内容共享、实践项目,帮助高校学生在鲲鹏、昇腾、华为云领域进行学习和创新的社团。兰州大学智能基座社团社长 魏人兰州大学智能基座社团社长魏人对目前社团的发展现状做了详细介绍。魏人表示,加入智能基座社团能在开源知识的学习、研究和宣传方面得到更多经验,并获得最新的实践机会、竞赛机会、产业内的前沿技术知识的学习机会,还能和华为昇腾专家面对面交流。兰州大学教务处副处长 赵鹏飞为兰州大学智能基座社团授牌。昇腾高校生态发展总监郝志宏以“智能未来,昇腾万里”为主题发表了专题讲座。在分析了人工智能人才现状及趋势后,深入浅出地讲解了昇腾技术相关知识。同时,郝志宏也向在场同学介绍了一系列即将在暑期举办的涵盖理论知识、实践操作的线上学习活动,并简述了昇腾优才实习计划的相关内容。昇腾高校生态发展总监 郝志宏信息科学与工程学院合作授课老师袁磊结合自身在授课中积累的经验发表了《基于MindSpore的深度学习的无线通信应用探索》的演讲。袁磊老师阐述了Mindspore框架的关键技术,并基于Mindspore无线通信的多种案例做了深度解析。信息科学与工程学院合作授课老师 袁磊信息科学与工程学院合作授课老师,华为先锋教师李龙杰在《数据库系统原理》演讲中详细介绍了参加GaussDB师资培训并成为华为先锋教师的过程,以及借助华为提供的课程资源和云计算资源在课程建设过程中获得的优质体验。信息科学与工程学院合作授课老师,华为先锋教师 李龙杰带领兰州大学学子在ASC世界大学生超级计算机竞赛总决赛现场获得最佳人气奖的张洋老师也做了《超算力平台助力高校创新型人才培养》的分享。信息科学与工程学院,超算中心 张洋华为昇腾 AI 高级工程师谭涛宣布昇腾CANN训练营即将开幕。同时,谭涛详细讲解了CANN平台的各种基础知识,也现场演示了从实际应用开发过程介绍基于昇腾CANN平台的推理应用开发方法的实验。华为昇腾 AI 高级工程师 谭涛此次专场活动让在场学生对人工智能和昇腾有了更多了解,进一步促进学子们加深对前沿技术的学习兴趣。人才培养离不开科技企业和学术界的产教融合、众智合力,智能基座项目也将成为科技企业和学术界融合的纽带。未来,华为也将基于该项目为学生团队提供更多学习交流的机会,为促进人才培养共建技术生态贡献自己的力量。
  • [新闻速递] DevRun智能基座昇腾高校行走进湖南大学
         2021年6月5日,由华为与湖南大学信息科学与工程学院共同举办的DevRun智能基座昇腾高校行湖大专场圆满结束。2020年,华为与教育部合作共同启动了“智能基座”产教融合协同育人基地,目前已签约高校72所,覆盖学生20万名。会上湖南大学信息科学与工程学院的领导、老师、华为技术专家与湖南大学的学子们欢聚一堂,围绕人工智能与昇腾基础软硬件平台共同讨论人工智能时代的技术发展方向。湖南大学信息科学与工程学院党委副书记彭娜在开场致辞表示:“人才是人工智能发展的核心驱动力。湖南大学将携手华为一同大力支持人工智能产业的发展,为国家人工智能发展蓝图培养更多懂人工智能、用昇腾的高精人才。”为了进一步促进与高校的合作,华为也与高校学子共同组建了开放社区,汇集高精尖人才,共同促进人工智能技术创新多元发展。“智能基座”就是华为为高校学子量身打造的产教结合的项目之一。湖南大学智能基座社团社长李杭轩同学对智能基座社团的职能和功能做详细介绍,他提到“智能基座”将以鲲鹏、昇腾和华为云为技术底座,建立高校人才培养体系,持续为鲲鹏、昇腾及华为云产业输送高质量人才。而在社团中高校学子将获得更多与华为昇腾专家面对面学习的机会,同时也可以收获更多技术支持。现场,湖南大学信息学院分团委书记 叶长琦老师为湖南大学智能基座社团授牌。昇腾基础软件生态发展总监褚力行在会上分享了以《智能未来,昇腾万里》为主题的专题讲座,深入分析了当前我国人工智能技术的发展现状,将昇腾的全栈全场景结构、实践案例和人才发展战略娓娓道来。作为深度参与华为智能基座昇腾相关课程的授课工作的湖南大学信息科学与工程学院合作授课老师许莹发表了《基于昇腾的人工智能导论课程实验案例》演讲。许莹老师简述了人工智能的前世今生,并分享了在智能基座师资培训中进行的“基于CANN的MobileNetv2垃圾分类实验”案例,通过实操案例解析更直观的表达了自己对于昇腾相关技术的见解。带领在场同学通过自己的视角更深入浅出地了解了昇腾在应用中的优势。openEuler开源操作系统旨在倡导客户在系统上提出创新想法、开拓新思路、实践新方案。作为湖南大学信息科学与工程学院合作授课老师周军海也带来了《openEuler操作系统简介》,以自己在授课中积累的经验将openEuler开源系统的特点和优势做了详细讲解。昇腾高级工程师谭涛对昇腾异构计算架构CANN做了详细介绍,谭涛从实际应用的开发过程介绍基于昇腾CANN的推理应用开发方法的实验,让在场的同学对昇腾CANN有了更形象的理解。同时,也宣布昇腾CANN训练营即将开幕,此训练营致力于通过集训式的“学、练、赛”合一方式,使能开发者在一个月内有节奏的快速掌握CANN 全栈解决方案。人才培养是当前生态建设的重中之重,这离不开学术界、科技企业的多方协同。DevRun智能基座昇腾高校行为培养专项人才提供了良好的环境。未来,华为也将持续与各大高校展开深入合作,为高校学子提供更多技术交流平台。
  • [热门活动] 【欧洲杯竞猜】别傻傻的猜2021欧洲杯赛果,AI都帮你分析好了!
    活动结果公布:昵称名次奖品zhangli1331希捷移动硬盘2Tjinkongtangdan2荣耀智能体脂秤2ws188415623673有线机械键盘ziyuwei4小霸王游戏掌机fujinyong5mini蓝牙音箱xiexinlian6限量版T恤suningfujinyong7限量版T恤sunyananguomei8限量版T恤tangdan1589限量版T恤lipeng288210限量版T恤tangd15841525211限量版T恤mingsuning12限量版T恤guoky189415913限量版T恤王爽爽14限量版T恤郑勇15限量版T恤小强鼓掌16限量版T恤zhengyong13417限量版T恤fujinyongsuning18限量版T恤zhanggky19限量版T恤郭kuiyong20限量版T恤dandongjkzx21限量版T恤zyw1301980985122限量版T恤若积分一直则按照权重最高的比赛投票时间排序开发奖(整理评审中):hw52041721以上用户请填写问卷,将收货地址填写问卷中,问卷截至时间:2021年8月6日12:00,预期将作为放弃礼品。问卷地址:https://devcloud.huaweicloud.com/expertmobile/qtn?id=ddd129c1103646188db116eb6e7a522e需登录华为云账号实名填写问卷,未实名或者账号未按照活动要求参与本次活动、涉嫌刷积分或一人多账号操作,将直接除名。虽然迟到,但不会缺席在推迟一年之后第16届欧洲足球锦标赛(俗称“欧洲杯”)将于北京时间2021年6月12日凌晨3点在罗马奥林匹克球场鸣锣开战!AI加持尽享竞猜的乐趣本次ModelArts借助AI的能力预判“欧洲杯”赛事欧洲杯竞猜-小组赛(意大利 VS 英格兰)PC端操作( 活动仅用于AI开发和预测交流,不鼓励用于任何财务相关的交易)小组赛投票(*)↓点击表格队伍即可投票↓---为保证竞猜准确度,设置仅可提前三天投票6.12土耳其-意大利威尔士-瑞士6.13丹麦-芬兰队比利时-俄罗斯英格兰-克罗地亚奥地利-北马其顿6.14荷兰队-乌克兰苏格兰队-捷克队6.15波兰队-斯洛伐克西班牙-瑞典队6.16匈牙利-葡萄牙法国-德国芬兰-俄罗斯6.17土耳其-威尔士意大利-瑞士乌克兰-北马其顿6.18丹麦-比利时荷兰-奥地利瑞典-斯洛伐克6.19克罗地亚-捷克英格兰-苏格兰匈牙利-法国6.20葡萄牙-德国西班-牙波兰6.21意大利-威尔士瑞士-土耳其6.22乌克兰-奥地利北马其顿-荷兰俄罗斯-丹麦芬兰-比利时6.23克罗地亚-苏格兰捷克-英格兰6.24瑞典-波兰斯洛伐克-西班牙葡萄牙-法国德国-匈牙利八分之一投票(**)6.27丹麦VS威尔士意大利VS奥地利6.28荷兰VS捷克比利时VS葡萄牙6.29克罗地亚VS西班牙法国VS瑞士6.30英格兰VS德国瑞典VS乌克兰四分之一投票(***)7.3瑞士VS西班牙比利时VS意大利7.4捷克VS丹麦乌克兰VS英格兰半决赛投票(****)7.7意大利VS西班牙7.8英格兰VS丹麦决赛投票(*****)意大利VS英格兰奖项设置:最秀开发奖:华为GT2手表(或者华为畅享10plus手机)获奖说明:基于Notebook开发出最优的模型,由华为云专家对开发的Notebook进行评估(准确度),之后公示最佳预言奖:      冠军专题奖:最后猜对冠军的用户可以参与专题抽奖,抽送一台华为云AI音响      积分竞猜奖:名次奖品第1名希捷移动硬盘2T第2名荣耀智能体脂秤2第3名有线机械键盘第4名小霸王游戏掌机第5名mini蓝牙音箱第6~20名限量版T恤积分计算规则:小组赛猜对一场获得1积分,八强比赛猜对一场获得3积分,四强比赛猜对一场获得4积分,冠军比赛猜对一场获得5积分添加小助手加入讨论微信群:(添加小助手回复“欧洲杯”即可入群)历史预测:→【AI预测】土耳其VS意大利←(PC端操作)→【AI预测】威尔士VS瑞士←(PC端操作)→【AI预测】丹麦VS芬兰←(PC端操作)→【AI预测】比利时VS俄罗斯←(PC端操作)【AI预测】英格兰VS克罗地亚(PC端操作)【AI预测】奥地利VS北马其顿(PC端操作)【AI预测】荷兰VS乌克兰(PC端操作)欧洲杯竞猜-小组赛(苏格兰-捷克)PC端操作欧洲杯竞猜-小组赛(波兰队-斯洛伐克)PC端操作欧洲杯竞猜-小组赛(西班牙-瑞典队)PC端操作欧洲杯竞猜-小组赛(匈牙利-葡萄牙)PC端操作欧洲杯竞猜-小组赛(法国-德国)PC端操作欧洲杯竞猜-小组赛(芬兰VS俄罗斯)PC端操作欧洲杯竞猜-小组赛(土耳其VS威尔士)PC端操作欧洲杯竞猜-小组赛(意大利VS瑞士)PC端操作欧洲杯竞猜-小组赛(乌克兰VS北马其顿)PC端操作欧洲杯竞猜-小组赛(丹麦VS比利时)PC端操作欧洲杯竞猜-小组赛(荷兰VS奥地利)PC端操作欧洲杯竞猜-小组赛(意大利VS威尔士)PC端操作欧洲杯竞猜-小组赛(瑞士VS土耳其)PC端操作欧洲杯竞猜-小组赛(瑞典VS斯洛伐克)PC端操作欧洲杯竞猜-小组赛(克罗地亚VS捷克)PC端操作欧洲杯竞猜-小组赛(英格兰VS苏格兰)PC端操作欧洲杯竞猜-小组赛(匈牙利VS法国)PC端操作欧洲杯竞猜-小组赛(葡萄牙VS德国)PC端操作欧洲杯竞猜-小组赛(西班牙VS波兰)PC端操作欧洲杯竞猜-小组赛(乌克兰VS奥地利)PC端操作欧洲杯竞猜-小组赛(北马其顿VS荷兰 )PC端操作欧洲杯竞猜-小组赛( 俄罗斯VS丹麦)PC端操作欧洲杯竞猜-小组赛(芬兰VS比利时)PC端操作欧洲杯竞猜-小组赛(英格兰VS捷克)PC端操作欧洲杯竞猜-小组赛(苏格兰VS克罗地亚 )PC端操作欧洲杯竞猜-小组赛(丹麦VS威尔士)PC端操作欧洲杯竞猜-小组赛(意大利VS奥地利 )PC端操作欧洲杯竞猜-小组赛(荷兰VS捷克)PC端操作欧洲杯竞猜-小组赛(比利时VS葡萄牙  )PC端操作欧洲杯竞猜-小组赛(克罗地亚VS西班牙)PC端操作欧洲杯竞猜-小组赛(法国VS瑞士 )PC端操作欧洲杯竞猜-小组赛(英格兰VS德国)PC端操作欧洲杯竞猜-小组赛( 瑞典 VS 乌克兰 )PC端操作欧洲杯竞猜-小组赛(瑞士VS西班牙)PC端操作欧洲杯竞猜-小组赛(比利时VS意大利)PC端操作欧洲杯竞猜-小组赛(捷克VS丹麦)PC端操作欧洲杯竞猜-小组赛( 乌克兰VS英格兰)PC端操作欧洲杯竞猜-小组赛(意大利 VS 西班牙)PC端操作欧洲杯竞猜-小组赛(英格兰VS丹麦)PC端操作*所有获奖者都需要使用到ModelArts(run in modelarts)
  • [其他] 基于深度学习的事件因果关系抽取综述
    因果关系抽取是自然语言处理(NLP)中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用。首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽取模型进行详细分析的基础上,对比了各种方法和模型的优缺点;此外,对各模型的实验性能及相关实验数据进行了归纳分析;最后,给出了当前的因果关系抽取的研究难点和未来的重点研究方向。http://www.joca.cn/CN/abstract/abstract24491.shtml人们的社会活动以事件为驱动,事件是社会活动的载体。在自然语言处理中,事件作为一种信息表示形式显得十分重 要,受到越来越多的重视。事件中包含了大量的内部组成结 构(如参与者、时间、地点等)和外部关联(如因果、共指、时序 等语义关系)。对包含大量事件的文本进行因果关系的抽取 可以实现对文本的更加深层次的理解。在航空安全[1] 、医学[2] 等众多领域中,因果关系抽取也发挥着重要的作用。图灵奖 获得者 Bengio 表示将因果关系集成到人工智能(Artificial Intelligence,AI)中是一件大事,了解因果关系可以使得现有 的人工智能更加智能高效。Pearl等[3] 讲到如果没有因果推理 的能力,人工智能将从根本上受到限制。 因果关系一般可以组织为事理图谱。事理图谱是表示事 件之间的顺承、因果关系的有向图[4] 。图中每个节点表示事 件,而边用来表示事件之间的因果关系。事理图谱找出了事 件的演化逻辑,从而形成大型的常识事理知识库用来直接刻画人类行为活动。很多的学者在因果关系抽取上得到了理想 的结果[5-7] 。 深度学习是机器学习领域如今最热门的研究方向之一, 它能够模仿人类大脑的活动,使得模式识别很难解决的问题 得到了合理的解决,使得自然语言处理(Natural Language Processing,NLP)相关技术取得了很大进步。近年来基于深度 神经网络的因果关系抽取方法比较多,主要分为两大类:一类 是基于流水线方式;另一类是基于联合抽取的方式。前者将 抽取任务看作是实体识别和关系分类两个子任务,后者则是 利用联合模型将因果关系三元组直接抽取出来。两者各有利 弊,但是目前还缺乏对整个领域开展深入的梳理和总结。本 文对现有的基于深度学习的因果关系抽取方法进行了总结:首先,分别对因果关系抽取的基本概念和方法演变进行了简 要介绍,并对常用数据集进行了介绍;接着,对现有的基于深 度学习的两种主要框架分别进行了详细介绍;最后,提出了未 来的研究方向。
  • [其他] AI理论笔记
    AI理论笔记    浅显地理解AI领域,输入如感知推理,输出如下棋写诗,有为了更好通过图灵测试的仿生,或则是减少人工介入的“智能”。    图灵测试就是让人分不清是人还是机器,涉及自然语言处理、表达、推理和学习,刻意避免了直接的物理交互,完全的图灵测试还包括计算机视觉和机器人控制,用以增强感知和输出。    亚里斯多德的三段论开启了逻辑学,人工智能中的逻辑主义流派希望依靠此建立智能系统,这个流派遇到的最大问题是将非形式的信息用逻辑形式呈现和求解问题和解决实际问题的差别。     AI的基础包括哲学、数学、经济学、心理学、计算机科学、神经科学和语言学,从最初的专家系统到深度学习;老式的人工智能是符号人工智能,试图把人类思维变成符号操作法让计算机理解,而机器学习(深度学习)是根据数据建立和改善算法。  Agent,表示能够执行的动作,合理的Agent是为了实现最佳结果,或则是在不确定环境中为实现最佳期望而采取的行动,一个合理实现完美的论断是:在复杂环境中总做正确的事是不可行的。    算法一词出自9世纪波斯数学家花剌子模(Al-Khwarizmi),与程序要求精确按部就班的执行不同,算法只需要遵守一系列的规则和指令。深度学习中算法在不同层次运行,每个层次加工上一层的数据并将输出结果传给下层,输出结果是二进制的。
  • [其他] 深度学习随机取样、学习率
    随机取样随机取样与全局训练是无关的,因为在全局训练中所有的样本都会被用来估计梯度。而在随机梯度下降和小批量梯度下降中,随机取样是十分重要的。这是为了得到梯度的无偏估计,样本必须是独立同分布的。如果训练过程中的一些样本不是随机从训练集中取出的,模型的参数可能会沿着一个方向偏移太多。以下是两种随机取样的思路:在语音处理任务中,若所有样本都可以被载入内存中,那可以通过对样本索引进行相应的处理抽样就可以达到样本抽样的效果。在语音处理任务中,若无法将所有样本载入内存进行计算,可以采用滚动窗的方法每次加载一块数据进内存,然后再窗内随机取样。batch大小选择在训练过程中都需要从训练样本的一个批量集合中进行梯度计算,而批量块大小的选择同时会影响收敛速度和模型结果。批量块选择的两种常见情况:整个训练集:选择整个训练集进行模型训练是最常见的情形。随机训练集:代表性方法就是随机梯度下降(SGD),每次只需要用一个样本进行梯度的计算和迭代。综合上述两中批量块的选择情况,提出这种方案“小批量”进行训练,迭代速度比整个数据集更快,比随机训练集更容易收敛。在语音识别任务中,前期可以选择较小的批量块,比如64到256个样本,而后期换用较大的批量块,比如1024-8096个样本。学习率从梯度下降算法的角度来说,通过选择合适的学习率,可以使梯度下降法得到更好的性能。学习率,即参数到达最优值过程的速度快慢,当你学习率过大,即下降的快,很容易在某一步跨过最优值,当你学习率过小时,长时间无法收敛。因此,学习率直接决定着学习算法的性能表现。可以根据数据集的大小来选择合适的学习率,当使用平方误差和作为成本函数时,随着数据量的增多,学习率应该被设置为相应更小的值(从梯度下降算法的原理可以分析得出)。另一种方法就是,选择不受数据集大小影响的成本函数-均值平方差函数。一般常用的学习率有0.00001,0.0001,0.001,0.003,0.01,0.03,0.1,0.3,1,3,10。
  • [行业动态] 张钹:人工智能技术已进入第三代
    深度学习目前人工智能最受关注的领域,但并不是人工智能研究的全部。张钹认为尽管产业层面还有空间,但目前基于深度学习的人工智能在技术上已经触及天花板,此前由这一技术路线带来的“奇迹”在Alphago获胜后未再出现,而且估计未来也很难继续大量出现。技术改良很难彻底解决目前阶段人工智能的根本性缺陷,而这些缺陷决定了其应用的空间被局限在特定的领域——大部分都集中在图像识别、语音识别两方面。同时,在张钹看来,目前全世界的企业界和部分学界对于深度学习技术的判断过于乐观,人工智能迫切需要推动到新的阶段,而这注定将会是一个漫长的过程,有赖于与数学、脑科学等结合实现底层理论的突破。作为中国少有的经历了两个人工智能技术阶段的研究者,张钹在过去数年鲜少接受采访,其中一个原因在于他对目前人工智能技术发展现状的估计持有部分不同看法,在时机未到之时,张钹谨慎的认为这些看法并不方便通过大众媒体进行传播,即使传播也很难获得认同。一、“奇迹并没有发生,按照我的估计,也不会继续大量发生”经济观察报:您是如何估计和评价目前人工智能发展的现状?张钹:这一轮人工智能热潮是本世纪初兴起的。首先是出现在学术界。学术界过去对人工智能是冷遇的,但是多层神经网络的出现带来了一些改变,神经网络的理论在上世纪50年代就有了,但是一直处于浅层的应用状态,人们没有想到多层会带来什么新的变化。真正引起大家注意的就是2012年斯坦福的实验(注:2012年谷歌和斯坦福利用多层神经网络和大量数据进行图像识别的实验),过去实验的图像样本数最多是“万”这个级别,斯坦福用了1000万,用多层神经网络来做,结果发现在人脸、人体、猫脸三个图像类别中,这个模型的识别率大概有7%-10%的提高。这给大家非常大的震动,因为通常识别率要提高1%要做好多努力,现在只是把层数增加了,竟然发生两大变化,一个是识别率提高这么多;第二个是能处理这么大数据。这两个变化给大家非常大的鼓舞,何况在2012年之前,人工智能没有解决过实际问题。经济观察报:这种突破的原因是什么?张钹:现在分析下来是三个原因,大家也都非常清楚了,一个大数据、一个是计算能力、一个是算法。认识到之后,一夜之间业内业外对深度学习都非常震动,然后就发生了三件历史性的事件。第一件事是2015年12月,微软通过152层的深度网络,将图像识别错误率降至3.57%,低于人类的误识率5.1%;第二件事,2016年微软做的语音识别,其词错率5.9%,和专业速记员水平一样;第三件事:Alphago打败韩国围棋选手李世石。通过人工智能,利用深度学习、大数据这两个工具,在一定条件下、一定领域内竟然能够超过人类,这三件事情给大家极大的鼓舞。特别是对于业外的人,都认为我只要掌握了大数据,利用深度学习说不定还能搞出奇迹来,于是大家做了很多很多预测,比如在多短时间内计算机会在什么事情上能超过人。但实际上,在这个之后,奇迹并没有发生,按照我的估计,今后也不会大量发生。准确一点说,今后或许会在个别领域取得进展,但是不会像之前预计的那样全面开花。特别是中国市场乐观的认为“中国市场大、数据多,运用又不受限制,所以将来奇迹一定会发生在中国”。结果很多企业在做的时候发现,不是那么回事。从目前的情况来看效果最好的事情还是这两件:图像识别、语音识别。我看了一下,中国人工智能领域20个独角兽30个准独角兽企业,近80%都跟图像识别或者语音识别有关系。经济观察报:为什么会出现这样的情况?或者说在这么长时间后,我们对人工智能目前能做什么有一个清晰的认识了吗?张钹:人工智能在围棋上战胜人类后产生了这种恐慌,“大师才能做的事,人工智能居然能做,我的工作这么平凡,肯定会被机器所替代”。这里需要考虑一下它的局限性,我一直在各种各样的会上谈到不要过于乐观。人工智能能做的那三件事(语音识别、图像识别、围棋)是因为它满足了五个条件,就是说只要满足了这五个条件,计算机就能做好,只要有任何一个或者多个条件不满足,计算机做起来就困难了。第一个是必须具备充足的数据,充足不仅仅是说数量大,还要多样性,不能残缺等。第二个是确定性。第三个是最重要的,需要完全的信息,围棋就是完全信息博弈,牌类是不完全信息博弈,围棋虽然复杂,但本质上只需要计算速度快,不要靠什么智能,可是在日常生活中,我们所有的决策都是在不完全信息下做的。第四个是静态,包括按确定性的规律演化,就是可预测性问题,在复杂路况下的自动驾驶就不满足这一条;实际上它既不满足确定性,也不满足完全信息。第五个就是特定领域,如果领域太宽他做不了。单任务,即下棋的人工智能软件就是下棋,做不了别的。经济观察报:就是说在满足这五个条件的前提下,目前的人工智能是胜任部分工作的?张钹:如果你的工作符合这五个条件,绝对会被计算机替代,符合这五个条件的工作特点很明显,就是四个字“照章办事”,不需要灵活性,比如出纳员、收银员。如果你的工作富有灵活性和创造性,计算机绝对不可能完全代替,当然部分代替是可能的,因为其中肯定也有一些简单和重复性的内容。如果认识到这一条就会认识到人工智能仍处于发展阶段的初期。不是像有些人估计的那样“人工智能技术已经完全成熟,而进入发展应用的阶段”。二、“深度学习技术,从应用角度已经接近天花板了”经济观察报:我们应该怎么去定义目前的深度学习技术路线,它是基于概率学的一个事物吗?张钹: 现在的深度学习本质是基于概率统计 ,什么叫做概率统计?没有那么玄,深度学习是寻找那些重复出现的模式,因此重复多了就被认为是规律(真理),因此谎言重复一千遍就被认为真理,所以为什么大数据有时会做出非常荒唐的结果,因为不管对不对,只要重复多了它就会按照这个规律走,就是谁说多了就是谁。我常常讲我们现在还没有进入人工智能的核心问题,其实人工智能的核心是知识表示、不确定性推理这些,因为人类智慧的源泉在哪? 在知识、经验、推理能力,这是人类理性的根本。 现在形成的人工智能系统都非常脆弱容易受攻击或者欺骗,需要大量的数据,而且不可解释,存在非常严重的缺陷,这个缺陷是本质的,由其方法本身引起的。经济观察报:就是说通过改良的方式无法彻底解决?比如我们再增加神经网络层数和复杂性或者再提升数据的量级,会解决它的缺陷吗?张钹: 改良是不行的,深度学习的本质就是利用没有加工处理过的数据用概率学习的“黑箱”处理方法来寻找它的规律,这个方法本身通常无法找到“有意义”的规律,它只能找到重复出现的模式,也就是说,你光靠数据,是无法达到真正的智能。此外,深度学习只是目前人工智能技术的一部分,人工智能还有更大更宽的领域需要去研究,知识表示、不确定性处理、人机交互,等等一大片地方,不能说深度学习就是人工智能,深度学习只是人工智能的一部分。一直到去年人工智能大会交流的论文还是三分之一是机器学习方面,三分之二是其他方面。经济观察报:学界在这上面还是有一个比较清晰的认识?张钹: 我可以这么说,全世界的学界大多数有清晰的认识; 全世界的企业界大多持过于乐观的估计。为什么出现这样的情况呢?因为从事过早期人工智能研究的人,大多已经故去或者年老,已经没有话语权。现在活跃在人工智能研究第一线的都是深度学习、大数据兴起以后加入的,他们对人工智能的了解不够全面。经济观察报:如果说每一个技术路线都有一个“技术潜力”,那么在深度学习方面,我们已经把这个潜力用了多少?张钹: 科学研究是很难精确估计的,但是深度学习如果从应用角度,不去改变它,我觉得已经接近天花板了,就是说你要想再出现奇迹的可能性比较小了。经济观察报:那基于此,目前商业公司在底层技术和产业应用上还是有很大的空间吗?张钹:只要选好合适的应用场景,利用成熟的人工智能技术去做应用,还有较大的空间。 目前在学术界围绕克服深度学习存在的问题,正展开深入的研究工作,希望企业界,特别是中小企业要密切注视研究工作的进展,及时地将新技术应用到自己的产品中。当然像谷歌、BAT这样规模的企业,他们都会去从事相关的研究工作,他们会把研究、开发与应用结合起来。经济观察报:有一种观点认为我们强调的“白盒”(可理解性)它实际上是从人的思维来强调的,但是通过大数据、概率统计工具离散到连续的投射,它实际上是机器的思维,你不一定需要它给你一个解释,只要正确的答案就可以了?张钹: 目前有两种意见,一种观点认为智能化的道路是多条的,不是只有一条路能通向智能,我们通过自然进化产生了自然智能,那么我们为什么不能通过机器产生机器智能?这个智能和自然智能不会是完全一样的,条条大路通罗马,我们通过自然进化获得的智能也不见得是最佳的。这个观点我赞成,机器智能与人类不相同,其实是有好处的,恰恰可以互补,发挥各自的长处。但是从长远来看,必须得走人类智能这条路,为什么?因为我们最终是要发展人机协同,人类和机器和谐共处的世界。我们不是说将来什么事情都让机器去管去做,人类在一边享受。我们要走人机共生这条路,这样机器的智能就必须和人类一样,不然没法共处,机器做出来的事情,我们不能理解,我们的意图机器也不知道,二者怎么能合作?经济观察报:就是必须具有可解释性?张钹: 是,就是可解释性,你要它做决策,你不理解它,飞机就让它开,谁敢坐这架飞机?所以目前的阶段,车和飞机还是不能完全让机器开的。为什么司机坐在上面我们放心?因为我们和他同命运,要撞死一块撞死,机器和你可不是同一命运,它撞不死,你撞死了。有的人非常脱离实际的去想这个问题,这是不对头的,人类怎么会去那样发展机器呢(注:指把人类的命运全部交给机器)?人类不会去那么发展的,有些人在那边担忧什么机器人统治人类,我说这最多只能算远虑。经济观察报:所以图灵的论文中也说这种观点“不值一驳”。张钹: 是,那是远虑,我们目前还有很多近忧,发展人工智能必须要考虑安全问题,这已是现实问题。你看语音合成,利用现有的技术可以做到以假乱真,和真人基本没有差别。现在看来这种技术不能推广应用,因为一旦推广就全乱套了,只要搞一段用语音合成技术做成的假录音,就可以让任何一位名人身败名裂。这些都是非常危险的技术。人工智能的治理已经提到日程上了。三、“我们培养不出爱因斯坦、培养不出图灵”经济观察报:一种观点认为中国有更多的数据和更多的工程师,这种规模能倒推带来基础研究层面的突破或者决定技术的路线?张钹:这里混淆了好多概念,科学、技术、工程。科技水平需要三个标准来衡量,一个是科研水平、一个是技术水平、一个是工程实践能力,或者产业化能力。我们中国什么情况?从工程角度来看,在一些领域我们“接近世界水平”;技术水平我用的词是“较大差距”,因为不少东西还是外国会做我们不会做;科研究领域我用的词是“很大差距”,科学研究就是原创,实际上,所有人工智能领域的原创成果都是美国人做出来的,人工智能领域图灵奖得主共十一人,十个美国人,一个加拿大人。经济观察报:数据显示中国在人工智能领域的论文发表量和被引用次数都已经进入前列位置,这是否说明中国人工智能科学研究领域的突破?张钹:如果单从论文来看研究水平,基本反映在三个指标上:数量、平均引用率、单篇最高引用率。拿人工智能来讲,中国研究者论文的数量和平均引用率都还不错,但是单篇最高引用率和世界差距就很大,而这个指标恰恰是反映你的原创能力。也就是说深度学习这个领域,我们的平均水平达到世界水平了,但是最高水平和世界差距还是很大的。不过还是要肯定的,我们应用上发展比较快。经济观察报:清华在这方面有什么优势吗?张钹:在人工智能重要的会议杂志上,这十年期间论文数量、平均质量CMU(美国卡耐基梅隆大学)排第一,清华大学排第二。我们培养的人,在计算机这个领域,清华的本科、博士生都是世界一流的。目前我们的跟踪能力是比较强的,一旦有人起个头,我们能迅速跟上去。但是很可惜,我们缺乏顶尖人物,也培养不出顶尖的人才,如爱因斯坦、图灵等。我个人认为原因之一,可能与中国的文化有点关系,我们的从众心理很严重,比如在人工智能领域,深度学习很热,发表的论文作者中几乎70%是华人,但是其他非热门领域,包括不确定性推理、知识表示等几乎没有华人作者。这就是从众扎堆,不愿意去探索“无人区”。当然也不要着急,科学研究本来就是富人干的事情,是富国干的事情,我们还是发展中国家,科学研究起点比较低,暂时落后是难免的,我们会迎头赶上。四、“低潮会发生,但不会像过去那样”经济观察报:如果说深度学习已进天花板,那么人工智能未来的前进方向将会在哪?张钹:最近我们准备提出一个新的概念,就是第三代人工智能的概念,人工智能实际上经历过两代,第一代就是符号推理,第二代就是目前的概率学习(或深度学习),我们认为现在正在进入人工智能的第三代。原因很明显,第一代、第二代都有很大的局限性。经济观察报:你所说的第三代人工智能技术是有明确的实现方向或者特点吗?张钹:我们现在提出的是要建立可解释、鲁棒性(注: 可以理解为稳健性)的人工智能理论和方法,发展安全、可靠和可信的人工智能技术。经济观察报:这样的技术可能要等很久?张钹:是啊,很难预计,我们也很着急。经济观察报:是不是还得回归到数学等理论层面里再去找新的方法?张钹:这个目前我们有两条路,一个是和数学结合,一个是和脑科学结合。你想想如果没有新的数学工具,没有来自于脑科学启发下的新思路,哪来的新理论?另一方面是要把数据驱动和知识驱动结合起来,因为通过数学、脑科学上寻求突破是比较艰难的,前面这件事现在则完全能够做。经济观察报:这个结合是指之前几十年人工智能的经验统合到一块?张钹:是的,至少有一个方向就是要把第一代和第二代结合,利用各自的优势。但是这两个结合很困难,因为他们在不同空间中操作,一个是向量空间,一个是符号空间,也需要有新的数学工具的加入。经济观察报:看人工智能历史,每一代技术之间有很长的间隔期,第三代人工智能技术也会这样吗?张钹:我认为会更长,因为需要攻坚,因为遇到的问题更困难。经济观察报:会不会再过10年、20年,人工智能在学界或者公众心中,又变成一个“隐学”,就像70、80年代那样,大众又不会再经常提起来这个词?张钹:低潮会发生,但不会像过去那样,原因在哪?因为有大数据、互联网和强大的计算资源,这些都会支撑人工智能继续走下去,尽管有的时候还只是表面上的繁荣。 附: 在2018 全球人工智能与机器人峰会上,清华大学人工智能研究院院长张钹院士做题为“走向真正的人工智能”(Towards A Real Artifitial Intelligence)的大会报告。以下为报告全文,供大家学习交流。张钹院士:走向真正的人工智能我今天要讲的中心思想就是:我们现在离真正的人工智能还有一段很长的路。为了讲清这个思想,我必须回答下面三个问题:第一,什么叫做真正的人工智能?我们的目标是什么?第二,为什么我们需要真正的人工智能?第三,我们如何走向真正的人工智能?我现在回答这三个问题。首先我们如何评价目前人工智能取得的成果,我们的评价很简单,针对这 5 件事:第一是深蓝打败人类国际象棋冠军;第二是 IBM 在电视知识竞赛中打败了美国的前两个冠军,这两件事是一种类型,后面的三件事是另外一种类型;即 2015 年微软在 ImageNet 上做图象识别,它的误识率略低于人类。还有百度、讯飞也都宣布在单句的中文语音识别上,它的误识率也略低于人类。还有一个是大家非常熟悉的 AlphaGo 打败了李世石。这 5 件事情都是机器在一定的范围内超过了人类,我们如何来评价这 5 件事?大家一致认为这 5 件事之所以成功,是由于前面三个因素,一是大数据,二是计算能力提高,第三是有非常好的人工智能算法。这三个因素大家都讨论得非常多了,没必要我再来说,我现在要说的最后一个因素是被大家所忽略的,这个因素是说,这所有的成果必须建立在一个合适的应用场景下。这 5 件事虽然领域很不一样,但是它们都满足完全一样的条件,或满足下面的 5 个限制,首先你必须有丰富的数据或者丰富的知识,如果这两件东西没有,或者很少,你不用来谈人工智能,因为你无法实现无米之炊。人工智能唯一的两个资源,一个是数据,一个是知识。还有确定性信息、完全信息、静态的、单任务和有限领域。这 5 个条件里面任何一个条件不满足,现在的人工智能做起来就非常困难了。大家想想这 5 个限制条件下的应用场景是什么样的应用场景?就是照章办事,不需要任何灵活性,这显然不是智能的核心。我们现在分析一下上述 5 个场景。下象棋是完全信息博弈,信息完全和确定,没有问题。其次,它遵循着完全确定的游戏规则演化,我们把这种情况也叫做静态。Watson 机器人也是这样,Watson 是什么样的对话问题呢?它为什么选择知识竞赛呢?我们知道知识竞赛提的问题都没有二义性,都是明确的,它的答案总是唯一性的。所以这样的问答对机器人来讲是非常容易的。它涉及的领域虽然比较宽,但也是有限的,包括大家觉得很玄乎的围棋,也完全符合上面 5 个条件,所以对计算机来说也是很容易的。目前计算机打麻将就不行,因为牌类是不完全信息博弈,所以比棋类要难。总之,我们对目前人工智能取得的成果要有一个正确的评价。目前的人工智能技术在以下领域都可以找到它的应用,它们是交通、服务、教育、娱乐等等,但我要强调是这些领域里面只有满足上述 5 个条件的事情,计算机做起来才会容易,如果不满足这些条件,计算机就做起来就困难了。大家常常关心什么样的工作会被机器所替代,我可以明确告诉大家,满足这 5 个条件的工作,总有一天会被计算机取代,就是那些照章办事,不需要任何灵活性的工作,比如说出纳员、收银员等等。在座的所有工作都不可能被计算机完全代替,但不排斥你的工作中有一部分会被计算机取代,老师、企业家等的工作不可能被计算机完全代替。为什么有这 5 个限制?原因在于我们现在的人工智能是没有理解的人工智能。我们先看符号模型,理性行为的模型,举 Watson 的例子,它是个对话系统,我们现在所有做的对话系统都跟这个差不多,但是 Watson 做得更好些,它里面有知识库,有推理机制。沃森除了专家知识之外,还有大量互联网上大众的知识,还运用了多推理机制。请看,这就是 Watson 系统的体系结构。它里面有哪些知识呢?有很多,包括百科全书、有线新闻、文学作品等等。所有的知识用纸质来表示有 2 亿页,用存储量表示达到了 4TB。它能回答什么问题呢?用它的例子来说明。第一个问题,1974 年 9 月 8 日谁被总统赦免?这对美国人来讲很好回答,同样对计算机来讲也很好回答,你用这几个关键字「1974 年 9 月 8 日」、「被总统赦免」,就能在文献里头查出来是谁,他就是尼克松。也就是说根据问题中的关键字,可以在已有的文献里头直接找到答案,这就是一般的网络检索方法。第二个问题,荧光粉受到电子撞击以后,它的电磁能以什么方式释放出来?我们用「荧光粉」、「电子撞击」、「释放电磁能」等关键词,也可以找到答案:「光或者光子」。这种方法就是平时网络搜索的原理,应该说没有什么智能。回答下面的问题就需要「智能」了,跟智利陆地边界最长的是哪个国家?跟智利有陆地边界的国家可以检索到,它们是阿根廷和玻利维亚,但是谁的边境长?通常查不到。Watson 具备一定的推理能力,它从边界间发生的事件、边界的地理位置等等,经过分析推理以后就可以找出答案,它就是阿根廷。下一个问题也属于这种性质,跟美国没有外交关系的国家中哪个最靠北,跟美国没有外交关系的国家有 4 个,只要检索就行了,但是哪个国家最靠北,没有直接答案,但可以从其它信息中推导出来,比如各个国家所处的纬度、气候寒冷的程度等等分析出来,答案是北朝鲜。智能体现在推理能力上。 但是很不幸,现在的对话系统推理能力都很差。Watson 系统好一些,但也很有限。换句话说,我们现在的对话系统离真正的智能还很远。我们通过索菲亚机器人就可以看出来,索菲亚的对话是面向开放领域,你可以随便提问,问题就暴露出来了。大家在电视上看到索菲亚侃侃而谈,问什么问题都能答得很好,这里面有玄机,如果你的问题是预先提出来的,因为里头有答案,因此回答得非常好,在电视上给大家演示的都是这种情况。如果我们临时提问题,问题就出来了。这是一个中国记者给索菲亚提的 4 个问题,它只答对了一个。「你几岁了」,这个问题很简单,它答不上来,它的回答是「你好,你看起来不错」,答非所问,因为它不理解你所问的问题。只有第二个问题它是有准备的,里面有答案,所以答得很好。「你的老板是谁」,这个肯定它有准备。第三个问题,「你能回答多少问题呢」?它说「请继续」,没听懂!。再问第四个问题,「你希望我问你什么问题呢」?它说「你经常在北京做户外活动吗」?这就告诉我们说,现代的问答系统基本上没有理解,只有少数有少量的理解,像 Watson 这样算是比较好的。为什么会这样?也就是说我们现在的人工智能基本方法有缺陷,我们必须走向具有理解的 AI,这才是真正的人工智能。我这里提出的概念跟强人工智能有什么区别?首先我们说它在这点上是相同的,我们都试图去准确地描述人类的智能行为,希望人工智能跟人类的智能相近,这也是强人工智能的一个目标,但是强人工智能只是从概念上提出来,并没有从方法上提出怎么解决。大家知道强人工智能提出了一个最主要的概念,就是通用人工智能。怎么个通用法?它没有回答。我们现在提出来的有理解的人工智能是可操作的,不只是概念,这是我们跟强人工智能的区别。人机对话的时候,机器为什么不能理解人们提的问题。我们看一个例子就知道了,我们在知识库里把「特朗普是美国总统」这个事实,用「特朗普-总统-美国」这三元组存在计算机里面,如果你提的问题是「谁是美国总统」?机器马上回答出来:「特朗普」。但是你如果问其它有关的问题,如「特朗普是一个人吗」?「特朗普是一个美国人吗」?「美国有没有总统」?它都回答不了。它太傻了,任何一个小学生,你只要告诉他特朗普是美国总统,后面这几个问题他们绝对回答得出来。机器为什么回答不了后面的三个问题呢?就是这个系统太笨了,没有常识,也没有常识推理。既然特朗普是美国的总统,美国当然有总统,但是它连这一点常识的推理能力都没有。所以要解决这个问题,必须在系统中加上常识库、常识推理,没有做到这一步,人机对话系统中机器不可能具有理解能力。但是大家知道,建立常识库是一项「AI 的曼哈顿工程」。大家想想常识库多么不好建,怎么告诉计算机,什么叫吃饭,怎么告诉计算机,什么叫睡觉,什么叫做睡不着觉,什么叫做梦,这些对人工智能来说都非常难,美国在 1984 年就搞了这样一个常识库的工程,做到现在还没完全做出来。可见,要走向真正的人工智能,有理解的人工智能,是一条很漫长的路。这里介绍一点我们现在做的工作,加入常识以后,对话的性能会不会有所改善。 我们的基本做法是建立一个常识图谱,用这个图谱帮助理解提出的「问题」,同时利用常识图谱帮助产生合适的答案。下面就涉及到具体怎么做了,我不详细说了,我就说结果,结果是有了常识以后,性能有了显著的改善,对话的质量提高了。这篇文章已经发表,有兴趣可以去阅读。另外是准符号模型,深度学习、神经网络主要用来模拟感性行为,感性行为是一般很难采用符号模型,因为感性(感觉)没法精确描述。比如「马」,怎么告诉计算机什么叫做马?你说马有四条腿,什么叫做腿?你说细长的叫做腿,什么叫细?什么叫做长?没法告诉机器,因此不能用符号模型。目前用的办法就是我们现在说的神经网络或者准符号模型,也就是用人类同样的办法,学习、训练。我不告诉机器什么叫做马,只是给不同的马的图片给它看,进行训练。训练完以后,然后再用没见过的马的图片给它看,说对了,就是识别正确了,说不对就是识别不正确,如果 90% 是对的,就说明它的识别率是 90%。后来从浅层的神经网络又发展到多层的神经网络,从浅层发展到多层有两个本质性的变化,一个本质性的变化就是输入,深层网络一般不用人工选择的特征,用原始数据就行。所以深度学习的应用门槛降低了,你不要有专业知识,把原始数据输进去就行了。第二个是它的性能提高很多,所以现在深度学习用得很多,原因就在这个地方。通过数据驱动建立的系统能不能算是有智能呢?必须打一个很大的问号,就是说你做出来的人脸识别系统甚至识别率会比人还高,但是我们还不能说它有智能,为什么呢?这种通过数据驱动做出来的系统,它的性能跟人类差别非常大,鲁棒性很差,很容易受干扰,会发生重大的错误,需要大量的训练样本。我们刚才已经说过,给定一个图像库我们可以做到机器的识别率比人还要高,也就是说它可以识别各种各样的物体,但是这样的系统,我如果用这个噪声输给它,我可以让它识别成为知更鸟,我用另外的噪声输给它,可以让它识别成为猎豹。换句话讲,这样的系统只是一个机械的分类器,根本不是感知系统。也就是说它尽管把各种各样动物分得很清楚,但是它不认识这个动物,它尽管可以把猎豹跟知更鸟分开,但是它本质上不认识知更鸟和猎豹,它只到达了感觉的水平,并没有达到感知的水平,它只是「感」,没有上升到「知」。我们的结论是,只依靠深度学习很难到达真正的智能。这是很严峻的结论,因为如果有这样的问题,在决策系统里头是不能用这样的系统,因为它会犯大错。我在很多场合讲过,人类的最大的优点是「小错不断、大错不犯」,机器最大的缺点是「小错不犯,一犯就犯大错」。这在决策系统里头是不允许的,这就显示人跟机器的截然不同,人非常聪明,所以他做什么事都很灵活,这就使得他很容易犯各种各样的小错。但是他很理性,很难发生大错。计算机很笨,但是很认真,小错误绝对不会犯,但是它一犯就是天大的错误。刚才把那个把噪声看成知更鸟,这不是大错吗?你把敌人的大炮看成一匹马,不是大错吗?但是人类不会发生这种错误,人类只会把骡看成驴,但是计算机的识别系统会把驴看成一块石头。原因在哪儿?原因还是 AI 的理解能力问题。我们看这个自动驾驶,过去讲得很多,而且讲得很乐观,我们看看问题在什么地方。我们现在是这样做,我们通过数据驱动的学习方法,学习不同场景下的图象分割,并判别是车辆还是行人、道路等,然后建立三维模型,在三维模型上规划行驶路径。现在用硬件已经可以做到实时,请问大家,这样能不能解决问题?如果路况比较简单,行人、车辆很少,勉强可以用。复杂的路况就用不了。什么原因?非常简单,好多人总结出这个经验,行人或者司机都会有意无意破坏交通规则,包括外国人也一样,中国人更严重一点。这就使得数据驱动方法失效,比如说我们可以用数据驱动方法来了解各种各样行人的行为,我们可以通过大量进行训练,都训练完以后,如果出现新的情况呢?计算机能理解这是人从底下钻过来,很危险吗?所以你不可能把所有情况都训练到。自动驾驶不可能对付突发事件,如果这个突发事件它没见过,它就解决不了。怎么来解决这个问题呢?实际上就是要解决从「Without」到「With」理解的问题。人工智能现在有两种基本方法,一种是用符号模型来模拟理性行为,符号模型可以表达信息的内容,所以它是在一个语义的符号空间里头,但是非常不幸,这个离散的符号表示,数学工具很难用,很多数学工具用不上去,所以它发展很慢。在模拟感性行为的时候,我们用的是特征空间的向量,向量就是数,可以把所有的数学工具都用上,优化的工具、概率统计的工具全部用上。所以数据驱动方法这几年发展非常快,再难的问题,下围棋非常难吧,计算机也可以「算」出来。但是它有一个非常大的缺陷,它是在特征空间里,缺乏语义。我们用数据去训练一个模型,所谓「黑箱学习法」,加上你的数据质量不高,很难学出有用的东西。什么叫概率统计?重复多了就是真理。如果数据质量差,充满了「谎言」。谎言重复多了,就变成真理了。我们现在想出的解决办法是这样的,就是把这两个空间投射到一个空间去,这个空间叫做语义的向量空间。 也就是说我们把符号变成向量,同时把特征空间的向量变成语义空间的向量。怎么做?一是通过 Embedding(嵌入)把符号变成向量,尽量保持语义不变,可惜现在的方法都会引起语义的丢失,我们只能在投射的过程中让语义丢失得少。第二方面做的工作比较少,就是 Raising(提升),把特征空间提升到语义空间去,这主要靠学科交叉,靠跟神经科学的结合。只有这些问题解决以后,我们才能够建立一个统一的理论,因为过去的感知和认知是不同的处理方法,大家说不到一块,如果我们能够投射到同一空间去,我们就可以建立一个统一的理论框架,这是我们的目标。在语义空间处理就可以解决理解问题,但是这项工作是非常艰巨的。介绍一项我们现在做的工作。人工神经网络为什么不能得到语义信息呢?人脑的神经网络为什么可以呢?差别就在这里,我们现在用的人工神经网络太简单了,我们正想办法把脑神经网络的许多结构与功能加进去,我们这里只用了「稀疏发电」这一性质,就可以看出一些效果,人脸、大象或者鸟的轮廓,神经网络可以把它提取出来。还有一个办法就是把数据驱动跟知识驱动结合起来。 刚才讲了,人的智能没法通过单纯的大数据学习把它学出来,那怎么办?很简单,加上知识,让它有推理的能力,做决策的能力,这样就能解决突发事件。我们现在做的工作就是把这些结合起来,这是我们的基本思路,知识也好,数据也好,都投射到同一空间,然后都用同样的数学方法进行处理,这方面我们已经做了不少工作。最后做一个总结,我们从这个坐标看人工智能,横轴代表领域的宽窄,从单领域到多领域、到开放领域。纵轴代表信息的确定性与完全性,从完全到不完全、从确定到不确定。在左下角代表最容易的,就是刚才讲的符合 5 个条件的,现在人工智能在这部分解决得非常好,我们用白色来表示它,AlphaGo 在这里,深蓝在这里,工业机器人在这里。现在我们正在向灰色地区去走,打牌,信息不完全,现在打德州扑克,一人对一人,计算机能战胜人类,多人对弈,计算机还不行,这是灰色地带,我们还可以做,为什么可以做?尽管打牌是不确定的,但是它在概率意义下是确定的,你拿的这副牌的概率,可以算出来,同花的概率是多少,排成顺的概率是多少,既然概率能算出来,最终人类肯定会被计算机打败。Watson 在右边,它的领域比较宽,但是它是确定性的,所以是在灰色的区域。往右上方去就比较难了,自动驾驶、服务机器人、大数据分析,它是一个大框,有的简单,有的困难,就自动驾驶来讲,专用道、行车很少,路况简单等,在白色或者灰色区,如果路况复杂就到了黄色区域,黄色区现在计算机还解决不好。最远的在哪儿呢?右上角,图灵测试。大家对图灵测试有很多误解,其实图灵测试是开领域问答,很难!索菲亚做得怎么样?很糟糕。自然语言理解也在这里,复杂环境下的决策在偏左一点的地方,这也是很难的。所以我们人工智能现在是从左下角往右上角走,我们现在处在出发点附近。有的人想把它用一些名词来区分人工智能的不同发展阶段,有专家问我,你的看法怎么样?我建议不要用新词,用新词往往说不清,很麻烦,有的人说现在是弱人工智能,以后是强人工智能,也有人说现在叫增强智能(Augmented Intelligence)也是 AI……概念太多说不清,还是简单一点,「我们正在通往真正 AI 的路上」,现在走得并不远,在出发点附近,人工智能永远在路上,大家要有思想准备,这就是人工智能的魅力。 大家为什么这么重视人工智能?因为我们永远在路上,这就吸引我们去解决这些问题,这些问题一旦解决了,人类的社会进步、人类的生活就会发生本质上的改变。最后我用中文写最后一段作为总结,可惜我翻译不了。周穆王西巡狩,路遇匠人名偃师。翌日偃师谒见王,偕来一个假人。「趋步俯仰,信人也」。「领其颅,则歌合律;捧其手,则舞应节。千变万化,惟意所适。王以为实人也,与盛姫内御并观之,技将终,倡者瞬其目而招王之左右侍妾。王大怒,要杀这个偃师。偃师大慑,立剖其倡者以示王,皆傅会革、木、胶、漆、白 、黑、丹、青之所为。穆王始悦,诏贰车载之以归。这是 3000 年前我们古人对机器人的想象,看看现在的人工智能做得怎么样呢?索菲亚是我们现在达到的水平,可是她不会唱歌、不会跳舞,只会说英文,周王也听不懂,肯定没有印象。现在我们假设索菲亚「瞬其目而招王之左右侍妾」,向周王的姨太太们送去秋波,王会如何呢?我认为没反应,因为索菲亚是女的,他用不着吃醋。但是我们假设索菲亚「瞬其目而招王」,向大王送去秋波,王会大悦,立即神魂颠倒,坠入爱河?我认为不会,因为索菲亚根本不像人,它最近才刚刚安上手脚,走路都不利索,怎么行呢?所以我的结论是,「索菲亚通不过穆王的测试,当然它更通不过图灵测试」。我们的结论是什么? 人工智能刚刚起步,离真正的 AI 还很遥远, 大家共同努力吧,我们任重道远。
  • [热门活动] 华为开发者大会2021(Cloud)厦门大学分会召开,使能AI人才培养
    4月24日,华为开发者大会2021(Cloud)厦门大学分会顺利召开,本次活动由厦门大学与华为联合举办。会上,厦门大学信息学院多位老师、华为昇腾技术专家等来自产学研的各界精英,围绕人工智能发展、华为昇腾技术创新与应用的议题,发表了精彩演讲,并与厦门大学学生进行了深入讨论和实操训练。活动现场厦门大学信息学院副院长洪学敏、厦门大学信息学院博士生导师曾文华、MindSpore高级工程师兼昇腾布道师刘志丹等重要嘉宾莅临本次活动。信息学院副院长洪学敏在开场致辞中提到,人工智能(以下简称AI)已成为推动社会发展的关键引擎,AI技术可以助力各产业实现智能化转型升级,是社会发展和技术创新的产物。未来,联接、AI、云、计算、行业应用等多种先进技术和机会互相催化、有机融合,必将催生大量的技术创新和应用创新,为社会发展开启了充满想象的广阔前景。信息学院副院长 洪学敏老师这其中,人才是AI发展的核心驱动力,对于产业创新而言,质量的提升是要求也是衡量标准,全栈智能的创新技术则是产业创新的引擎,而拥有产业视角和创新技术的人才则是产业创新关键所在。洪学敏认为,人才缺乏或将严重制约AI技术和产业的发展,随着产业创新浪潮的兴起,产业开发者的时代已经来临。作为为国家孕育人才的知名高校,厦大将携手华为昇腾一同大力支持人工智能产业的发展,为国家AI发展蓝图培养更多懂AI、用昇腾的高精尖人才。同学们积极互动,踊跃发言提到AI,就不得不聚焦计算框架,简单来说,AI计算框架好似互联网时代的安卓操作系统,它就像人工智能的大脑和灵魂,所以,开源的MindSpore其重要性自然不言而喻。华为MindSpore高级工程师、昇腾布道师刘志丹在《MindSpore——AI新势力》演讲中指出,当前,AI框架面临很多挑战,比如,模型规模和复杂度越来越高,逐渐从单一的NN向通用AI和科学计算演进,因此对开发者的专业度和创新力提出了更高的要求。而新的AI编程语言、芯片/集群性能的持续提升,同时也给开发者带来了更多的发展机遇。而华为的MindSpore一方面可以提升运行速度,使运行态更高效,另一方面,着重提升了易用性,降低AI开发者的开发门槛,使开发态更友好。本次活动中,华为还启动了昇腾CANN训练营和MindSpore训练营。刘志丹女士作为MindSpore训练营讲师,带领在场师生开展了基于MindSpore框架端边云全流程开发一个AI应用的实验,令在场的年轻开发者们收获颇丰。MindSpore高级布道师 刘志丹女士近年来,我国人工智能在技术与应用方面取得了巨大进展,在国际上具备了一定的竞争力,但基础层整体实力较弱,缺乏人工智能框架、人工智能芯片等根技术的支撑。据厦门大学信息学院博士生导师曾文华介绍,昇腾310芯片采用华为自研的达芬奇架构,集成了丰富的计算单元,在功耗和计算能力等方面突破了传统设计的约束,使智能系统的性能大幅提升,部署成本大幅降低。而昇腾910是一款具有超高算力的AI处理器,除了基于达芬奇架构的AI核外,昇腾910还集成了多个CPU、DVPP和任务调度器,因而具有自我管理能力,可以充分发挥其高算力的优势。信息学院博士生导师 曾文华老师曾文华特别强调,国际巨头尚未形成类脑芯片等前沿领域的技术和知识产权壁垒,因此我国需要充分发挥国内高校和科研院所力量,加强类脑芯片等前沿性领域布局,方能使我国在人工智能芯片领域实现“换道超车”。人才培养既需要基础理论灌溉,也需要对接产业界科技发展趋势与市场需求。只有通过构建多方协同、优势互补、良性发展的人才生态与培养体系,方能激发基础教育与产业的持续活力。千年树木,百年树人,值此厦门大学百年校庆之际,华为开发者大会2021(Cloud)厦门大学分会的成功召开,不仅为厦大学子带来一场精彩绝伦的知识盛宴,而且真正帮助了ICT领域的年轻人才了解产业创新、加入产业创新、加速产业创新,助力他们成为“了不起的开发者”。
  • [热门活动] 华为开发者大会2021走进西工大,赋能高校 智创未来
    4月24日-26日,以“每一个开发者都了不起”为主题的华为开发者大会2021(Cloud)于深圳顺利举行。大会采用全球区域联动模式,线上线下同步开启。18个线上技术频道进行直播,覆盖36座城,63场线下分会场。邀请行业大咖、华为科学家、顶级技术专家在各省市知名机构、学府,为每一位潜在的开发者带来一场科技盛宴。4月24日,华为开发者大会2021(Cloud)西北工业大学分会场顺利举行,业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者,集结汇聚,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。华为云生态架构师李文强从新兴互联网到传统行业,云服务已延伸到千行百业。随着技术的不断成熟,AI、大数据、物联网、AR/VR等技术逐渐映入公众眼帘。科技应用在日常生活中,使政务、医疗、教育、交通、制造、汽车等行业不断提升生产力。除此以外,新型技术的结合还在不断衍生出各种新型场景。在琳琅满目的技术应用中,什么是它们的根本,华为又是如何在应用层面去实现这些技术的?带着这些问题,华为云生态架构师李文强先生首先带来主题为“云原生2.0赋能生态使能应用”的演讲。他在演讲中,运用问答互动的形式为西北工业大学学子们,生动的讲解了如何依托华为云的云原生产品能力更加高效的开发行业应用。会上,西北工业大学学子们踊跃发言,针对“多元算力、分布式云、云原生、容器、微服务”等专业技术层面的问题各抒己见,在李文强先生的带领下一起交流探讨各种开发者在应用开发过程中会碰到的难题,会议学习氛围浓厚,探讨情况热烈。西北工业大学计算机学院智能计算系统系主任张羽随后,西北工业大学计算机学院智能计算系统系主任张羽上台为大家讲解西北工业大学“智能基座”产教融合协同育人的实践案例和成果。从操作系统到生态转化,从为何选择华为到如何实施产教结合,一边回顾过去受教于华为的新技术,一边推陈出新将新技术融入到大学的课程中去,为西北工业大学的学子们带来能够学以致用、落于实地的技术课程。他以华为openEuler操作系统为例,讲述了他是如何在华为学习openEuler,如何将其引到西北工业大学来,在短暂的时间里将课程知识转化为西北工业大学学子感兴趣的学习内容,多元化的从实践出发,启迪同学们开拓渠道,多元化、多方位成为一个优秀的开发者。发言最后,张羽分享了通过华为“产教融合”计划,西北工业大学与华为共同取得的进步成果。西北工业大学软件学院院长助理魏倩茹在当今社会,深度学习已经无声无息的影响了许多人的决策和喜好,深度学习技术的应用无处不在:在搜索技术,数据处理,机器翻译,自然语言处理,多媒体学习,语音识别,推荐和个性化技术,以及其他诸多领域都得到了大量的运用。西北工业大学软件学院院长助理魏倩茹在会上,以“深度学习的快乐是什么”为主题,为大家讲解在实际的应用环境下,深度学习需要克服的困难,而克服这些困难正是无数开发者的乐趣所在。青软创新科技集团教学副总监赵锦明青软创新科技集团教学副总监赵锦明带来DevCloud的运用实践。他表示,随着企业数字化转型需求的逐渐凸显,智慧城市建设浪潮的汹涌来袭,在对算力要求越来越高的同时也酝酿出了巨大的软件需求市场。在发言中,他从软件开发层面的技巧到求职就业方面的经验对在场的同学们倾囊相授,更是手把手带领同学们一起学习相关软件的使用,对同学们在开发过程中遇到的困惑给予详细解答。本次华为开发者大会2021(Cloud)西北工业大学分会场,华为云为西北工业大学的学子带来了顶尖的科技创新知识,进一步落实“智能基座”产教协同育人实践,“以产业集聚人才,以人才引领产业”,从专业学子开始,为华为云计算生态的建设培养了不起的开发者。
  • 求小助手能在商城上架关于机器学习,深度学习的书
    求小助手能在上传上架关于机器学习,深度学习的书
  • [技术干货] 学深度学习用的网站有推荐的,吗
    学深度学习用的网站有推荐的,吗
  • [热门活动] 参加华为开发者大会,收获满满
    这次来开发者大会收获真的特别大。 早上先签个到。大会是在深圳大学城内举办,深圳大学城包括清华大学深圳研究生院、北京大学深圳研究生院、哈尔滨工业大学(深圳)(可能还有其他的,只是我没看到)。三个大学着落在一起,共享藏书丰富的图书馆、彼此校园不设边界和围栏,拥有一流的师资力量、先进的教学设施、充足的实习机会、产学研充分结合。 一进大学城,目光所及的设施真的都超棒! 上午听一听余老师和其他大佬的主题演讲哈哈。 我认真听了主题演讲的部分内容,感觉华为业务能力真的很强。 我读研是计算机视觉在遥感方面的应用,偏CV方向,所以我听到华为的盘古系列超大规模预训练模型还挺感兴趣的。 “华为云发布盘古系列超大规模预训练模型,包括30亿参数的全球最大视觉(CV)预训练模型,以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的全球最大中文语言(NLP)预训练模型。后续,华为云还将陆续发布多模态、科学计算等超大预训练模型。” 看到华为云人工智能领域首席科学家田奇和盘古模型语音交流的时候,我是非常吃惊的,这个模型效果真的超级好,和人对话的时候,它能进行联系上下文进行回答,同时,他还会生成图表来回答人的问题。 看完大佬的分享,我只有一个感觉:AI必然颠覆社会,时代的大浪,已经来到。吴军老师在《智能时代》说过 “在历次技术革命中,一个人、一家企业,甚至一个国家,可以选择的道路只有两条:要么加入浪潮,成为前2%的人,要么观望徘徊,被淘汰。"时代的一粒灰,落在个人头上,就是一座山。如今,时代的浪涛已经澎湃汹涌,时不可待。 作为可塑性强的少年,我们能做的,就是尽早尽可能抓住机会上车吧,无论是AI,BIG Data,还是无人驾驶,云计算,IOT等新兴产业。 不要被时代落下,让人生充满遗憾。 除了AI,我还认真听了云方面的演讲。 云已经变成生活中不可或缺的一部分。就我所知,华为云为小红书、虎牙直播等客户提供了强大云平台。 华为云2020年业务增长飞快,我查阅了虎嗅网的报道,目前国内公有云市场最大变量是华为云。2020年华为云与计算BG成立后,华为云高速扩张,和腾讯云共同成为国内第二大云厂商。 多么好的产业啊,一边看主题演讲,我一边仿佛看到了华为云飞速膨胀的市值和飞速增长的订单。 像我们这样的年轻人,想要改变自己的命运,乘风破浪,就应该拼了命也要争取去这样的公司和业务部门,和快速成长的朝阳行业一起经历快速扩张和成长,扶摇直上九万里。   中午吃华为提供的免费午饭,除了午饭,还可以领小零食。 吃完饭后,我开始逛华为的展区,没想到逛了一整个下午。 华为爸爸太有钱了,最起码有20+个展厅,展厅内容包罗万象,AI、云计算、IoT、云原生、鲲鹏计算、Gauss数据库、5G……每个展厅都有很丰富的活动,参加就可以领小礼品。我参加了超级多活动,到最后拿到的礼品太多,手已经拿不动了哈哈 拿到的礼品比门票都值钱,超级回本哈哈  这个过程中遇见了华为公益部的帅气小哥哥,在华为云学院工作的小姐姐(超级暖的小姐姐),华为云方面的专家等等,我通过和他们的交流,收获了特别多新的知识。 因为我特别想学云的相关知识,华为云学院小姐姐特别热情地告诉我华为云学院有很多免费的专业课程,还有微认证实验、认证证书等项目。 在小姐姐的鼓励下,我回家疯狂学习云知识,5天学完了18门基础课,直接学完了HCIA-Cloud Service V2.2 系列课程。 课程讲得特别好,适合小白同学,超级推荐大家去看! 除了非常多的展馆,还有大牛作报告、大牛面对面交流活动(扫地僧活动),活动在清华大学的教室里面,可以近距离和大牛面对面接触,多棒! 还有Codelabs等等活动,Codelabs在图书馆三楼,刚进入图书馆的时候我都惊呆了,这个图书馆是清华。北大。哈工大共享的图书馆,不仅藏书特别丰富,而且设施还特别好。  傍晚华为还提供了免费的晚餐!超级丰富!各种各样的食物,想吃可以随意拿! 超新鲜的椰子水、鸡尾酒、烧烤、浇上草莓酱的华夫饼、水果酸奶......逛了一天,开发者大会晚上还提供了嘉年华活动!嘉年华就是一个大Party活动,华为邀请了一些歌手、唱跳女团和DJ在大学城体育馆表演,相当于我们可以免费看演出,而且是超近距离看演出,真的太棒了。 华为免费发了我们支援牌~拿起支援牌超有演唱会追星feel~ 《鲲鹏》这首歌真的好听,现场演出效果挺不错的~ 同时,华为还在嘉年华给华为软件精英挑战赛的获奖选手颁奖了,冠军团队居然有20万!同样是大学生,差别咋这么大呢,真是太羡慕了。 最后,值得一提的是,华为开发者大会学生门票88元,非学生的通票1000元+,两者功能差不多。 作为学生,不来真的很可惜。 虽然我在长沙上学,但是我看到这个活动就直接就拿起手机买火车票,直接莽来了深圳,一开始真的没想到收获这么大。明年我还会来的!明年这个时候的我,肯定已经把HCIP和HCIE知识学完了!
  • [其他] 开发集和测试集的大小
    在上一个文章中你们知道了你的开发集和测试集为什么必须来自同一分布,但它们规模应该多大?在深度学习时代,设立开发集和测试集的方针也在变化,我们来看看一些最佳做法。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/30/005301siugokwyanbfvkuo.png) 你可能听说过一条经验法则,在机器学习中,把你取得的全部数据用70/30比例分成训练集和测试集。或者如果你必须设立训练集、开发集和测试集,你会这么分60%训练集,20%开发集,20%测试集。在机器学习的早期,这样分是相当合理的,特别是以前的数据集大小要小得多。所以如果你总共有100个样本,这样70/30或者60/20/20分的经验法则是相当合理的。如果你有几千个样本或者有一万个样本,这些做法也还是合理的。 但在现代机器学习中,我们更习惯操作规模大得多的数据集,比如说你有1百万个训练样本,这样分可能更合理,98%作为训练集,1%开发集,1%测试集,我们用和缩写来表示开发集和测试集。因为如果你有1百万个样本,那么1%就是10,000个样本,这对于开发集和测试集来说可能已经够了。所以在现代深度学习时代,有时我们拥有大得多的数据集,所以使用小于20%的比例或者小于30%比例的数据作为开发集和测试集也是合理的。而且因为深度学习算法对数据的胃口很大,我们可以看到那些有海量数据集的问题,有更高比例的数据划分到训练集里,那么测试集呢? 要记住,测试集的目的是完成系统开发之后,测试集可以帮你评估投产系统的性能。方针就是,令你的测试集足够大,能够以高置信度评估系统整体性能。所以除非你需要对最终投产系统有一个很精确的指标,一般来说测试集不需要上百万个例子。对于你的应用程序,也许你想,有10,000个例子就能给你足够的置信度来给出性能指标了,也许100,000个之类的可能就够了,这数目可能远远小于比如说整体数据集的30%,取决于你有多少数据。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202104/30/005311rf4cp58uehroiok3.png) 对于某些应用,你也许不需要对系统性能有置信度很高的评估,也许你只需要训练集和开发集。我认为,不单独分出一个测试集也是可以的。事实上,有时在实践中有些人会只分成训练集和测试集,他们实际上在测试集上迭代,所以这里没有测试集,他们有的是训练集和开发集,但没有测试集。如果你真的在调试这个集,这个开发集或这个测试集,这最好称为开发集。 不过在机器学习的历史里,不是每个人都把术语定义分得很清的,有时人们说的开发集,其实应该看作测试集。但如果你只要有数据去训练,有数据去调试就够了。你打算不管测试集,直接部署最终系统,所以不用太担心它的实际表现,我觉得这也是很好的,就将它们称为训练集、开发集就好。然后说清楚你没有测试集,这是不是有点不正常?我绝对不建议在搭建系统时省略测试集,因为有个单独的测试集比较令我安心。因为你可以使用这组不带偏差的数据来测量系统的性能。但如果你的开发集非常大,这样你就不会对开发集过拟合得太厉害,这种情况,只有训练集和测试集也不是完全不合理的。不过我一般不建议这么做。 总结一下,在大数据时代旧的经验规则,这个70/30不再适用了。现在流行的是把大量数据分到训练集,然后少量数据分到开发集和测试集,特别是当你有一个非常大的数据集时。以前的经验法则其实是为了确保开发集足够大,能够达到它的目的,就是帮你评估不同的想法,然后选出还是更好。测试集的目的是评估你最终的成本偏差,你只需要设立足够大的测试集,可以用来这么评估就行了,可能只需要远远小于总体数据量的30%。 所以我希望本视频能给你们一点指导和建议,让你们知道如何在深度学习时代设立开发和测试集。接下来,有时候在研究机器学习的问题途中,你可能需要更改评估指标,或者改动你的开发集和测试集,我们会讲什么时候需要这样做。
  • [其他] 分享深度学习在经济学中的应用
    强化学习在高维经济学问题中的应用前面介绍的是深度学习在经济学领域的应用。对比传统的深度学习,深度强化学习能够有效处理高维问题。所以,在一些包含高维动态数据的经济学问题上,深度强化学习表现更加优秀。1、深度强化学习下的股票交易由于缺乏处理高维问题的能力,传统强化学习方法不足以找到最佳策略。下面是深度强化学习的最新研究。有使用深度确定性政策梯度(DDPG)算法作为一种替代方案来探索动态股票市场中的最优策略。算法处理较大的动作状态空间,兼顾了稳定性,消除了样本相关性,提高了数据利用率。也有人设计了一种新的自适应深度确定性强化学习框架(Adaptive DDPG),用于在动态复杂的股票市场中发现最优策略。该模型结合了乐观和悲观的Deep RL(optimistic and pessimistic Deep RL),既依赖于负的预测误差,也依赖于正的预测误差。还有为了分析股票决策机制的多种算法,在深度RL中进行了调查研究。他们基于DQN、Double DQN和Dueling DQN三个经典模型的实验结果表明,其中DQN模型可以获得更好的投资策略。另外,这项研究还应用实证数据对模型进行了验证。专注于使用深度强化学习实现证券交易中的自动振荡,其中他们使用递归卷积神经网络(RCNN)方法从经济新闻中预测股票价值。2、深度强化学习下的投资组合管理 [118]采用了不同的强化学习方法,例如DDPG方法、最近策略优化(PPO)方法和PG方法。这些方法能够获得与连续行动空间中的金融投资组合相关的策略。他们结合中国资产市场对模型在不同环境下的表现进行了比较,结果表明PG模型在股票交易中比其他两种模型更有利。本研究还提出了一种新颖的对抗性训练方法,能够提高训练效率和平均回报。有研究设计了无模型卷积神经网络(model-less RNN),其中输入是来自加密货币交易所的历史资产价格,目的是产生一组投资组合权重。也有研究通过充分利用DPG方法来引入奖励函数,以优化累积收益。模型包含了独立评估器集成拓扑结构( Independent Evaluators topology),在权值分担方面结合了大的神经网络集。另外,为防止梯度损坏,还采用了投资组合矢量存储器(Portfolio Vector Memory)。在自动交易的意义上设计了一种新的基于模型的深度强化学习方案,能够采取行动并做出与全局目标相关的顺序决策。该模型体系结构包括注入预测模块(IPM)、生成性对抗性数据增强模块(DAM)和行为克隆模块(BCM),能够用于处理设计的回溯测试。转自,蒋宝尚,https://www.leiphone.com/category/academic/rFDeS2HfFBnXYN7K.html
总条数:1305 到第 页
上滑加载中