• [行业资讯] Omdia观点:AR与VR之间的界限将越来越模糊
    虚拟现实(VR)正在逐步向大众市场推进,主要的驱动力来自Meta(Facebook)对于发展该技术和降低独立VR头显(即Quest2)价格的投资。与此同时,基于智能手机的增强现实(AR)正在为丰富的头戴式AR和MR(混合现实)体验奠定基础。应用开发者在移动AR上磨练了自己的AR技能,同时PokémonGo和社交媒体应用的面部滤镜让大众体验了AR的能力。AR眼镜和MR头显目前几乎完全用于企业应用场景,但更引人注目的聚焦消费者的AR和MR头显即将出现。AR和VR之间界限正变得模糊,这是一个不可避免的趋势。Omdia预计,2022年将出现更多明显的混合现实示例,包括passthroughMR头显。根据Omdia的初步预测,VR要被消费者广泛采用仍有很长的路要走,预计到2022年底,领先的32个国家中只有2.3%的家庭拥有VR头显。 主要信息随着2022年元宇宙推动VR的快速发展,Meta将处于主导地位。由于其不断增长的用户群、成熟的内容分发平台和即将推出的Horizon社交VR平台,Meta有望成为元宇宙领域占据主导地位的参与者。MR将使我们走上AR之路。AR头显距离大规模采用还有一段路要走——所以在短期内,开发passthroughMR将创造出有价值的应用。头显并没有使用新型透视光器件,而是采用非透明屏幕来显示外部摄像头的实时景象,从而获得更完整的视野和更好的画质。随着Meta为其元宇宙奠定基础,广告在VR中的作用将会增强。在2020年,VR的内容收入可能已经超过10亿美元,但这仍然只占媒体和娱乐收入总额的一小部分。VR和元宇宙将需要广告来实现其收入潜力。非游戏AR应用将打破应用商店模式并在用户支出方面超越游戏。在更广泛的应用市场上,游戏是应用商店用户支出的主要驱动力,但在移动AR领域,非游戏应用已成为用户支出增长的主要引擎,并且从2022年起,其收入将超过游戏收入。游戏化的健康与健身将成为移动AR游戏的新目标。未来一年,AR游戏开发者将更加专注于游戏化的健康和健身应用,从而寻找PokémonGo以外的大众市场机会。给硬件制造商的建议Meta积极的亏损领先硬件策略将使得参与者在消费者领域开展竞争极具挑战性。其它头显制造商将继续艰难地以Meta目前达到的低价位提供有竞争力的头显。因此,它们应关注其它领域,例如企业VR或新型(或专门)的消费者用例。PassthroughVR头显将作为未来MR体验的短期替代品。VR头显并没有使用新型透视光器件,而是采用非透明屏幕显示外部摄像头的实时景象,从而获得更完整的视野和更好的画质。AR可以在移动屏幕上支持一些最吸引人的体验,为此,它需要利用一些智能手机最引人注目的功能,例如摄像头和微处理器。终端制造商应该更多地使用AR来凸显产品的差异化优势。为手机内置一些支持原生AR体验的应用是展示终端最前沿能力的一种有效方式。给内容提供商和开发者的建议以Meta的VR平台为基础。VR内容提供商应优先在QuestStore上提供游戏或其它VR内容,因为Meta的头显(由独立的Quest2主导)将占到2022年全球消费者VR头显活跃安装基数总量的一半以上。2022年不会是AR头显走向大众市场的一年,但会有终端发布,这将让开发者更清楚地看到其可能性。早期的终端可能尚未成为主流,但在Facebook的SparkAR、GoogleARCore、Apple的ARKit、Unreal或Unity的跨平台ARFoundation中的开发经验将打下基础。所有媒体参与者都应考虑自己开展VR广告的方式。虽然游戏将代表VR广告最直接的市场途径,但Meta及其同行的元宇宙愿景可能不止于此,它们可能会进入其它媒体领域。给厂商、平台和服务提供商的建议对多人游戏和社交VR体验的需求将不断增长。对虚拟协作、培训、教育、设计和医疗保健工具的兴趣也将增加,因此应特别关注提升并发用户的最大数量以及完善虚拟体验的交互元素。PassthroughMR头显支持的新型沉浸式体验和交互意味着需要新的平台。硬件将支持平台开发,并且通过新平台来占据主导是保持相关性的关键,即使是在开放的元宇宙环境中。广告技术厂商将负责跨终端和平台生态为精准定位、测量和交付VR广告铺设基础设施。厂商应优先考虑精准的归因和测量,但也要考虑在VR广告中构建超越现实世界可能性的高级功能——即支持购物的VR户外广告。
  • [行业资讯] 可以改变体育运动游戏规则的3个物联网应用
    物联网已经在工业和商业环境,以及智慧城市中得到了广泛应用。然而,物联网在体育运动中的应用也催生了可以彻底改变整个行业的创新技术。 以下是物联网可以在体育运动领域改变游戏规则的3个应用。 1、运动员表现 体育科技巨头正在鞋类、服装和设备中安装物联网驱动的传感器,以帮助确保运动员的健康和安全,以及加强训练和运动员发展。 智能服装 智能服装正在引领体能训练的下一个前沿。嵌入传感器的衣服使用实时数据来纠正生物力学、增强体能、优化训练和恢复,甚至纠正运动员的技术和时机。 例如, Athos智能运动服的上衣内置了16个传感器。其中12个是专门的EMG(运动肌电图)传感器,能够让运动员感知到自身肌肉的活动状态以及他们知否达到了设定的目标,另外2个传感器是用来跟踪运动员心率,还有2个传感器是用来跟踪运动员的呼吸状态。 智能鞋类 智能鞋配备陀螺仪、加速度计和压力传感器,可以分析跑步方式,测量应变、冲击和平衡,并提出支持训练目标的建议。这些深入的数据不仅有助于优化性能,而且还能防止受伤。 例如,首尔初创公司 3L Labs 开发了一种健身追踪设备,旨在及早发现健康问题。这款名为 FootLogger 的智能鞋利用从运动员那里收集的生物特征数据发送有关如何改善步态、诊断潜在疾病和提高运动表现的建议。它有八个传感器和一个加速计,以帮助记录运动员的运动习惯。智能鞋还可以帮助患者康复,特别是脊柱或神经系统问题,还可用于发现关节炎和痴呆症的早期症状。 智能设备 到 2026 年,全球智能运动设备市场规模预计将达到 120 亿美元。无论是篮球、棒球棒、高尔夫球杆还是头盔,配备无线物联网传感器的运动设备正在帮助运动员和教练员进行监测、跟踪、分析,并提高成绩,并提供增强的健康和安全。 例如,Babolat 的智能球拍在手柄上安装了一个压电传感器,通过将压力、加速度、应变或力转换为电荷来测量它们的变化。配备此硬件和 Babolat 的算法,球拍可以跟踪球员击球的方式、次数以及速度。 2、设施管理 体育运动中另一个重要的物联网应用是设施和场地管理。体育设施和场馆最大的日常责任之一是保持空间干净、舒适和安全。有许多物联网技术可以帮助简化这些任务并降低相关成本。 例如,将人员统计数据与存在检测数据相结合,可以精确定位经常使用的区域,以及洗手间、特许展位排队、入口和出口等不同区域,以便更好地管理消毒和清洁时间表。在无线物联网传感器的帮助下,设施经理还可以主动监测入口和盥洗室中洗手液、纸巾、卫生纸和洗手液等耗材何时不足,以便进行有效的库存管理和及时补充。同样,体育场可以使用基于物联网的智能垃圾箱技术来加强垃圾管理,将垃圾箱垃圾填充水平的实时数据发送给设施管理人员,以便及时清除。 在观众舒适性,以及运营费用和可持续性方面,能源管理现在可以在监测温度、照明和制冷的环境传感器的帮助下轻松优化。这些环境数据可以识别关键的能源消耗驱动因素,并提供能源消耗模式、故障设备的异常能源消耗(如果有的话),以及未充分使用或过度使用的基础设施和浪费的资源的全方位视图。同样,空气质量传感器可用于确保体育场内的适当通风。 3、观众体验 凭借 80 亿美元的市场规模,体育组织现在意识到,在与让年轻一代留在家中的数字娱乐系统竞争的同时,用创新技术改善观众体验已成为其生存和发展的必要条件。 正在建造最先进的智能体育场,以极大地改善观众体验,并增加比赛上座率。无线传感器为观众提供了丰富的信息,从停车位可用性和场内线路、座椅升级、特别优惠等。观众通过数字显示器或可下载的应用程序获得个性化体验,这些应用程序可以快速找到可用的停车位、较短的特许线路、他们的座位、最近的出口和最近的洗手间等。 总结 如今,物联网在体育运动领域的应用有潜力通过使体育场体验更加个性化、便捷和吸引人来增强体育场体验,并有助于改善商业运营的关键方面。为了充分利用所有的好处,体育组织应该考虑这些指导原则,以最大限度地发挥物联网的力量和好处:利用数据的力量,以灵活的方式思考,并从端到端审视整个观众体验。(编译iothome)
  • [技术干货] 【科普大赛优秀作品展播二】0.1ms极致时延,“要你何用”?
    2020年 全闪存新变数三星电子、东芝、英特尔、长江、美光科技全闪存工艺你追我赶,128层堆叠的3D NAND,128层QLC 3D NAND接连亮相。面对如此激烈的竞争,华为新一代智能存储OceanStor V6仍能够在市场中占据着一定优势,为何?除了最高可达2000万IOPS、SmartMatrix全互联高可靠架构、端云AI、容忍控制器8坏7,0.1ms的极致时延也备受消费者青睐。话说,0.1ms,真的有那么重要吗?下面我们将一起探究一下。 0.1ms是个什么概念?好多小伙伴都喜欢玩《王者荣耀》,我们知道,网络是否流畅很大程度决定着我们的游戏体验,想象一下,打团的时候,网络卡了,等反应过来,往往已经game over。这里的卡主要体现在网络时延上,通俗地讲,网络游戏的时延就是我们对角色的操作与这些操作真正在游戏中的角色体现出来这两者的时间差。通常来说,50ms左右的网络时延玩家是感受不到的,不会影响游戏体验,但超过100ms时,便会出现明显的卡顿,如果时延超过200ms,只能自求多福了。再者,美国X-43高超音速飞机,世界速度最快的飞机,如果仅考虑速度因素,大约三个半小时可以绕飞地球赤道一圈。X43速度最高可达11265 km/h,相当于0.1ms可以飞行0.3m左右。是的没看错,如果你可以做到周期路程为0.3m,你也可以三个半小时环绕赤道,当然,前提是,周期为0.1ms(狗头保命)。50ms的时延人类已经很难觉察,0.1ms更是遥不可及,但随着人类文明的发展,0.1ms这个时间壁垒已经逐渐被突破,为科技欢呼吧。 为什么0.1ms这么重要?玩游戏,我们当然希望时延越低越好,这也是一众厂商的追求。但是不免有人会说,游戏的时延只要不过高,不影响游戏体验,其实也没太大关系,为什么要投入巨大的人力物力追求0.1ms的极致时延呢。这是因为在某些行业,极致时延关乎的不仅仅是一场游戏的输赢,往往涉及重大利益,比如金融行业。时间就是金钱,这句话在金融行业更是体现得淋漓尽致。为什么在金融行业中,需要追求如此极致的时延?首先,我们介绍一个名词,高频交易(HTF),HTF是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易,交易量大,持仓时间短,日内交易次数多。HTF其实是发达金融市场的重要组成部分,由计算机程序操作完成,利用信息不对称进行快速大量的交易是其盈利的主要方向之一。如何更好的做到信息不对称,这就对交易系统的时延具有很高的要求。其实不难理解,股票买卖的利润取决于卖出与买入两者间的差价,或赚或亏,普通人的持有时间通常都不会很短,几天,几个月都有可能,而现在,通过高频交易系统,计算机根据自己的算法决策,可以把这个时间做到毫秒、微秒级别,以求对市场做出最迅速的反应。例如当你输入指令购买A股票时,指令会被传达到交易所,通过技术手段,几乎与此同时高频交易员也能获取该指令,并抢在你之前买入A股票,接着在几毫秒后加价将A股票卖给你。虽然一次获利并不一定很多,但股票交易量庞大,长此以往,这都是白花花的银子呀。先人一步,带来的就是巨大的利润差别。2008年TABB Group发表文章《The value of a Millisecond: Finding the Optimal Speed of a Trading Infrastruture》指出,对于电子交易公司,处理市场的速度至关重要,时延会影响公司提供最佳的执行效果,交易处理时间比竞争对手落后5ms,将损失1%的利润,落后10ms则扩大到10%,每1ms时延将损失400万美元。但此时,并没有电信运营商发现交易员对于速度的渴望。2009年夏天,为了将芝加哥南区的数据中心与新泽西北部的股票交易市场连接起来,2000名工人夜以继日得秘密施工,耗资3亿美元,最终相较于原线路缩减了100英里。这一切,源自于交易员斯皮维敏锐的发现交易所实际交易速度与理论上的最快速度之间有着一定的差异。通过该工程,可以使得交易系统的网络时延减少1ms,但就是这1ms,每年创造的价值竟有200亿美元之多。这就是“一毫秒”的价值。在高频交易中的应用,只是冰山一角,金融业需要极致时延的场景还有很多。由此可见,极致时延,对于金融业来说是极具吸引力的,是决胜千里的关键技术之一。 如何做到0.1ms的极致时延?华为OceanStor Dorado V6,究竟是如何实现全球业内领先的0.1ms极致时延的,不要着急,且听我娓娓道来。硬件、软件框架就好比人体的骨骼和血肉,而通讯协议就像人类之间交流的语言,只有当一个人肌体健硕又脑袋灵光且具有高效的语言交流能力下,他才能发挥出最大的社会效益和经济效益。因此,下面我们也将从硬件框架、软件框架和通讯协议这三大方向具体介绍OceanStor Dorado V6。1)硬件框架巧妇难为无米之炊,OceanStor Dorado V6集结华为自研五款芯片于一身。分别为智能多协议接口芯片(SmartIO芯片)、鲲鹏920芯片、昇腾310智能AI芯片、SSD控制芯片、板级管理BMC芯片。五款芯片各司其职,相互合作,实现了传、算、智、存、管的垂直整合,构建了端到端的芯片平台。为了更形象具体的展示其功能,我们将这五“ 芯”分别对应着一个“ 伪学校考试”中的以下职能加以说明。       智能多协议接口芯片(火柴人1)---传,负责从源源不断的数据包中解析数据。鲲鹏920芯片(火柴人3)---算,负责运算操作,单核算力超过业界主流CPU 25%,最大提供768核。昇腾310智能AI芯片(火柴人2)---智,负责“未卜先知”,通过深度学习算法,对数据进行分析,提升读缓存命中率50%,让数据越存越快。SSD控制芯片(火柴人4)---存,承担读写FTL操作,降低操作系统负担,减少I/O交互次数,降低写时延50%。板级管理BMC芯片(火柴人5)---管,负责故障诊断分析和定位,准确率高达93%。五“芯”合作 2)软件框架       在软件框架方面,OceanStor Dorado V6又是如何提速的?答案是:包含三种黑科技的Active-Active架构,其核心就是负载均衡。但具体是怎么改进的呢?       首先,我们先简单接触下Active-Active架构中的一些概念,方便后续理解。专有名词含义前端I/O模块获取外部读写任务,并将其分配给控制器控制器负责存储数据前的一系列运算操作控制器缓存用于临时存放处理数据过程中产生的中间变量存储池由硬盘组成的存储池,用于存放最终数据LUN逻辑单元号,将硬盘空间划分为若干个小单元       接着,我们的老朋友火柴人又来啦!下面火柴人将会结合改进前后的“正规”排插生产线现身说话。       改进前:在该工厂中,主要人员有绿帽子工头(前端I/O模块)、承担不同生产工艺的螺丝工、外壳工、胶套工等8个火柴人(8个控制器)。此外,还有8个成品仓组成的总仓库(8个硬盘组成的存储池),每个成品仓被划分为若干个小房间,并将来自不同成品仓的小房间组成新的存储单元(存储池中的LUN),我们姑且将其称为RAID 1.0。       有一天,绿帽子工头(前端I/O模块)突然接到了生产任务,但他并不能确定具体要生产什么,只能下发给火柴人甄别。就这样,生产任务经过了胶套工、铜片工、LED工之间的多次转发才最终来到螺丝工手上(这就是控制器缓存中所谓的LUN归属,数据位于哪块区域之中,就由该区域负责的控制器进行处理,如下图中的LUN1、LUN2、LUN3就属于螺丝工控制器负责的区域)。螺丝工收到任务后就哐当哐当地干起来活来,并把产好的螺丝放进了存储池中的LUN。       这种生产方案貌似合理,但细细品来,却能够发现存在着一定的问题。首先,由于绿帽子工头无法精准得下发任务,导致转发多次才能来到相应的负责人那里(即IO请求在控制器间无谓转发)。其次,不同的配件,甚至相同配件在不同时间段的生产任务量是完全不同的,按照这种火柴人负责固定区域划分的模式,有可能会导致劳逸不均。同时,存储池中的LUN是由若干个小房间组成的,粒度较粗,这就导致产品存放对空间的利用率不高。此外,RAID 1.0数据重构成本非常高昂,如果成品仓存储了10G数据,尽管只有区区的1KB数据损坏了,但也要对10G数据进行重构。类似的这些问题,都将成为限制系统性能的瓶颈。 改进后:OceanStor Dorado V6通过自研的全局负载均衡技术、全局缓存技术以及RAID2.0+技术有效地解决了上述问题,极大地提升了效率。下面我们将会结合对三大技术的讲解探究具体是如何提升效率的。全局负载均衡算法:绿帽子工头(前端I/O模块)在技术人员(华为多路径软件)的帮助下,通过神奇的HASH计算,合理地将任务分配给相对空闲的火柴人(控制器)执行,实现了全局控制器负载均衡,让每个火柴人都能快乐且持续地工作,简直是停不下来!!!全局缓存技术:将每个火柴人(控制器)的小仓库(控制器缓存)合并为共享仓库(全局缓存),不再是自顾自了,而是大家一起把活干(这就实现了LUN的无归属)。伴随着分工制度的取消,也就不存在生产任务在火柴人中辗转的情况(避免了IO请求在控制器间的无谓转发,实现了控制器压力均衡)。RAID2.0+技术:不同于RAID1.0中由小房间组成的存储单元(LUN),RAID2.0+技术将存储单元划分的更为细致,粒度更小。首先将每个成品仓划分为许多的更小的房间(Chunk,通常大小为4MB),然后将来自不同成品仓的小房间组成Chunk组(简称CKG),最后再将CKG划分为许许多多的小格子作为最终的存储单元(Grain,通常大小为8K)。存储单元的细粒度不仅提高了空间利用率,实现了硬盘压力均衡。此外,RAID1.0数据重构时只能向热备盘进行写操作,而其他盘将进行读操作,这读写将会成为限制性能的瓶颈。而采用RAID2.0+技术后,上述问题迎刃而解,重构1TB的数据也从RAID1.0的10小时降低至0.5小时,速度提升了20倍。OceanStor Dorado V6还给每个硬盘内置了鲲鹏920芯片,使其具备运算能力,负责业务的重构(数据出现问题?我来重新给你造份,就不劳烦控制框亲自动手了)。这使得火柴人(控制器)有更多的精力做好自己的事情。除此之外,满分条写、多流数据分区、端到端I/O优先级调整技术(有效控制垃圾回收)等多项技术也成功在OceanStor Dorado V6中得到应用。通过上述一系列措施,排插生产效率得到了极大的提升,火柴人工作得更为充实(狗头)。        3)通讯协议          噔噔蹬蹬,火柴人又来啦。改进前:很久之前,那会还是SAS通讯协议,众多的火柴人在CPU处焦急等待,他们都想到达终点SSD处。虽然两张通行证(两次协议封装,先后封装为SCSI和SAS)早就备好了,也允许他们同时出发(多线程),但前往SSD的道路只有一条(单队列),且路上经常塞车(传统SAS SSD在多线程并发下带来的锁竞争)。但火柴人们也只能如此,历经千辛万苦,火柴人们终于从CPU处通过PCle链路和PCle交换机到达SAS芯片处,再通过SAS Expander到达了目的地SSD门口处。但SSD却不肯直接让他们进去,除非他们对着天空大声喊:“我要进!给我进!让我进!我进啦!”(四次协议解析)。火柴人只能无奈妥协,最终耗时562us才能进入SSD。改进后: OceanStor Dorado V6知道火柴人的艰辛之后便开始琢磨着要如何对流程进行了改进,才能更加省时省力。最终采取如下策略:①出行只需持有乙地通行证即可(协议封装次数从2变1,直接封装为NVMe)。②缩短传输路径,减少了中转站SAS芯片,变成了直通车。③道路数量从原来的1条(单队列并发)变成了64K条道路(多队列并发),并且同样允许他们同时出发(多线程并发)。⑤OceanStor Dorado V6为防止路上堵车,专门自研了火柴人出行路线的规划方案,保证交通顺畅(通过自研的IO调度机制,将锁机制编程转变为无锁编程)。⑥火柴人到达SSD门口后,只需喊两声:“我要进!我进啦!”即可(协议解析次数从4变2)。经过了一系列的改进,最终火柴人耗时106us便到达了SSD处,传输效率提升了81%。 0.1ms极致时延将带来哪些改变?随着5G时代的到来,数据规模将呈现指数级的增长。IDC发布的《数据时代2025》白皮书认为,全球数据量大概两年翻一倍,华为全球展望GIV2025也预测到,2025年全球年储存数据量将高达180ZB。如此庞大的数据增长以及越来越高的极限时延追求,对现今的数据基础设施提出了更大的考验,0.1ms极致时延迫在眉睫。在金融行业中,以银行业务请求为例子,强大的数据处理分析能力是银行业务的核心,千万级别的IOPS将给业务IT系统带来巨大的压力,而且随着万物互联时代的到来,将会进一步暴增。0.1ms极限稳定时延能够将平均业务请求时间从以往的15分钟降低至3分钟左右,大大节约了银行业务的排队时间,极大提高银行业务处理能力,改善用户体验。在互联网行业中,以万物互联,车、人、物互联互通为例子。根据Machina预测,中国的物联网连接数量到2020年将迅速突破70亿,三年内将超过100亿,增幅显著高于世界水平。在如此庞大数量的移动终端的连接下,所产生的数据也将数以万亿计,甚至更多。强大的数据存储和处理能力将是决定未来企业兴衰存亡的关键因素之一。快速的数据处理能力将给企业决策层争取更大的时间窗口,给决策层留出足够的决策时间。除此之外,在医疗、高清视频/虚拟现实、实时性云业务、精密测绘、高性能计算、5G移动通信等领域中,0.1ms极致时延的出现,也将有力地助力行业发展,给用户带来全新的体验。 0.1ms稍纵即逝,但意义非凡。随着科技的进步,人类得以突破这个时间壁垒,并将其造福社会的发展。写到这里,不禁深思,0.1ms已经来了,那0.01ms甚至0.001ms呢,我认为虽远必至,毕竟技术的发展日新月异,未来可期!  参考资料:1. 华为OceanStor Dorado V6全闪存存储系统产品技术白皮书2. 华为OceanStor全闪存专刊3. 低时延光网络技术白皮书(中国电信)
  • [资产园地] 强化学习游戏训练框架ASED
    Auto-Scheduling and Efficient Deep-RL 架构,支持MOBA、FPS、ACT、RTS、TBS等多种游戏类型描述ASED: Auto-Scheduling and Efficient Deep-RL 架构1. 效果展列中国象棋SPG足球-5v5FPS-vizdoom-basic环境趣味游戏-flappybird三消游戏-easy_candycrush 2. 框架简介基于ModelArts计算集群,以ray为技术底座搭建的ASED强化学习框架,由Learner和Actor构成,可运行在同构和异构集群上。ASED采用ray自动调度actor收集数据,统一在learner处理,并实时输出当前模型的ELO分,以评价模型效果。目前该框架支持MOBA、FPS、ACT、RTS、TBS等多种游戏类型,支持pve、multi-agent和selfplay的训练方式。ASED架构图3. 快速入门快速入门视频ASED视频对应文档本框架其他示例(vizdoom,spoof,multi-agent cartpole,Atari-breakout)见 Github3.1 Google Research Football pve示例开始训练前,您必须准备env_config.py、algorithm_config.json、game_interface.py三个基础文件,并放入同一个文件夹,作为游戏数据输入。如果环境是pypi包,请在pip-requirements.txt中指定。env_config.pyimport numpy as npfrom gym.spaces import Discrete, Boxaction_space = Discrete(19)observation_space = Box(-np.inf, np.inf, shape=(115,), dtype=np.float)algorithm_config.json{ "algorithm": "ppo", "hyper_params": { "framework": "tf2", "seed": 123, "num_gpus": 1, "num_workers": 500, "observation_filter": "NoFilter", "model": { "vf_share_layers": true }, "rollout_fragment_length": 128, "num_sgd_iter": 10, "train_batch_size": 64000, "sgd_minibatch_size": 16000, "lr": 0.0008 }}game_interface.pyimport shutilimport numpy as npfrom gfootball import env as feclass GameInterface: def __init__(self, *args): n_vs_n = 1 auto_GK = True logdir = "/home/work/modelarts/outputs/train_url_0/football/" shutil.rmtree(logdir) add_checkpoint = True dump_frequency = 1 self.env = self._create_football_env(n_vs_n=n_vs_n, auto_GK=auto_GK, logdir=logdir, add_checkpoint=add_checkpoint, dump_frequency=dump_frequency) self.reward_range = np.array((-np.inf, np.inf)) self.spec = None self.epi_num = 0 def reset(self, *args): return self.env.reset() def step(self, action, *args): o, r, d, i = self.env.step(action) return o, r, d, i def _create_football_env(self, n_vs_n=1, auto_GK=True, logdir="", add_checkpoint=True, dump_frequency=1): """ Returns a custom gfootball environment n_vs_n=1 # 1...5 number of players auto_GK=True # let the computer control the GK """ n_control = max(1, n_vs_n - int(auto_GK)) reward_type = 'checkpoint,scoring' if add_checkpoint else 'scoring' env = fe.create_environment( env_name="1_vs_1_easy", stacked=False, representation='simple115v2', rewards=reward_type, logdir=logdir, write_goal_dumps=False, write_full_episode_dumps=True, render=False, write_video=True, dump_frequency=dump_frequency, extra_players=None, number_of_left_players_agent_controls=n_control, number_of_right_players_agent_controls=0) return envpip-requirements.txtgfootball3.2 pve训练结果envtrain_modealgorithmconfigurationstepsscoretime_costfootball-1v1-PPOpvePPOASED 1-leaner 17-actors 500-workers~40M~1.8~1.2h训练曲线训练视频4. 详细使用方式参数配置algorithm_config.json说明env_config.py说明game_interface.py说明Benchmark实验数据5. 更多信息强化学习入门课程案例使用强化学习AlphaZero算法训练中国象棋AI与中国象棋AI对战!使用强化学习AlphaZero算法训练五子棋AI使用DQN算法玩2048游戏使用PPO算法玩超级马里奥兄弟使用DPPO算法控制倒立摆使用A2C算法控制登月器着陆使用SAC算法训练连续CartPole使用A3C算法玩乒乓球游戏使用DDPG算法训练连续MountainCar基于强化学习做电影推荐交付交付方式华为云ModelArts交付区域华北-北京一、华北-北京四、华东-上海一、华南-广州、亚太-**
  • [技术干货] 如何利用pycharm制作一个简单的贪吃蛇小游戏
    谈起贪吃蛇大家对贪吃蛇的概念就会很丰富像超级玛丽一样是我们在童年甚至现在也会玩的游戏今天咱们来谈一谈如何用pycharm利用python语言编写出贪吃蛇import copyimport random# 游戏模块import pygame首先我们需要带入这三个文件包 注意第三个是导入我们需要的pygame一个依赖库才能实现贪吃蛇的操作代码如果没有第三行代码:import pygame的话就会出现如下错误提示:如何解决呢?如下图可以在当前的提示下划线处利用快捷键alt+回车或则点击左边红色灯泡下的选项点击安装即可第一步 创建背景食物的随机生成地点:x = random.randint(10, 490)y = random.randint(10, 490)food_point = [x, y]最多设置500*500的背景大小也可以设置其他数据的背景大小根据自己需求来定食物的模型腰随机生成用到了random的随机函数 最后将获取到的随机函数的x和y值传递给当前屏幕上随机显示的一个点是由x和y来确定的第二步  给蛇本身设置大小模型及上下左右的方位和初始的小蛇方位这里直接生命我们定义的函数 分为四个方位分别是:1)move_up 2)move_down 3)move_left 4)move_right这四个方位可以给小蛇在刚开始时初始化一个开始的方位move_up = Falsemove_down = Falsemove_left = Truemove_right = True比如这四行代码代表的就是让小蛇在初始化开始时是往右侧方向去设置小蛇的模型:snake_list=[[10,10]]第三步 设置画布 初始化游戏组件 身子的移动 帧的变化等等pygame.init() #初始化游戏的组件 init在python中代表初始化的意思设置画布的大小需要配合上面配置的大小同样设置为500*500的样子代码如下:pygame.init()screen = pygame.display.set_mode((500, 500))给我们的游戏起个名字叫做devcloud贪吃蛇大作战title = pygame.display.set_caption('DevCloud贪吃蛇游戏')设置游戏的时钟clock=pygame.time.Clock()while true: #当循环为真时设置帧是30fps 同时将背景的颜色填充为白色clock.tick(30)screen.fill([255,255,255])如何控制贪吃蛇的方向变化呢?通过获取键盘的时间来响应for event in pygame.event.get():  #遍历循环事件在pygame的游戏模块事件上if event.type==pygame.KeyDown:#向下移动if event.key==pygame.K_Down:#执行咱们初始化时设置的四个方向按钮move_up = Falsemove_down = Truemove_left = Falsemove_right = False同理其余的三个如下所示:if event.key == pygame.K_UP: move_up = True move_down = False move_left = False move_right = Falseif event.key == pygame.K_LEFT: move_up = False move_down = False move_left = True move_right = Falseif event.key == pygame.K_RIGHT: move_up = False move_down = False move_left = False move_right = True蛇又分为蛇的身子和头部:身子的移动算法为:蛇的模型长度-1  Len(snake_list)-1等于当前的蛇的长度:snake_len=len(snake_list)-1while snake_len>0时执行 up  down left 和right 这四类代码while snake_len > 0: snake_list[snake_len] = copy.deepcopy(snake_list[snake_len - 1]) snake_len -= 1if move_up: snake_list[snake_len][1] -= 10 if snake_list[snake_len][1] < 0: snake_list[snake_len][1] = 500if move_down: snake_list[snake_len][1] += 10 if snake_list[snake_len][1] > 500: snake_list[snake_len][1] = 0if move_left: snake_list[snake_len][0] -= 10 if snake_list[snake_len][0] < 0: snake_list[snake_len][0] = 500if move_right: snake_list[snake_len][0] += 10 if snake_list[snake_len][0] > 500: snake_list[snake_len][0] = 0绘制食物?food_rect=pygame.draw.circle提供的画出圆形 背景颜色设置俩个255为黄色 最后一个参数设置圆的大小 可以根据自己看不看的清自己调整啊 我这里设置为10 代码如下:food_rect = pygame.draw.circle(screen, [255, 255, 0], food_point, 10)最后的俩个步骤:1)如何检查食物和蛇发生碰撞 碰撞后重新生成食物2)什么情况下游戏结束?利用循环来实现食物和蛇发生碰撞的检测方法定义一个snake_rect=[]for snake_pos in snake_list:snake_rect.append#在某位追加一个圆形 只要是蛇吃了一个就追加一个所以用到for循环代码:snake_rect.append(pygame.draw.circle(screen, [255, 255, 0], snake_pos, 5))蛇把食物吃了的检测方法:if food_rect当前食物的位置.利用collidepoint函数(检测一个点是否包含在一个对象内)后面的括号中加入当前蛇的位置(snake_pos):如果是就用snake_list.append(food_point)追加到一个食物同时腰生成一个随机的食物在随机的位置代码如下:if food_rect.collidepoint(snake_pos): snake_list.append(food_point) # 重新生成食物 food_point = [random.randint(10, 490), random.randint(10, 490)] break最后一步了写完睡觉了!蛇吃到自己后结束游戏刚开始游戏时蛇的头部就是他的身子snake_head_rect= snake_rect[0]count=len(snake_rect)获取到当前蛇的总长度利用while循环当count>1:时 蛇的头部可能和身子的任一节点发生碰撞就需要判断下if snake_head_rect.colliderect(snake_rect[count - 1]):满足这个条件给个提示 自己迟到自己了游戏结束同时pygame.quit()最后都结束了将推出循环count-=1利用python提供的函数来显示出我们绘制的东西 pygame.display.update()收工!晚安! 探讨的小伙伴下方留言哦!献上结果图:
  • [行业资讯] 智能优势:物联网的游戏规则改变者
    边缘计算推动了物联网部署的价值,但前提是企业能够克服创建数据驱动、低延迟架构的挑战。边缘计算被定义为一种分布式计算模式,它使计算和数据更接近物联网通常部署的位置,从而提高响应时间和带宽。然而,这个定义听起来过于技术化,无法理解边缘计算的真正力量。与其相反,边缘计算被重新定义为一种计算模式,可将可操作的智能和洞察力尽可能靠近部署物联网的位置,从而最大化此类部署的预期价值主张。这种重新定义的原因很明显:边缘计算的价值生成能力更重要。价值驱动因素了解这种强调价值主张的重新定义的基础至关重要。任何物联网产品或服务都有一些驱动因素。驱动因素可以大致分为业务、技术、设备和数据驱动因素。最终,任何驱动因素的共同目标都是实现快速、智能和可操作的决策。随着新技术的出现,更多未开发的产品和服务成为可能,新的业务驱动力得以实现。低功耗无线、超高速处理器或网络虚拟化等技术简化了以前复杂的物联网解决方案,从而消除了采用物联网的障碍。技术还加速了能够捕获更丰富且以前无法想象的数据的设备的发展。物联网网络可以实现曾经梦想的功能,例如增强现实和智能数字孪生。例如,石油和天然气工程师可以在计算机上检查数百到数千英里的天然气管道发生故障并采取补救措施。之所以能够做到这一点,是因为数字孪生在元认知和自主传感设备的帮助下不断监控和报告管道沿线关键组件的健康状况。面临的挑战边缘计算实际上是云计算的一种扩展,但需要注意的是,由于物联网固有的移动性要求,边缘计算比传统云计算更加分散和分布式。靠近物联网位置的前端的分布程度与后端服务器上的分布程度显著不同。虽然根据定义,边缘计算旨在尽可能接近物联网设备,但由于以下关键原因,企业仍然以与云计算相同的方式实施边缘计算:(1)边缘计算安全产品和实践仍在不断发展,众所周知,边缘设备很容易成为黑客进行攻击的目标。(2)边缘计算架构模式仍在不断发展。尽管边缘计算的性能和延迟要求不同,但边缘设备生成的数据仍然存储在集中管理的云存储系统中。(3)执行复杂机器学习和深度数据处理模型所需的 CPU 密集型、内存密集型和低延迟磁盘输入/输出资源在传统云计算环境中比在边缘更容易获得。(4)其他技术功能和服务不断发展,例如在云端更先进、更容易访问的无服务器和托管容器服务。由于这些原因,推动可操作的物联网决策的数据洞察力和智能必须依赖于云平台集中管理的高功率计算。云计算增加了额外的网络和处理延迟,这对于时间关键、感知和响应物联网实施来说是不可取的。从本质上讲,当前的挑战对实现物联网实施的全部潜力构成了严重障碍,特别是在智能感知和响应行动将产生重大价值的情况下,其中包括挽救生命和防止财产和资产的损失。新兴架构多位业内专家提议为边缘计算开发可靠且强大的参考架构。虽然架构开发的目标是为边缘带来强大的计算能力,但一些架构仍然无法充分地将边缘计算从云中分离出来。在这里提出了一种参考架构,该架构采用分层方法来分散边缘计算并解决众多已知挑战。该架构具有三个不同的层:设备层、边缘层和云计算层。边缘计算层是解决边缘计算需求的参考架构的核心。以下是边缘层的主要职责:接收、处理和转发来自设备层的数据流;提供时效性服务,例如边缘安全和隐私保护;边缘数据分析;智能计算;物联网流程优化和实时控制。边缘层根据其数据处理能力分为三个子层:近边缘层、中边缘层和远边缘层。(1)近边缘层。近边缘层包含边缘控制器,这些控制器从设备层收集数据,执行初步数据阈值处理或过滤,并控制流向设备。由于设备层中的小工具异构性,近边缘层中的边缘控制器必须支持广泛的通信协议。边缘控制器还与上层接口以接收操作指令或数据驱动的决策,并将它们转换为可编程逻辑控制器或基于动作模块的控制流指令,以传输到设备。因此,近边缘层在与设备层接口时必须表现出微秒级延迟。在行动呼吁对时间要求严格的情况下,这种低延迟变成强制性,例如自动驾驶车辆在行人突然进入视野的情况下的预期瞬态响应。(2)中边缘层。中边缘层包含边缘网关,主要负责通过有线和无线网络与近边缘和远边缘层交换数据。与近边缘层相比,该层具有更多的存储和计算资源。通过组合来自多个设备的信息,可以在这一层进行更复杂的数据处理。该层的预期延迟为毫秒到秒。由于该层具有存储能力,数据处理产生的数据和智能可以在本地缓存,以支持未来的处理。中边缘的边缘网关还负责将控制流从上层传递到近边缘层,并对中边缘层和近边缘层的设备进行管理。(3)远边缘层。远边缘层包含强大的边缘服务器,负责执行更复杂和关键的数据处理,并根据从中边缘层收集的数据做出方向决策。从本质上说,远边缘层的边缘服务器构成了一个小型计算平台,拥有更强大的存储和计算资源。远边缘层使用更复杂的机器学习算法处理大量数据。该层分析来自不同设备的更多数据以实现流程优化或评估最佳措施以在更长的时间内接管更广的区域,通常具有更长的延迟。远边缘层还充当云计算层和边缘层之间的桥梁。真正的价值主张从参考架构和示例实现中可以明显看出,边缘计算使以下成为可能:更接近互联网上的设备或事物的智能推导;与不同数据和情报节点进行双向信息交换的管道;最小化决策到行动的延迟。智能和决策到行动的延迟对于预期价值主张至关重要。从联网汽车的例子中可以清楚地看出,新兴架构使智能尽可能接近物联网边缘。同样很明显,智能推导越复杂,其计算距离物联网设备就越远。然而在一些感知和响应物联网实施中,复杂的智能需要更接近设备层以降低延迟。如果基于云计算的人工智能模型在车辆已经发生碰撞后预测碰撞,则它没有任何价值。在远离设备层并以更高延迟实现时间关键型智能是一种反模式,对通常无效的问题的常见响应可以充分发挥边缘计算的潜力。就好像边缘计算中的边缘被解释为云计算的边缘,而不是物联网设备的边缘。以物联网部署为例。真正的价值在于通过从边缘生成的数据中发现情报和洞察力,快速制定可操作的决策。物联网价值主张可以通过在边缘计算的帮助下逐渐使智能更接近设备位置而呈指数级发展。智能延迟越低,价值主张就越多。实际上,该数字意味着边缘计算必须通过计算资源变得更丰富、更强大,才能以更接近设备层的低延迟获得复杂的智能。可行的示例应用在农业物联网的应用中,拖拉机、土壤传感器、犁上的传感器和供水系统都相互连接以收集数据和挖掘情报。此类远程位置可能没有互联网连接,无法将数据发送到云计算服务器进行处理。即使有连接,接收情报以确定何时给农场施肥和浇水的延迟也可能是不可接受的。与其相反,具有边缘功能的本地计算会立即将数据转化为行动。边缘计算在快速生成数据的物联网用例中也大放异彩。例如,飞机在其每个部件上都安装传感器,例如发动机、起落架、机身、机翼和轮胎。根据福布斯发表的一篇文章,飞机每次飞行平均会生成60GB到100GB的数据,而且随着技术的进步,这一数据在未来10年可能会增长到5TB到 8TB。将此类数据实时上传到云端实际上是不可行的。然而,数据收集可以在飞行过程中为飞行员和机上机组人员提供有价值的见解。与其相反,安装在飞机内的边缘处理器可以处理数据并即时提取所需的情报。结语以下是支持边缘计算重要性的论点的关键要点:物联网实施的关键驱动力旨在提供智能答案,主要目标是让生活更美好。支持物联网的创新解决方案的智能主要归功于数据驱动的洞察力。新的架构模式不断涌现,强调对低延迟边缘智能的需求。研究和现场经验表明,越靠近边缘设备生成的低延迟数据越多,潜在价值主张就越大。
  • [技术干货] shell流程控制--循环 下
    until 循环until 循环执行一系列命令直至条件为 true 时停止。until 循环与 while 循环在处理方式上刚好相反。一般 while 循环优于 until 循环,但在某些时候—也只是极少数情况下,until 循环更加有用。until 语法格式:until conditiondo    commanddonecondition 一般为条件表达式,如果返回值为 false,则继续执行循环体内的语句,否则跳出循环。以下实例我们使用 until 命令来输出 0 ~ 9 的数字:实例#!/bin/basha=0until [ ! $a -lt 10 ]do   echo $a   a=`expr $a + 1`done运行结果:输出结果为:0123456789case ... esaccase ... esac 为多选择语句,与其他语言中的 switch ... case 语句类似,是一种多分枝选择结构,每个 case 分支用右圆括号开始,用两个分号 ;; 表示 break,即执行结束,跳出整个 case ... esac 语句,esac(就是 case 反过来)作为结束标记。可以用 case 语句匹配一个值与一个模式,如果匹配成功,执行相匹配的命令。case ... esac 语法格式如下:case 值 in模式1)    command1    command2    ...    commandN    ;;模式2)    command1    command2    ...    commandN    ;;esaccase 工作方式如上所示,取值后面必须为单词 in,每一模式必须以右括号结束。取值可以为变量或常数,匹配发现取值符合某一模式后,其间所有命令开始执行直至 ;;。取值将检测匹配的每一个模式。一旦模式匹配,则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式,使用星号 * 捕获该值,再执行后面的命令。下面的脚本提示输入 1 到 4,与每一种模式进行匹配:实例echo '输入 1 到 4 之间的数字:'echo '你输入的数字为:'read aNumcase $aNum in    1)  echo '你选择了 1'    ;;    2)  echo '你选择了 2'    ;;    3)  echo '你选择了 3'    ;;    4)  echo '你选择了 4'    ;;    *)  echo '你没有输入 1 到 4 之间的数字'    ;;esac输入不同的内容,会有不同的结果,例如:输入 1 到 4 之间的数字:你输入的数字为:3你选择了 3下面的脚本匹配字符串:实例#!/bin/shsite="runoob"case "$site" in   "runoob") echo "华为云社区.com"   ;;   "google") echo "Google 搜索"   ;;   "taobao") echo "淘宝网"   ;;esac输出结果为:华为云社区.com跳出循环在循环过程中,有时候需要在未达到循环结束条件时强制跳出循环,Shell使用两个命令来实现该功能:break和continue。break命令break命令允许跳出所有循环(终止执行后面的所有循环)。下面的例子中,脚本进入死循环直至用户输入数字大于5。要跳出这个循环,返回到shell提示符下,需要使用break命令。实例#!/bin/bashwhile :do    echo -n "输入 1 到 5 之间的数字:"    read aNum    case $aNum in        1|2|3|4|5) echo "你输入的数字为 $aNum!"        ;;        *) echo "你输入的数字不是 1 到 5 之间的! 游戏结束"            break        ;;    esacdone执行以上代码,输出结果为:输入 1 到 5 之间的数字:3你输入的数字为 3!输入 1 到 5 之间的数字:7你输入的数字不是 1 到 5 之间的! 游戏结束continuecontinue命令与break命令类似,只有一点差别,它不会跳出所有循环,仅仅跳出当前循环。对上面的例子进行修改:实例#!/bin/bashwhile :do    echo -n "输入 1 到 5 之间的数字: "    read aNum    case $aNum in        1|2|3|4|5) echo "你输入的数字为 $aNum!"        ;;        *) echo "你输入的数字不是 1 到 5 之间的!"            continue            echo "游戏结束"        ;;    esacdone运行代码发现,当输入大于5的数字时,该例中的循环不会结束,语句 echo "游戏结束" 永远不会被执行。
  • [技术干货] 在Win10游戏本中搭建MindSpore-GPU的深度学习环境
    背景自从华为开源了MIndSpore深度学习框架,题主就始终惦记着要充分利用手里有且仅有的游戏本,给它加持一套高大上的支持GPU的MindSpore环境,但让人泪奔的是——MindSpore-gpu不兼容Windows!!!虽然MindSpore也能在Windows里运行,但那是CPU的安装版。可连GPU都不能用还有什么资格配叫深度学习机?那么,在Windows上运行Docker行不行呢?这个空子没法钻。那么,安装VMWare虚拟机行不行呢?这个选项大概率也走不通。对这些问题有兴趣的同学请参考这些资源:https://www.mindspore.cn/installhttps://bbs.huaweicloud.com/forum/thread-81854-1-1.htmlhttps://bbs.huaweicloud.com/forum/thread-82387-1-1.htmlhttps://www.v2ex.com/t/673666那么,装双系统行不行呢?肯定行,不过上个世纪就已经体验过两个系统来回切换的“安全方案”,那些痛苦至今还会在梦里找回来。怕了。再添一台机器总可以了吧?肯定能完美解决,但这不是本文讨论的问题,所以不差钱的朋友完全没有必要继续在本文上浪费时间了。难道说只能弃Windows转投Ubuntu的怀抱吗?可是使用习惯已经被微软悉(WU)心(QING)培(DU)养(HAI)了二十多年,又怎么可能能说改就改呢?就要有个过渡吧。为了让Windows和MindSpore-GPU和睦共处,题主启动了“金字塔”项目,前前后后折腾了近一个月,经历了各种幻想、折磨、无奈和期待,终于苦尽甘来,成功在一台Win10游戏本上让华为MindSpore-gpu版本狂奔起来。之所以名为“金字塔”,盖因层层叠叠安装了一大堆虚拟机,Docker,最后就是为了顶上的MindSpore-GPU耀眼夺目。闲话到此,以下干货。一、“金字塔”项目目标:在一台机Win10游戏本上,运行MindSpore-gpu:在Win10系统中开启WSL2,运行虚拟机虚拟机可以使用宿主机GPU资源虚拟机运行Docker运行在Docker中的MindSpore-gpu能够利用主机GPU资源进行计算加速二、系统环境:Docker镜象版本:mindspore-gpu :1.0.0Docker版本: 19.03.13, build 4484c46d9dWSL虚拟机OS版本:Ubuntu 18.04WSL版本:WSL2宿主机CUDA版本: 11.2宿主机OS版本:Windows10家庭版2004(OS内部版本 20236.1000)宿主机硬件:HP暗影精灵II, Intel HD630(集显)+Nvidia GTX1050Ti(独显)三、避大坑Windows 开发版(也就是OS内部版本)从20211到20215概率性不能启动WSL虚拟机。NVIDIA Drivers for CUDA on WSL不支持Windows开放版20211-20221。如果当前主机是这几个版本,一定想好要不要往下走。谁也不能保证微软和Nvidia未来的更新是不是完全可用,请关闭Windows自动更新,并做好全系统备份。宿主机不能安装Docker Desktop,与虚拟机Docker冲突。四、安装过程1、加入Windows Insider计划我们的目标是让WSL虚拟机使用GPU资源。其实微软的WSL2已经很友好了,目前任何发行版都可以开启并运行Linux虚拟机。不过,想要虚拟机使用GPU的资源,就必须加入Windows Insider计划,激活Winows开发版。使用Microsoft Store帐户登录Windows Insider主页https://insider.windows.com/zh-cn/,然后按照向导一步步往下走,都是常规的操作,如果网站慢就耐心多等一会。打开”设置“,选择“更新与安全”,选择“Windows预览体验计划”,选择“Dev渠道”。重新进入”更新与安全“,选择”检查更新“,系统会自动下载并安装最新开发版更新包。耐心等待升级完成。安装完成后提示重新启动,现在不想重启也没关系,等到第3步激活WSL2之后再重启。重启之后按win+R,输入"winver"可以看到版本更新了。2、安装NVIDIA Drivers for CUDA on WSL这部分是跟显卡有关系的活。根据https://developer.nvidia.com/cuda/wsl/download指南下载对应的软件包。我的显卡是GTX1050Ti,所以下载GFORCE DRIVER。下载启动时会提示用Nvidia开发者帐户登录。如果还没有的话,根着网页指南走就好了,都是常规的操作。下载文件名叫460.20_gameready_win10-dch_64bit_international.exe,一个646M的大文件,需要耐心等。下载完成后执行安装。安装完成也不必重启。下一步激活WSL2之后需要重启,就两步合一步了。AMD显卡的朋友请自行实验,我没有设备帮不上忙。3、激活WSL2WSL2已经是Window内置的特性,开启非常简单。打开”设置“,选择”应用“,选择右上角”程序和功能“(如果看不到,就最大化窗口)。在弹出的程序和功能窗口中,选择“启动或关闭Windows功能”;在弹出的Windows功能窗口中选择”Windows Subsystem for Linux“和”虚拟机平台“。重启机器去https://aka.ms/wsl2kernel,根据指南下载并安装升级的Linux内核文件wsl_update_x64.msi。WSL2运行真正的Linux内核的,想象一下在Windows上运行的是”真正的“Linux机器就有些小爽。以管理员身份,打开PowerShell窗口,输入以下命令激活WSL2ps c:%users\linux> wsl --set-default-version 24、安装Ubuntu打开Microsoft Sotre,在搜索框里输入Ubuntu,挑你喜欢的版本。最左边不带版本号的就是20.04。我最终使用了18.04。20.04老报错。选择版本,等待下载完成(系统会有提示),然后在启动菜单中可以看到“Ubuntu-18.04 LTS”。点击启动虚拟机。弹出Ubuntu终端窗口,系统自动安装,等一会安装成功,系统提示输入用户名和密码。    这里有一个错误提示,是因为宿主机的备份卷被锁了,子系统访问不到。这里展现了用WSL2的好处之一是:子系统可以把宿主机的文件夹挂在自己下面,同样的,宿主机也可    以直接访问子系统的目录,这样一来,相互之间拷贝文件简直不要太方便,不用cp,mv的敲半天。输入用户名和密码,进入子系统。5、在Ubuntu中安装Docker在Ubuntu终端窗口中输入以下命令,安装Docker。$ curl https://get.docker.com | sh    如果系统提示Docker已经存在了,果断ctrl+C终止就行了。 6、安装MindSpore Dcoker镜像根据https://gitee.com/mindspore/mindspore?_from=gitee_search上的MindSpore官方指南,下载并安装mindspore-gpu:1.0.0 Dcoker镜像。更新nvidia docker list $ DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID) $ sudo curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add - $ sudo curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list安装nvidia-container-toolkit $ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2重启docker服务 $ sudo service docker stop $ sudo service docker startWSL2虚拟机运行在init 1状态,因此无法systemctl命令编辑docker的daemon.json文件(我感觉,这个文件已经存在了,不用再写一遍。可以先cat看一下有没有,没有再照着写好了。) $ sudo vim /etc/docker/daemon.json {     "runtimes": {         "nvidia": {             "path": "nvidia-container-runtime",             "runtimeArgs": []         }     } }再次重启docker服务 $ sudo service docker stop $ sudo service docker start在Ubuntu终端窗口中输入以下命令,把mindspore-gpu:1.0.0 Dcoker镜像拉到本机来。 $ sudo docker pull mindspore/mindspore-gpu:1.0.0把MindSpore docker跑起来 sudo docker run -it --runtime=nvidia --privileged=true mindspore/mindspore-gpu:1.0.0 /bin/bash终于到了测试这一步了。在docker内,打开python窗口。在docker里,操作员获得管理员的权限,所以不用每条命令都要打sudo了。输入下面的脚本 import numpy as np import mindspore.context as context from mindspore import Tensor from mindspore.ops import functional as F  context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")  x = Tensor(np.ones([1,3,3,4]).astype(np.float32)) y = Tensor(np.ones([1,3,3,4]).astype(np.float32)) print(F.tensor_add(x, y))如果得到下面的结果,就大功造成了!从资源管理器GPU1的图表上看出这段脚本消耗了GPU的资源。五、后记题主本来只是一枚Linux小白,一个月以前对Docker除了名字更是一无所知,在“金字塔”项目执行过程中真可谓真是大坑小坑不断落,大包小包满脑袋。回想着各种错误带着诚意扑面而来时的目瞪狗呆不知所措,每次一有新的开发版推出就满心欢喜地以为问题跑光光最后又一次次失望,各种在神的各种神贴的有话说七分,有时候真是把机器拍碎的心都有。话说无知无谓。就在发稿之前的一刻,题主大脑抽筋想再试一下Windows上直接跑Docker,安装了Docker Desktop,然后虚拟机里的Docker容器文件全不见了!!!以为辛苦工作的成果全都飞升了,当时真想嚎啕大哭,后来想了半天,感觉有可能是宿主机Docker Desktop把虚拟机的Docker给接管了?试着把宿主机Docker Desktop删除重启,才恢复如常了。反正为什么会出问题也不知道,问题解决了也不知道为什么。所以奉劝各位朋友,要是精神上能够受得了折磨,不妨也试着弄一弄。友情提示:开发版可以提前尝鲜新功能,代价就是不稳定,切记如果决定使用,那么一定要把可以运行的环境备份好。在一个持续变化的环境里,再怎么强调备份都不过分。当然,技术流弊的,做这点事儿自然不在话下。不太差钱的就不如多搞台机器来直接装Ubuntu。实在不差钱就干脆到华为云上租个Atlas主机更加好了。原文链接:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=82598
  • [交流吐槽] 对战6亿用户竞技手游:聚焦复杂游戏中的多智能体博弈
    2021年11月,全球首届“ AI《球球大作战》:Go-Bigger多智能体决策智能挑战赛”已正式开赛。作为面向全球技术开发者和在校学生的科技类竞赛活动,本次比赛旨在推动决策智能相关领域的技术人才培养,打造全球领先、原创、开放的决策AI开源技术生态。在比赛之际,雷锋网&AI科技评论对话了本次竞赛的核心设计团队成员刘宇和周航,他们二人,一个为商汤科技研究总监,也是OpenDILab项目负责人;一个为前星际职业选手iA,目前任商汤决策智能游戏AI组高级研究员;殊途而同归,他们如何通过 「游戏 × 决策」方式走到一起,他们会更看中什么样的“策略高手”?在现实之外,还有另一个世界,游戏世界。它将人情世故、弱肉强食、情义背叛、谋略运筹挪于方寸之间,功成名就,皆在俯仰间。以游戏世界之有涯,演绎人际种种浮沉。古人制蛊王,今人造脑王,科技的进步,将对抗的秘密搬上台面。而今这场竞技,被命名为Go-Bigger多智能体决策智能挑战赛。比赛由OpenDILab主办,上海人工智能实验室作为学术指导,商汤决策智能团队和巨人网络等多元化组织联合打造 。灵感来自于巨人网络自主研发的一款超火爆休闲竞技手游《球球大作战》,多方共同开启全球首届AI版《球球大作战》。Go-Bigger游戏环境:https://github.com/opendilab/GoBiggerAI球球大作战采用了类似《球球大作战》的物理引擎设计,具有相对较大的地图,球球具有分裂、吐孢子、中吐等高阶动作空间,但是提供了适合强化学习或行为树AI编写的抽象接口。刘宇说到,“Go-Bigger并不像星际争霸或Dota2这种重型游戏环境,我们对它的定位是人人可以参加的中型游戏AI竞技环境,推动学术界关注更大一些的决策问题。相比学术界用的最多的Atari、Mojoco、SMAC要大不少,但又可以在小型的实验室中完成——一台机器、一块GPU就能训练起来。它面向大众、学生、研究员,更适合用 「学术比赛」来描述它。”从参与筹办比赛的各方来看,学术价值,在Go-Bigger身上非常明显。它由上海人工智能实验室作为学术指导,商汤科技、巨人网络、上汽集团人工智能实验室联合主办,全球高校人工智能学术联盟、浙江大学上海高等研究院、上海交通大学清源研究院联合协办,OSCHINA、深度强化学习实验室作为支持。从产业出发,关注底层技术,并进一步拢合各大高校和实验室,其实就是商汤的原创基因。 一、Go-Bigger比拼决策战术周航和刘宇都说到,“球球大作战的门槛很低,但是上限很高。”与风靡全球的agar.io、《球球大作战》等游戏类似,在Go-Bigger中,每局比赛十分钟,大球吃掉小球而获得更大重量和体积,但同时要避免被更大的球吃掉。当球达到足够大时,玩家(AI)可使其分裂或融合,和同伴完美配合来输出博弈策略。每个队伍都需和其他队伍对抗,总重量更大的团队获胜。Go-Bigger游戏环境演示图游戏中有四类小球,分别为分身球、孢子球、食物球、荆棘球,挑战不同决策路径。 分身球是玩家在游戏中控制移动或者技能释放的球,可以通过覆盖其他球的中心点来吃掉比自己小的球。孢子球由玩家的分身球发射产生,会留在地图上且可被其他玩家吃掉。食物球是游戏中的中立资源,其数量会保持动态平衡。如玩家的分身球吃了一个食物球,食物球的重量将被传递到分身球。荆棘球也是游戏中的中立资源,其尺寸更大、数量更少。如玩家的分身球吃了一个荆棘球,荆棘球的大小将被传递到分身球,同时分身球会爆炸并分裂成多个(10个)分身。此外,荆棘球可通过吃掉孢子球而被玩家移动。此外,Go-Bigger还包含一系列与《球球大作战》类似的游戏规则:球重量越小,移动速度越快;分身更多可以快速发育,但自身重量被分散,面临被吃的风险。每个玩家的总重量会随着时间缓慢衰减,体重越大,衰减速度越大在战斗阶段,分裂后的玩家需要尽快合球,因此,同一队伍中不同球球的配合尤为关键。同队伍玩家之间不会完全吞噬(会保留最后一个球)。由于这种规则设置,球球在不同发展阶段,策略各不相同。在球球发育前期,重量太小无法分裂,一边吃食物完成原始积累,一边防御被吃,就催化了团队合作--多球行动。比如,当自己进食足够多,并达到分身程度时,将小分身喂给队友,只留一个,同伴和自己都会完成第一次原始积累,并增加团队整体重量。随着大家争相完成原始积累,比赛进入中期。防御转为攻击,暗争转为明争。而此时,持久战还是速度战、先灭大还是先灭小、霸屏攻击还是轻骑后抄,不同策略组合将游戏推向高潮。距离,方向,速度以及分身后的密度成为影响获胜关键。其中一种攻击策略为先灭小而后搏大,大球率先攻击发育不良的球,合成大球,随后寻找实力略弱的大球,判断距离、分身快速逼近、近身后合球鲸吞。几轮下来,大球进入排行榜头列,为后续决战做好准备。随着游戏进入后期,战场上的玩家也所剩无几,实力相当的大球决战,成为赛点关键!首先,大球的移动速度非常慢,选择时机分身移动,快速移动并合成干掉对方,成为大球玩家心中既心照不宣,又秘而不发的护身之法。你死我亡,弱肉强食,生命法则向是如此。但与此同时,作战的另一机制——自我衰亡被触发。大球的体重并不是一成不变的,而是以一个相当快的速度流失体重,体重衰减率是每秒钟千分之二。因此,游戏进入下一阶段——霸屏团队的优势维持、其它团队的反击。由于霸屏团队体重流失速度相当快,如果只是用常规的攻击手段,增加的体重往往不能和流失的体重相抵。而同时,大球的移动速度十分缓慢,攻击效率十分低下,多数大球团队会采用多分身模式攻击。因为已经是优势团队,即便多分身,其它团队也往往不能对多分身造成威胁,因此大球往往以相对高的速度地毯式扫荡。纵观决战之势,无论是大球燃烧心火,击溃其身;还是分身求胜,蚕食殆尽,往往并不随心所欲。在对抗同时,作战时间所剩无几。此外,还有多少小球蛰伏暗处,酝酿反击,在最后阶段逆转局势,并非新事。在萌萌的小球之内,涌动着规则和博弈的暗流。周航回应道,这就是Go-Bigger门槛很低,但是上限很高的原因。“游戏环境非常简单直观,因为大家都玩过类似的游戏,像大鱼吃小鱼、剪刀石头布、围棋。它们都有很直观的名字,都用简单的环境系统构建出博弈场景。但不同的是,Go-Bigger涉及到多智能体的配合和对抗,会有更高的决策复杂度。” 二、游戏环境如何设计人工智能现在已经广泛应用在感知优化场景,但是想让模型具有真正的智能,则需要将其落实到一些需要进行决策的场景。游戏,则是决策智能(DI)天然的训练场。如果将一个游戏环境比作一个小社会,那么不同的游戏角色则是生活其中的人类。只有人类数量足够多,才足以反映其中的群体关系,并进一步模拟人类社会的生活图景。因此,在复杂游戏中的多智能体博弈,成为推动决策智能发展的关键。Go-Bigger涉及多智能体博弈,不可避免要权衡同一团队中的个体行动与合作行动、不同团队间的合作与竞争、表征和交换与其它智能体的环境信息。但要从零开始实现上述算法和训练流程非常复杂,决策智能框架DI-engine大大简化了设计过程。其内部已经集成了支持多智能体的DQN算法实现和一系列相关诀窍,以及玩家自我对战和对抗机器人的训练组件,只需实现相应的环境封装,神经网络模型和训练主函数即可。此外,Go-Bigger支持RL环境,提供了三种交互模式。为帮助用户在强化学习领域的多智能体策略学习,Go-Bigger提供了符合gym.Env标准的接口供其使用。在一局游戏中,Go-Bigger默认设置含有20个状态帧和5个动作帧。每个状态帧都会对当前地图内所有单位进行仿真和状态处理,而动作帧会在此基础上,附加对单位的动作控制,即改变单位的速度、方向等属性,或使单位启用分裂、发射或停止等技能。为了更方便地对环境进行探索,Go-Bigger还提供了必要的可视化工具。在与环境进行交互的时候,可以直接保存本局包含全局视角及各个玩家视角的录像。此外,Go-Bigger提供了单人全局视野、双人全局视野、单人局部视野三种人机交互模式,使得用户可以快速了解环境规则。单人全局视野、双人全局视野、单人局部视野 可视化除了方便用户设计智能体的决策路径,还将智能体的决策进化提供一个参考。目前基于强化学习等方法的决策智能,主要还是在学习「状态」到「动作」的映射,离可解释的、因果关系的、可互动的决策还有很远距离。但游戏本身的可视化形式,会直接展示智能体的策略。整个游戏环境的搭建,不仅涉及到大的封装模块,还有小的动作设计。刘宇说到,我们在设计这个引擎的时候,不仅要兼顾它是否有趣(可视化、难度低),还要考虑它对研究者来说是否有用(动作歧义、公平)。在复杂的游戏环境中,如何做到公平性,保证所有智能体从同一起点进化,并演化出最多的决策路径,除了球球背后的参赛选手出奇斗勇,还要有公平的评测系统--天梯系统。参赛选手只需基于大赛提供的接口,给出智能体在每一帧的动作,最后将代码以及相关模型或文件提交即可加入测试天梯。OpenDILab团队将使用选手提供的环境及代码进行指定竞赛的模型测试工作,决出最后的赢家!三、决策智能研究刚刚上路在Go-Bigger游戏中,设计了球球对抗时间、成长加速度、分裂、消失、衰亡等约束条件,它们其实广泛存在于现实世界,比如人的生命周期,微观生物学中细胞免疫等。天然拥有很高的社会拟合度,是用游戏做决策智能研究的优势。刘宇说,Go-Bigger项目只想做好一件事,就是想通过打造一款类似于球球大作战和AGAR这样家喻户晓的游戏,让大家先把游戏AI和决策智能联系起来,且人人可上手。“现在Go-Bigger希望做的,其实非常像CV领域的ImageNet。”十年来,计算机视觉一直是最火爆的领域。但是CV是如何发展起来的,“其实就是开源了更大的数据集。”刘宇说到,“在ImageNet比赛之前,数据集都非常小,研究员很难定义产业界真正需要的算法问题。但ImageNet的推出,为当时的技术带来了挑战,随着GPU的算力提升,越来越多的人涌入到CV领域,成就了现在深度学习+计算机视觉的蓬勃发展。”现在决策智能领域的大多数工作者,很难接触到像星际、DOTA2这样的资源,在相对较理想的小数据集和仿真环境中做实验、发论文,是学术研究的常态。“而决策智能将走向何方,其实就是从训练平台和仿真环境两个方向发力。我们希望在保持现有资源能够接触的情况下,能让决策智能更接近真实场景,并逐渐推动行业中更多的平台开源。”刘宇说到。决策智能的研究刚刚上路,首先是数据的问题,其次是标准化的问题。目前,决策智能的标准化难题是三块:一个是环境观测的标准化二个是动作空间的标准化三个是算法工作流的标准化“CV标准化做得好,因为这里面所有的数据都可以用非常规整的tensor来表示,像PyTorch、 TensorFlow。”但在决策智能领域,会涉及到多模态的输入,比如空间信息(Spatial info)、实体信息(Entity info)、Scalar info(标量信息)。“难点是将所有模态都统一到一个数据格式下。”刘宇说到,“目前一些做法是将各种模态的数据统一到一个encoder,让它们映射到同一个observation space(观测空间)。”有了状态空间后,就需要决策做什么动作。比如,强化学习领域很多算法很难同时支持离散和连续两种动作空间。而真实场景里还有更复杂的动作空间,比如前后依赖的动作空间、序列的动作空间,跟马尔可夫链性质不太相关的或者违背的动作空间。“这些动作空间如何大一统到一个训练的平台和一个训练流里,也是非常难的问题。”“我们希望通过算法设计出新的head(决策智能训练网络的头),后期只需要做一些plug in(插件)的工作,几乎能够适配所有的算法。”第三块是算法的标准化。各种算法之间的差异性非常大且难以抽象,如果强行把所有算法兼容到一套框架内,代码会非常冗余。“我们现在想要从计算流的角度思考强化学习的优化过程,把强化学习里所有原子模块拆分,类似PyTorch里operator,那么以后只需要拼算法积木,或者研发一个新的强化学习算法。”这件事本身是很长期主义的一件事,Go-Bigger只是一个开始。刘宇说,“我们希望用5年时间,从工具和学术问题定义两个方面推动决策智能落地,能够让平台、算法集、生产的工具链适配到几乎所有决策智能行业应用上,将行业和学术的各自为阵,变成欣欣向荣。”比赛持续到明年4月,那时,“我们期待所有选手百家争鸣,能够定义出新的问题,也会设计出更多样性的算法,既有纯强化学习的,也有结合硬编码和强化学习的。当然,我们希望训练出的AI不仅能处理好输赢,还能兼顾到游戏的拟人性。”如今,全球首届“ AI《球球大作战》:Go-Bigger多智能体决策智能挑战赛”已正式开赛。作为面向全球技术开发者和在校学生的科技类竞赛活动,本次比赛旨在推动决策智能相关领域的技术人才培养,打造全球领先、原创、开放的决策AI开源技术生态。协作、博弈、对抗,精彩纷呈,欢迎前来挑战!比赛详情请见:https://mp.weixin.qq.com/s/1hVFFWBVSUx-BT6Fnn_sMA来源“雷锋网”作者 | 吴彤原文链接 | https://www.leiphone.com/category/academic/fJIoa4yfzOwzqKFm.html
  • [行业资讯] 骁龙8 Gen 1即将面世!更名后的新品到底牛在哪?
    作为去年骁龙 888 的继任者,骁龙 8 Gen 1 是第一款采用高通新命名方案的芯片组,摒弃了高通之前用于新一代的三位数编号系统基于的绰号。与每年的情况一样,高通承诺对骁龙 8 Gen 1 进行一些重大改进,包括更好的性能、摄像头技术、人工智能功能、安全性和对5G的支持。从硬规格开始,不出所料,骁龙 8 Gen 1 是高通首款采用 Arm 最新 Armv9 架构的芯片。具体来说,新的八核 Kryo CPU 将配备一个基于 3.0GHz 的 Cortex-X2 的主核心,以及三个基于 Cortex-A710 的 2.5GHz 的性能核心,以及基于 Cortex 的四重效率核心—— A510 设计,频率为 1.8GHz。此外,新芯片从构建骁龙 888 的 5nm 工艺跃升至 4nm 工艺。总而言之,高通承诺与去年的型号相比,骁龙 8 Gen 1 将提供高达 20% 的性能提升和高达 30% 的能效。与此同时,新的 Adreno GPU(很像 Gen 1 的 Kryo CPU,高通没有在这里提供更新硬件的具体数字)承诺提供 30% 的图形渲染速度提升,此外与骁龙相比,能效提高 25% 。它还将提供一个新的 GPU 控制面板,用于微调游戏在手机上的运行方式。在骁龙 8 Gen 1 上首次亮相的是高通公司的 骁龙X65 调制解调器,它承诺提供一整套 5G 功能和首创。作为高通公司的第四代 5G 调制解调器,它建立在之前现有的毫米波和低于 6GHz 的兼容性基础上,增加了对高达 10Gbps 的速度和最新的 3GPP Release 16 规范的支持。与往常一样,您几乎肯定不会在现实世界中看到这种速度。骁龙 8 Gen 1 还支持 Wi-Fi 6 和 Wi-Fi 6E、蓝牙 LE 音频(高通公司的首创)以及该公司用于实现 AptX 无损无线音频的骁龙 Sound 技术。与高通顶级处理器的传统一样,该公司非常重视其增强的相机功能,该公司首次将其捆绑在一个新的“Snapdragon Sight”品牌下。虽然 Spectra ISP 再次成为三重 ISP 系统,但骁龙 8 Gen 1 将系统升级到 18 位系统(从 888 上的 14 位系统)。这意味着相机数据增加了 4,096 倍,对于非常明亮或非常黑暗的场景,动态范围最多可额外增加四档。三重 ISP(图像信号处理器)还允许在一秒钟内拍摄 240 张 12 兆像素的照片或同时以 8K 的 HDR 拍摄,同时由于每秒 3.2 兆像素的吞吐量增加而拍摄 64 兆像素的静止图像。高通还提供了更多开箱即用的高端相机功能,包括支持使用 HDR 10 Plus 拍摄 8K 视频和以 18 位 RAW 拍摄(假设您的手机具有实际拍摄的相机硬件)。8 Gen 1 还具有各种其他成像改进,包括更好的暗模式图片,可以在单次拍摄中使用多达 30 张图像的数据(高于 888 上的 6 张图像)。还有许多更好的AI处理技术,包括改进的自动曝光、自动对焦和自动人脸检测技术,专用的“散景引擎”用于为4K视频添加人像效果,以及“超广角引擎”可以消除- 扭曲并消除镜头中的色差。高通还增加了第四个 ISP,位于 SoC 上的专用传感中心:与主摄像头的三重 ISP 不同,新的 ISP 专门设计用于为始终处于活动状态的永远在线的摄像头供电。高通对开发人员可以用永远在线的摄像头做些什么有一些远大的抱负,比如当你放下手机或者它检测到有人试图从你的肩膀上阅读时自动关闭你的屏幕。虽然永远在线摄像头的想法引起了一些明显的安全问题,但高通认为该功能旨在帮助您更安全地使用您的设备,将永远在线摄像头的任何摄像头数据保留在设备本地的芯片中安全飞地。此外,客户将能够选择使用始终在线的摄像头,这与他们可以选择是否为语音助手使用始终监听麦克风功能的方式非常相似。尽管如此,增加的功能——以及制造商如何将它实施到他们的设备中,我如果他们真的这样做了——当第一批搭载骁龙 8 Gen 1 的芯片推出时,这将是值得关注的事情。在人工智能方面,骁龙 8 Gen 1 采用高通最新的 Hexagon 处理器,配备第七代人工智能引擎,该公司称其速度是其前代产品的四倍,能效提高了 1.7 倍。高通展示了增强的 AI 性能可以实现的各种用例,包括上述相机功能、模拟徕卡镜头效果的“徕卡 Leitz Look 模式”,以及改进的对您拿着手机的位置的检测以优化天线表现。此外,高通正在添加基于 AI 的采样,以提供 DLSS 风格的效果来改善手机游戏,据说在 8 Gen 1 上玩游戏时会自动发生这种情况。最后,还有安全改进。除了支持 Android Ready SE 标准、支持数字汽车钥匙、驾照、身份证和电子设备外,骁龙 8 Gen 1 还通过“专用信任管理引擎”增加了新的硬件级安全层。钱钱包。还有用于直接连接到蜂窝网络的内置 iSIM 支持。尽管采用了新品牌,但骁龙 8 Gen 1 似乎并没有打破高通芯片的模式,提供了我们对公司年度旗舰产品所期望的常规升级。尽管如此,在像谷歌的 Tensor 或苹果的 A 系列处理器这样的定制芯片越来越受欢迎的世界里,很高兴看到高通无意放慢自己顶级芯片的步伐,即使竞争越来越激烈。随着首款 骁龙 8 Gen 1 智能手机预计在 2021 年底之前推出,不久我们就能看到高通最新的芯片对我们自己来说有多强大。来源“雷锋网”作者 | 董子博原文链接 | https://www.leiphone.com/category/industrynews/yDkqb8Ha9GHJOVeg.html
  • [热门活动] MindCon极客周 | 第三届全新席卷而来,SIG英雄帖,做硬核玩家,夺万元大奖!
    MindCon极客周是华为昇思MindSpore每半年举办一次的开发者狂欢盛会,修复社区Bugfix,贡献开源社区,更有各领域大咖分享前沿技术,旨在引领兴趣者们走入AI探索的世界。在大家的浓厚挑战氛围中,MindCon已经举办了两届啦!以城市为据点,进行了火热的城市接力比拼赛,多位城市组织者带领近一万多位开发者参与到活动中来,与我们一同共创繁荣的开源社区。第三届MindCon极客周也如期而至,不同于往届的团队赛,本届将以个人挑战赛的形式全新席卷而来!向你发出SIG英雄帖,来完成英雄挑战吧!12月1日~18日,我们将带你深入昇思MindSpore开源社区,体验最真实的SIG运作、提ISSUE、跑模型、分享技术文章,不管你是开源小白还是开源大神,都可以参与到狂欢中来,真切的感受开源的魅力!一、社区贡献赛区本赛区一共4个关卡,到每个关卡打卡即可获得相应的积分,积累积分赢MindCon盲盒。
  • [技术行业前沿] “元宇宙”究竟是什么
    >摘要:什么是“元宇宙”,1000个人眼里有1000个“元宇宙”。本文分享自华为云社区[《【云驻共创】年轻人如何入场元宇宙?未来已来!》](https://bbs.huaweicloud.com/blogs/313294?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content),作者:启明。近期,Facebook把自己公司更名为Meta(元),上了一波热搜;而前段时间国内的阿里腾讯,国外的谷歌等巨头纷纷宣布入局元宇宙;行业“冥”灯罗永浩也宣布要入局元宇宙,这个词汇出现的越来越频繁,而未来会更频繁。那么“元宇宙”究竟是什么呢?**1000个人眼里有1000个“元宇宙”**什么是“元宇宙”,1000个人眼里有1000个“元宇宙”。不同的媒体、公司、个人等,对“元宇宙”都有着自己的理解:有的人认为“元宇宙”代表着人类文明的未来;而还有些人觉得“元宇宙”代表着虚拟世界的“躺平”,是个“邪恶”的东西,Elon Musk的冲向太空,才是人类文明的未来.....而在这两种观点之间,还有一种观点:“元宇宙”和互联网一样,本身是不带任何属性的,重点还是看我们如何使用它。要探讨什么是“元宇宙”,我们需要探索人类需求的本源。**影视文学中的元宇宙**首先,我们从影视文学中的元宇宙的角度来挖掘一下:**《雪崩》**对于元宇宙的解释,目前公认翻译自1992年斯蒂芬森科幻小说《雪崩》中“Metaverse”(也译为超元域)一词。元宇宙简单来说,就是现实世界中的所有人和事都被数字化投射在了这个网络云端世界里,你可以在这个世界里做任何你在真实世界中可以做的事情。与此同时,你还可能做你在真实世界里做不到的事情**《庄周梦蝶》**而在中国2300多年前的百家争鸣时代,庄子梦到了自己变成了蝴蝶在翩翩飞舞,醒来之后不知身在何处,就产生了这样的思考:到底是庄子变成了蝴蝶,还是蝴蝶变成了庄子呢?哪个才是真是的存在?还有《枕中记》一书中的“黄粱一梦”等成语也是类似的哲思探索。**《星球大战》**在《星球大战》中我们看到具备三维全息投影功能的R2D2机器人;以及目前在游戏玩家中很流行的玩意儿:由一个全视角显示头盔和一套感应服构成,感应服可以使玩家从肉体上感觉到游戏中的击打、刀刺和火烧,能产生出酷热和严寒,甚至还能逼真地模拟出身体暴露在风雪中的感觉。在《三体》改编的同名游戏中提到,汪淼走到她后面,由于游戏是在头盔中以全视角方式显示的,在显示器上什么都看不到。**《王牌特工》**在美国影视剧《王牌特工》中,当你带上王牌特工的专属AR眼镜,其他与会人哪怕身在不同国家地区,都能就在身边一样,开一个全息会议。**《阿凡达》**在《阿凡达》影视剧中,科学家尝试将人类DNA和纳威人的DNA结合在一起,制造出一个克隆纳威人。而最神奇的地方在于克隆纳威人可以让人类的意识入驻其中,从而成为人类在这个星球上活动的“化身”(Avatar)。**《黑镜》**在《黑镜》第二季第一集当中,名为“Be Right Back·马上回来”,讲述了一对情侣Martha和Ash搬去了Ash父母居住的远离尘嚣的小镇生活,但是社交网络狂人Ash却在归还搬家租赁的货车时死于非命。在Ash的葬礼上,Martha的朋友Sarah告诉了她一种和死去的人建立联系的新方法,就是用Ash在社交网络中留下的所有信息、状态,更新和Like,Martha可以创造出一个新的“真”Ash,从而帮助她减轻伤痛。**《刀剑神域》**在《刀剑神域》中,当你带上脑机接口设备时,你在游戏中死亡,那么在现实中也将死亡。**《太空堡垒》**《太空堡垒》有3个非常了不起的设定:1. 全息眼镜Holoband和虚拟paradise2. 意识上传到云端3. 意识下载到机器人的身体中,成为第一代具备真正“智慧”的机器人**《头号玩家》**2045年,处于混乱和崩溃边缘的现实世界令人失望,人们将救赎的希望寄托于“绿洲”,一个由鬼才詹姆斯·哈利迪一手打造的虚拟游戏世界。人们只要戴上VR设备,就可以进入这个与现实世界形成强烈反差的虚拟世界。在这个世界中,有繁华的都市,形象各异、光彩照人的玩家,而不同次元的影视游戏中的经典角色也可以在这里齐聚。就算你在现实中是一个挣扎在社会边缘的失败者,在“绿洲”里也依然可以成为超级英雄,再遥远的梦想都变得触手可及。**《失控玩家》**今年上映的一个新的影视剧。其中的主角以为自己是生活的主角,其实只不是这个世界的一个NPC,这个舞台上的提线木偶。**UPLOAD**1. 《UPLOAD》中的精彩设定:2. 死前将意识上传到虚拟天堂3. 死后的世界也有2G和5G之分4. 死后通过全息方式参加自己的葬礼**《黑客帝国》**未来的人类生活在机器人所制造的矩阵(Matrix)虚拟世界中,而机器人则得以从人体获取所需的生物能源。但生活在虚拟世界中的人类丝毫没有意识到自己的世界是虚拟的,知道“救世主”的出现。我们并不是来讲解这个科幻影视作品的,我们要做的,是从中这些科幻影视作品中,看看人们的需求。一提到需求,我们可能会立刻想到马斯克的“需求层次论”,但是在这里,我们更加抽象一下:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112022b10tcfwrtfew5jem.png)**物质需求:** 创造价值与财富,提高生产力**精神需求:** 消费与享受生活,社交娱乐**永生:** 彻底脱离生老病死,实现数字化永生当然,按照目前科技的发展进程,如果想实现人类生物身体的永生不老是非常难的,但是通过Metaverse的技术未来我们有可能会实现一种数字化的永生。**巨头眼中的元宇宙**介绍完影视剧中的“元宇宙”,我们来看看巨头眼中的元宇宙:**Facebook?Meta!**首先我们来看的是Meta,也就是之前的Facebook。对Meta来说,今年是一个非常重要的一年,因为今年它改元。当然我们都知道在中国的历史上,某个帝王更改自己的年号叫“改元”,其实对Facebook对Meta来说,2021年也是它的改元之年。我们可以看一看在它改元之前,它的虚拟现实以及在元宇宙做了哪些布局。2014年的时候,其用20亿美元将股份收购了Oculus VR。在收购的时候,扎克伯格在自己的Facebook主页上说了这样一句话:沉浸式的虚拟现实游戏,将是虚拟现实第一个重大应用,但是这仅仅只是一个起点,虚拟现实绝不仅仅是游戏,我们希望把它打造成下一个计算和通讯平台。2018年9月,Facebook在Oculus Connect开发者大会上宣布推出独立虚拟现实(VR)头盔Oculus Quest,跟Oculus Go类似,这种头盔无需PC或手机即可提供虚拟现实功能。但是它提供了6自由度的游戏控制器,可以让玩家更愉快的玩耍。2020年9月,Facebook在开发者大会上宣布推出Oculus Quest 2代,定价仅299美元。2021年11月17日,根据高通CEO透露的数据,Oculus Quest2代的累积销量已经突破1000万台!!!那么1000万台意味着什么?意味着 VR头显的设备已经跨越了所谓的第一个极限点,即将迈向真正的星辰大海。往后接下来几年还会陆续还有Oculus的3代和4代,而这些都在开发之中,而且价格肯定不会比二代贵,也会解决诸多的技术问题,但是具体的发布时间(可能在2022年圣诞节前)还在猜测当中。除了3代和4代之外,还有传闻中的PRO版本,也就是性能更强,价格更高,那么它可能会对标传说中要发布的苹果的新品。当然Meta也就是之前的Facebook,除了现有的Oculus这条产品之外,还在积极的研发AR眼镜。看完上述的这些产品之外,我们也来看一看Meta还有其他哪些布局:2018年的Facebook F8大会上,Oculus首席科学家Michael Abrash宣布Oculus研发部门Oculus Research重新命名为Facebook Reality Labs,并同时涉足VR与AR技术的研发。Facebook AR/VR部门在2021年总人数已逾1万人,占总员工人数的近20%,而2017年该部门仅为1000人。Facebook有两个开发者的大会是值得我们关注的,分别是每年5月到6月的F8大会,以及每年10月底左右的XR开发者大会。Facebook于2017年发布了名为AR Studio的AR套件,并一直与全球社区合作,共同塑造和定义Spark AR平台。2021年8月20日,Facebook推出测试性的VR远程办公APP,名为Horizon Workrooms,有了该软件,Oculus Quest 2用户可以用虚拟化身参与会议。2021年11月11日,Meta宣布与微软合作,将Meta旗下的WorkPlace功能与微软的Teams整合,发展元宇宙办公室。我们可以看到,现在虚拟现实和原有的产品和技术的布局,从之前的以数年为单位,现在已经大大的提速,增加到了一年半年甚至几个月都会有一个新的产品新的功能出来。那么在内容生态上,Meta一是推出Oculus Store,目前已有超过60款Oculus Quest 游戏的营收超过100万美元;二是和第三方平台SideQuest合作。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112050xfjbcurdtm9ol3fv.png)其还成立了Oculus Studio,并且收购多家VR内容公司,包括Beat Games、Downpour、Ready at Dawn、Sanzaru Games、BigBox VR。根据Steam VR平台的统计数据,我们可以看到OcQ设备的市场占有率是非常的高:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112112dpgkot2jjaekrhby.png)那么目前在这个市场上我们可以看到,整个平台已经有了一定数量的相关的VR内容,包括支持各个设备的,但是还仅仅是在以千为单位。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112135b9iy2gmw0lewyrmz.png)我们都知道,比如说苹果的App Store或者是安卓商城上的应用,都已经是突破上百万甚至几百万个,那么现在目前 VR的应用还处于非常的早期。所以对于Meta来说,也就对于之前的Facebook来说,最重要的事情就是上个月28号扎克伯格宣布它正式更名成Meta,从此迈向未来的星辰大海。**微软**同样是元宇宙,我们可以看到Meta,也就是Facebook它更偏重于其社交属性。而对于微软来说,它更多是从企业办公、企业生产力方面来看,也就是所谓的“企业元宇宙”。2015的开发者大会,微软与WIN10一起推出黑科技产品HoloLens;2019年2月的MWC(世界移动通信大会)上,微软发布HoloLens 2代;2021年4月,微软拿下美军218.8亿美元的军工版HoloLens合同。除设备之外,2018年10月,微软首次启动Azure Digital Twins平台预览版;2020年12月,微软宣布Azure Digital Twins全面上市;2021年3月,微软推出了一款具有3D化身和其他XR功能的虚拟平台Mesh,旨在打造能让人们通过AR/VR技术进行远程协作的应用。微软团队将会推出全新的3D虚拟化身,无须使用VR/AR头盔,用户将能够以虚拟任务或动画卡通的形式出现在视频会议中,且通过人工智能能够解读声音,让头像变得活灵活现。可以看到微软的动作也是不断的加快:11月2日,微软在Ignite大会上宣布,计划将旗下聊天和会议应用Microsoft Teams打造成元宇宙,把混合现实会议平台Microsoft Mesh融入Microsoft Teams中。此外,Xbox游戏平台将来也要加入元宇宙。萨提亚·纳德拉表示,微软的元宇宙最初专注于企业级应用。微软(中国)首席技术官官韦青表示,没必要去纠结现在流行的技术叫什么词,无论是叫元宇宙也好,叫数字孪生也罢。永远不要忘记,创造虚拟空间的初衷是为了强化物理世界,让我们在现实生活提高生产效率,降低生产成本。官韦青指出,像微软、苹果等科技公司的业务是虚拟空间、物理世界两方面业务皆有覆盖,两方面互补,而不是单方面地陷入到某一个领域。元宇宙构筑的逻辑,都是将物理世界的对象和现象变成模型,放到虚拟空间中,进行仿真、预测,最终反馈到物理空间,来强化我们的物理世界。下图是微软的Metaverse解决方案,包括它的物理世界、连接、建模、位置、数据,还有智能逻辑以及协作平台等等,可以看到它是偏向于提高生产力。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112202qapp89a1oqudsuqg.png)下图是微软去年在AR/VR领域的专利,可以看到在Q1至Q3它都是排在第一的,Q4是Magic Leap跃居第一。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112220m1fzjurrvgi2lplo.png)在Meta的眼中,元宇宙可能更多的是社交娱乐,也就是满足我们的精神需求,而在微软的眼中元宇宙做更多的是提升生产效率,满足物质层面的需求,那么,英伟达眼中的元宇宙又是什么呢?**英伟达-OmniVerse**英伟达提出自己的元宇宙叫OmniVerse。它在元宇宙相关的布局及相关产品:1、NVIDIA RTX系统显卡和虚拟工作站;2、NVIDIA CloudXR-XR串流平台(和微软Azure以及Amazon AWS开展合作,主要兼容AR和VR设备,包括不限于:1、大部分PCVR、HoloLens 2、VR一体机、支持AR的安卓和iOS设备等);3、OmniVerse元宇宙平台-数字版老黄2021年11月9日GTC大会再次升级Omniverse平台,发布了Omniverse Avatar和Omniverse Replicator。Omniverse Avatar是一个用于生成交互式AI化身的技术平台。它集合了英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟技术方面积累的技术,为创建人工智能助手打开了大门,可以帮助处理数十亿的日常客户服务互动。Omniverse Replicator则是一种合成数据生成引擎,可以基于现有数据持续生成用于训练的合成数据。Omniverse的门户是USD(通用场景描述)黄仁勋认为Omniverse的本质是一个数字虫洞。未来任何计算机都可以连接到Omniverse就像HTML(一种标记语言,可将网络上的文档格式统一)基于网站。黄仁勋表示:“如何使用OmniVerse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车,甚至是虚拟形象的数字孪生,是一个永恒的主题。”总结来说,在英伟达眼中,那么不管是叫OmniVerse,还是MetaVerse也好,它百分之八九十的功能是为了提升生产力。具体的细节大家可以去相关的英伟达的开发网站去看详细的细节(http:http://developer.nvidia.com/nvidia-omniverse-platform)。**苹果**苹果虽然目前还没有推出相关的产品,但是他在不断的收购相关的公司以及部署了非常多的专利。那么在各个场合其CEO库克也表达了他对元宇宙以及对虚拟现实的一些看法。I think AR is big and profound. This is one of those huge thing that we'll look back at and marved at the stat of it. I think customers are going to see it in a variety of ways anfd it feeld great to get AR going at a level that can get all of the developers behind it.Tim Cook, Apple CEO库克认为,AI,也就是增强现实是一个非常巨大的市场。在苹果WWDC 2017大会上,苹果发布了AR开发工具ARKit,具备SLAM、平面检测、光照估计、环境理解、图像识别等功能;2017年9月12日,苹果正式发布的iPhone X系列手机中使用了A11 Bionic芯片,首次集成了神经网络引擎;以及3D结构光技术FaceID,通过iPhone X的Face ID可以制作3D表情Animoji;2019年9月11日,苹果发布的iPhone 11首次使用了UWB超宽频芯片U1,超宽频技术让iPhone 11系列更具空间感知能力,可精确定位其他配备U1的苹果设备;2019年10月29日,苹果发布的Airpods Pro无线降噪耳机首次使用了“空间音频”功能,2020年9月苹果发布的iOS 14为AirPods Pro新增了“空间音频”功能;2020年1月14日,苹果推出USDZ 3D格式转换工具Reality Converter;2020年3月18日,苹果官网发布了iPad Pro 2020,首次使用了dTOF激光雷达(LiDAR);2021年4月21日,苹果春季发布会上推出的iPad Pro 2021搭载M1芯片,令世人震惊;2021年秋季发布会,苹果推出搭载M1X芯片的14寸和16寸Macbook Pro;根据彭博社的报告透露,苹果未来的AR/VR设备将集成M系列芯片的高端版本。那么产业链的消息是2022年的秋季,苹果很可能会发布自己的首款AR/MR头显。与此同时2025年的时候有可能会推出苹果首款AI眼镜。当然前面也提到了,其实苹果虽然没有推出产品,但是它已经布局了非常多的专利,包括收购了大大小小的各种相关的公司,其实都是公开可以查询到的(https://www.fastscience.tv/collections/k1ntwsy7lJLihhL5iA89)。**谷歌**看完苹果之后,我们再来看一下谷歌。谷歌在这个领域的布局和定位,可能是没有那么的清晰。比如说我们都知道,Meta的定位是做社交元宇宙;微软做的就是企业元宇宙;苹果面向于 C端消费者市场,定位是做增强现实.谷歌做了很多尝试性的工作,包括Google DayDream和Google Glass等,但是延续性都不是很强。所以对于谷歌今后将推出什么样的产品,我们无从知晓,目前来说延续性比较好的 是ARCORE这一块。当然它在相关技术的前沿研究上还是做的比较到位的,比如Project Starline,就是一个仿真、全新的社交。“Project Starline”是一个结合了硬件和软件技术进步的技术项目,旨在帮助相隔两地的朋友、家人和同事共聚一起。想象一下,透过一扇神奇的窗户,你可以看到另一个人,真人大小,三维形式。你们可以自然地对话,做手势和进行眼神交流。**华为**2019年推出VR Glass;2021年11月17日推出VR Glass 6dof 游戏套装版本;2019年11月开源数据虚拟化引擎华为河图Cyberverse, 目的是打造一个“地球级、不断演进,与现实无缝融合的数字新世界”。华为河图有四个核心能力:1、3D高精地图能力;2、全场景空间计算能力;3、强环境理解功能;4、虚拟现实融合渲染能力。**其他公司****字节跳动:** 2021年8月29日字节跳动官宣90亿元人民币收购Pico。**腾讯:** 提出全真互联网概念。当然他在这个领域的更多是通过投融资投资来布局,比如说投资虚幻引擎,以及做上周又投了一家做触觉手套相关技术的公司。**HTC:**2015年3月在MWC 2015上发布HTC Vive,并于2016年上市;2017年HTC 将部分手机业务出售给Google后,全面转型VR市场,曾一度占领市场先机。但是近两年C端市场的表现远远落后于Facebook,2021年6月宣布重心转向B端;2021年5月发布HTC VIVE Focus3商业版和HTC VIVE PRO 2。**Sony:**2016年10月,Sony正式开始发售PSVR,并搭配PS4和下一代的PS5使用;2018年8月,PSVR销售突破了300万台;根据Sony官方透露的消息,PSVR2预计2022年发布**元宇宙百科词典**我们看完了科幻影视作品里面元宇宙,以及巨头对元宇宙之后的看法,接下来我们就看几个关键的核心的名词。首先是3个R:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112254cea0gnhbyelyknjx.png)**VR=一切皆梦幻泡影**VR(Immersive Virtual Reality)= 虚拟世界,沉浸式虚拟现实,忘了现实世界的一切~VR满足3个特性,分别是沉浸、交互和想象。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112314g05wnjanbpbkmbjh.png)**AR=向左是真实,向右是虚幻**AR(Augmented Reality)=真实世界 + 数字化信息**MR=真实虚幻傻傻分不清**MR(Mixed Reality)=真实世界 + 虚拟世界+ 数字化信息,假作真时真亦假,无为有处有还无**数字人:** 什么是数字人、什么是虚拟偶像?通过建模、3D扫描以及动作捕捉,把类似真实的人的形象做成一个虚拟的数字人,然后让他做很多相关的初步动作。待会我们会在技术环节给大家讲述数字人是如何实现的。**数字孪生(Digital Twin):** 虚拟和现实的高度融合互通(现实世界的数字复刻)1.最早用于NASA阿波罗项目,对飞行中的空间飞行器进行实时仿真;2.实现物理工厂/系统和数字工厂/系统的交互和融合;3.面向B端-用于工业4.0、智能制造、智慧城市等;4.AR/VR、IoT、AI是重要的技术支撑。下图是北京航空航天的陶飞等人从车间组成的角度给出了车间数字孪生的定义,然后提出了车间数字孪生的组成,主要包括:物理车间、虚拟车间、车间服务系统、车间孪生数据几部分。物理车间是真实存在的车间,主要从车间服务系统接收生产任务,并按照虚拟车间仿真优化后的执行策略,执行完成任务;虚拟车间是物理车间的计算机内的等价映射,主要负责对生产活动进行仿真分析和优化,并对物理车间的生产活动进行实时的监测、预测和调控;车间服务系统是车间各类软件系统的总称,主要负责车间数字孪生驱动物理车间的运行,和接受物理车间的生产反馈。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112335jpou9eq8d1vv44bx.png)**全真网:** 马化腾于2020年底在腾讯集团官方年度特刊《三观》提出1.移动互联网的接替者;2.虚拟世界和真实世界的全面融合;3.全面+真实(全面= 消费互联网+产业互联网 真实= AR/VR交互技术)。元宇宙:源自科幻作品《雪崩》,⼀个⼈们以虚拟形象在三维空间与各种软件进⾏交互的世界。其真正为人所知是今年Roblox上市的时候,把MetaVerse加到了招股说明书,并且提出了元宇宙的八大要素:身份、朋友、沉浸感、低延迟、多元化、随地、经济系统、文明。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112411qerujfwtfeo9nwux.png)可以看出,其对元宇宙的理解,更多也是一个社交娱乐层面的。而维基百科之中,对元宇宙的定义更加的精准和全面:The metaverse (a portmanteau of "meta-" and "universe") is a hypothesized iteration of the internet, supporting persistent online 3-D virtual environments through conventional personal computing, as well as virtual and augmented reality headsets.一句话概述:元宇宙就是下一代互联网。**元宇宙的技术基础**那么接下来我们来一起看一看元宇宙就是如何构建的,也就是元宇宙的技术基础。元宇宙的构成技术是非常的多,包括虚拟现实、区块链、AI+人工智能等等.!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112431ifbjwwkmv59mavlg.png)我们本次重点从虚拟现实和大家分享一下。AR/VR技术的科技树,也就是五大核心技术:近眼显示技术、内容创建技术、网络传输技术、渲染技术、感知和自然交互技术。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112449jv2da4gisz480mfn.png)**1.Near-eye display(近眼显示技术)**包括传统的屏幕显示技术(LCOS/OLED/可折叠的AMOLED/Micro LED)和光学技术(光场显示/波导技术等等。**2.Content creation(内容创作技术)**包括虚拟角色和场景构建、动作捕捉、全景视频拍摄与编辑等等。**3.Network communication(网络传输技术)**这方面最受人关注的当然就是即将商用的5G技术,以及传说中传输速率可达每秒1T的下一代6G技术了。当然还有一系列的其它技术有待发展。**4.Rendering Processing(渲染技术)**包括本地渲染、云渲染、光场渲染、多重视角渲染,以及硬件渲染加速等等技术。**5.Perception&interaction(感知和自然交互)**包括跟踪定位技术、多感官自然交互技术(脑波、语音交互、触感交互等等)、机器视觉技术(SLAM/场景分离与识别等)AR/VR技术有一个非常著名的科技树(如下图),我们可以看到刚才提到的五大技术都有一个科技树展开,然后每个树也有自己的树干,每个树干上也有非常多的分支和树叶。毫不夸张的说,在其中的任何一个树干,甚至任何一个树叶之上,如果去做深入的研究,都可以在这个领域成为一个非常资深的专家。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112511jpnui9ssdcbjr9wh.png)下图是AR/VR技术成熟度曲线,可以看到类似跟踪定位、液晶屏显示、云渲染以及OS相关等技术基本上都是属于两年之内可以商用的。类似另外一些,比如说自由曲面、虚拟化身、混合云渲染等这些可能要2~5年。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112529f2puwavrugzqjxby.png)接下来我们快速的带大家来一起过一下5大核心技术。**近眼显示技术**首先是近眼显示技术。近眼显示技术分两个部分,分别是显示技术以及光学技术。显示技术其实就指的各种各样的显示屏,比如LED、MicroLED等等。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/1125464spycak0zktxvavi.png)而对于光学技术,我们可能首先想到就是双眼视差原理。人眼是如何实现立体视觉呢?其实最简单就是因为每个人都有两只眼睛,每个眼睛之间都有一定的间隔,通过间隔每个眼睛看到的图像有所差别,再通过我们的大脑的这种判断,最终都形成了一个立体视觉。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112602pw99pawkdpvs4mr2.png)同时,AR/VR的光学系统,包括 Pancake,折返式、自由曲面以及光波导。然后我们再来看一下还有全息投影技术,3D全息投影技术可以分为投射全息投影和反射全息投影两种,是全息摄影技术的逆向展示。目前我们经常看到的各类表演中所使用的全息投影技术都需要用到全息膜这种特殊的介质,而且需要提前在舞台上做各种精密的光学布置。虽然看起来效果绚丽无比,但成本高昂,操作复杂,需要专业训练,并非每个普通人都可以轻松享受到的。从某种程度上来说,目前的主流商用全息投影技术只能被称作“伪全息投影”。**内容创建技术**内容创建技术分成360全景拍摄、传统3D建模和3D重建。**全景拍摄**,其实也就是全景相机还有全景摄像机。优点:百分百真实缺点:无法切换焦点,无法和场景及人物互动**3D建模**就是大家熟悉的3D MAX、玛雅等。优点:精度高,流程成熟缺点:耗费大量人力、时间、精力3D重建主要是针对于小物体以及人物角色。它本身就分成基于2D图像、基于3D扫描、基于红外TOF。惯性动作捕捉技术也是比较主流的动作捕捉技术之一。其基本原理是通过惯性导航传感器和IMU(惯性测量单元)来测量演员动作的加速度、方位、倾斜角等特性。惯性动作捕捉技术的特点是不受环境干扰,不怕遮挡,采样速度高,精度高。2015年10月由奥飞动漫参与B轮投资的诺亦腾就是一家提供惯性动作捕捉技术的国内科技创业公司,其动作捕捉设备曾用在2015年最热门的美剧《冰与火之歌:权力的游戏》中,并帮助该剧勇夺第67届艾美奖的“最佳特效奖”。我们以英伟达的“虚拟发布会”为例,来讲一下怎么搭建一个虚拟场景。详细的步骤可以参考下图:!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112645z5lez8g3myoropna.png)第一步:使用3D扫描构建虚拟场景![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/113254twsojk6iawsffcv9.gif)第二步:使用体积摄影进行全身3D建模![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/113314mzyazztyfmsiwaih.gif)第三步:使用AI Audio2Face让口型和面部肌肉变化随语音变动![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/113330ah3pu22qunj1tsnc.gif)第四步:使用动作捕捉获取身体姿态动画![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/113350pul23quwsmx50iqs.gif)第五步:使用RTX渲染器进行实时光线追踪![](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/1134072wcm4fa8d0gsvxzp.gif)在了解前述知识点之后,我们再来看看 3D引擎和SDK技术。当然在这个领域AR/VR里面最常用的3D引擎无非也就是虚幻和Unity。在此,推荐一本非常经典的书叫《游戏引擎架构》。书里对游戏引擎,从低阶到图形动画,再到高阶的构成做了非常详细的描述和解释说明,目前已经是出到第三版了。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112900efejszeyzrvqlbwl.png)AR/VR相关的SDK比如说Vuforia、APPLE ARKit,GOOGLE ARCORE等等。**网络传输技术**我们再来看一下网络传输技术。网络传输技术是虚拟现实的支撑技术。**渲染技术**渲染技术包括本地渲染、云渲染、光场渲染、多重视角渲染,以及硬件渲染加速等等技术。**本地的VR渲染流程如下:**!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112925vlzgmd906dqopmnu.png)**云VR渲染流程:**在本地VR渲染的基础上额外增加三个环节(比本地渲染增加20ms左右的延迟):1.图像压缩编码2.网络传输3.图像解压缩云VR渲染的利弊:好处:1.降低对本地硬件处理能力的要求包括存储空间、性能、散热等,从而让设备增加轻便缺点:1.额外增加延迟,影响实际体验2.清晰度经压缩和传输后无法保证**端云渲染的配合使用**1.对于不追求及时响应的应用如3dof游戏、VR看房、旅游景点观赏、全景视频播放等,通过ATW+云渲染+本地观看的方式可以获得比较好的效果。2.对于追求及时响应的6dof游戏和社交互动应用渲染处理更多还是需要在本地进行,云端用于处理指令型数据(参考大型多人在线游戏MMORPG)。3.当前的5G网络和设备硬件性能无法支撑强互动型的云VR渲染和数据传输,未来的6G可以完全实现。**感知和自然交互技术**Inside-out技术基于单目/双目/多目视觉+IMU的inside-out技术取代早期的Outside-in技术开始产品化,特别是在VR一体机设备,如Oculus Quest /Oculus Quest 2、HTC Vive Focus等。可以实现:1.追踪定位2.手势动作识别**FOV眼动追踪技术**眼动追踪的原理其实很简单,就是使用红外摄像头和LED捕捉人眼或脸部的图像,然后用算法实现人脸和人眼的检测、定位和跟踪,从而估算用户的视线变化。目前主要使用光谱成像和红外光谱成像两种图像处理方法,前一种需要捕捉虹膜和巩膜之间的轮廓,而后一种则跟踪瞳孔轮廓。**SLAM**基于RGBD相机和红外TOF、激光雷达和AI算法等实现实时场景3D重建,在机器人、无人机和AR/VR设备如HoloLens中得到普遍应用,除此之外,还有语音交互和语义理解、触觉反馈,嗅觉及其它感觉及模拟器。另外还有一个非常亮的亮点——脑机接口(大脑和计算机直接进行交互,有时候又被称为意识-机器交互,神经直连。脑机接口是人或者动物大脑和外部设备间建立的直接连接通道,又分为单向脑机接口和双向脑机接口)。单向脑机接口只允许单向的信息通讯,比如只允许计算机接受大脑传来的命令,或者只允许计算机向大脑发送信号(比如重建影像)。而双向脑机接口则允许大脑和外部计算机设备间实现双向的信息交换。!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/27/112954dbozqtmtrclppymm.png)**如何参与元宇宙**作为开发者也好,作为兴趣者也好,我们如何来参与元宇宙呢?**未来5年产业发展预测**首先看一下产业链的构成,它包括硬件、平台、工具、内容、行业应用,还有服务。硬件有分很多分支,比如终端设备,还有其中的零部件等等,其中:1.2022年将是AR/VR行业真正爆发的元年,特别是VR;2.VR设备从2021年OCQ2代单款突破千万销量后,将开始爆发式增长;3.苹果新品将让AR/VR从小众精英人群的玩具走向大众,其行业影响力不容小觑;4.终端设备从2022年开始将成为巨头逐鹿的市场,小型创业团队的窗口期接近关闭,从2021年下半年开始会看到更为密集的战略型投融资或并购事件发生;5.AR设备在接近诸多技术问题之前,主要仍将面向2B市场,在2025年可能迎来爆发;6.核心器件方面(芯片、显示屏、光学器件、声光电传感器等模组)投入巨大,不适合初创型团队,目前仍然是巨头以及上市公司体量团队的天下。但该部分也是构成终端设备比例最大的部分;7.感知交互方面,目前并没有统一的行业标准,空间定位、手势交互、眼动追踪、全身动捕、语音交互、脑机交互都处于发展的早期阶段,该领域有众多的初创企业。而Facebook、苹果等公司收购的重点也在该领域的领先技术团队;8.其它配套外设,目前全景相机领域已有脱颖而出的领先者,如Insta360,其它领域因生态系统尚未标准化,有较大的空间。**工具平台**1.工具平台中的系统级平台(操作系统/UI)仍将由巨头把控,特别是苹果、Facebook,国内厂商如能接受移动互联网时代的教训,应在第一时间切入底层系统平台的打造,否则仍将受制于人2.AR/VR内容创建工具目前虽然已经有Unity/UE4等市场领先产品,但是因为设备平台的独特性,仍然有巨大的潜力空间,包括SDK、3D开发引擎、基于AI技术的自动化3D场景和角色建模工具、基于AI技术的高效渲染软件等,都有足够的空间。该部分也给初创型团队留下了足够的机会。**内容-内容创作**随着三大核心产品的爆发,以及C端的量级突破,内容创作方面将迎来全面繁荣,包括影视、游戏、直播、社交、3D/全景等。而内容创作因为其创意和开放性属性,一向是初创团队的首选,在硬件和工具平台领域形成各自王者之后,将有越来越多的团队加入该领域。内容创作和工具平台的交集是类似Roblox的“元宇宙”大型多人在线社交类产品。**内容-内容分发**1.系统级别的内容分发和流量入口仍将占据首要地位,特别是后续的苹果生态,2.类似移动互联网的安卓商城生态,将有众多的第三方内容分发平台涌现,比如专门针对Oculus Quest的SideQuest平台。3.类似于移动互联网时代的微信,后续也将有类似微信的超级APP出现,同样可以扮演内容分发的角色。**行业应用**1.在国内市场,行业应用领域短期内仍将是VR的主要商业变现应用场景,如面向职业教育的教育培训、医疗健康、军事训练等。2.在可预见的5年周期内,AR的主要应用场景仍然集中在行业领域,特别是智能制造、数字孪生等。**服务**随着行业的爆发式增长,相关的媒体、协会、线下活动等也会更加活跃起来,并逐渐形成集媒体、投融资服务、产品推介等为一体的综合服务,类似移动互联网时代的36kr等。部分媒体也会朝内容分发的方向去尝试。**总结**我们见证了历史,也步入了未来。人人皆可改变世界。
  • [其他] 当我们谈论元宇宙时,我们在谈论什么?
    ---**原标题:当我们谈论元宇宙时,我们在谈论什么?**文丨程实、高欣弘近日,外界对于元宇宙质疑的声音显著增多,相比之前对元宇宙是否是“新瓶装旧酒”的炒作质疑之外,目前还涌现了上升至哲学思辨的批判声音,指出人类可能就此走上娱乐至死的道路。与之形成鲜明对比的是另一边越发火热的资本市场,元宇宙第一股Roblox(RBLX.N)在Q3业绩公布之后大涨42%,A股元宇宙指数11月以来涨幅接近20%,大幅跑赢其他概念版块。真理越辩越明,在争议中成长或许是探索元宇宙的必经之路。通过对不同人群元宇宙理解的梳理和研究,我们发现,第一,元宇宙不是单一的静态语义概念,而是宏大的动态叙事主题;第二,有关元宇宙的讨论必要且重要,其中隐含了利益纠葛与规则制定的多重博弈;第三,资本市场对元宇宙的理解在不断加深;第四,不同市场对元宇宙题材的反应时间与挖掘深度不同,存在市场间的套利机会。具体来说,海外元宇宙行情的启动时间可看作A股元宇宙投资的先行指标,而A股投资者深度挖掘的题材亦可作为海外市场的前车之鉴。**元宇宙不是单一的静态语义概念,而是宏大的动态叙事主题。**随着元宇宙热度的不断提升,越来越多的人正在加入到元宇宙的激烈讨论之中,然而不同群体对元宇宙的具体设想逐渐出现巨大的分歧。(如图1所示)我们对谈论元宇宙的人群进行分类,首先是元宇宙的直接建设者,包括移动互联网时代的科技巨头和蓬勃发展的科技新锐;其次是元宇宙的投资者,他们从财务投资的角度支持元宇宙的发展并期望获得高额的投资回报;最后是元宇宙的潜在参与者,他们的身份是学者、作家和公众人士。我们总结发现,目前人们对元宇宙的认知主要分为四种类型,第一种是维基百科定义的在线3D虚拟环境,也可以理解为“互联网+超沉浸式虚拟现实”,在这个元宇宙中,AR/VR所能提供的沉浸式体验将是关键要素。第二种是“互联网+共享状态”,酷炫的前端体验并不是必要的,但元宇宙需要成为一个高度可互操作的、去中心化的开放虚拟世界,重点在于打破Web2.0时代的封闭与垄断。第三种是Shaan Puri提出的奇点时刻,即元宇宙是时间而非空间的概念,它标志着人们的数字生活价值大于物理生活的那一刻。第四种则是形而上学的元宇宙,认为元宇宙的本质是刺激人类体内多巴胺等物质的生成,提供现实世界无法提供的高端刺激。(如图2所示)图1:不同人群对静态元宇宙的观点汇总!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/26/132242lug9fezlzefp1eei.png)资料来源:ICBC International图2:元宇宙的四种理解!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/26/13225045dix94n7exwbg7g.png)资料来源:ICBC International**元宇宙隐含了利益纠葛与规则制定的多重博弈。**我们在报告《元宇宙是缝合怪吗》中提到,人类最终将面临元宇宙规则制定的问题。在移动互联网时代,数据使用和匹配算法均由提供闭源协议的科技企业制定,而元宇宙则将带来利益的重新分配与规则制定权的轮转。由此,我们就容易理解为何元宇宙建设者和投资者的整体论调偏正面,而参与者中则出现了更多的批判声音。本质上来说,在元宇宙的新一轮洗牌中,建设者和投资者更有可能为自身谋求利益或者成为规则制定者,而参与者往往只能选择被动接受。延伸到元宇宙的具体设想内容,不同人群的立场同样有助于我们解读个中差异。比如身为挑战者的科技新锐大多不认可扎克伯格描绘的元宇宙,并且直接指出Meta Platform非但不能改善现在移动互联网的问题,甚至还会加剧权力垄断,尤其是当他们发现Facebook(FB.O)主推的VR设备Oculus已经逐步偏离了“开放”的原则,正通过独占游戏内容打造新的垄断墙。此外,区块链与加密货币利益相关人士则会突出区块链与数字货币在元宇宙中的作用,把去中心化而非AR/VR看作元宇宙的核心。作家是一类相对特殊的群体,一方面他们走在思想创意的前沿,在科幻作品中提出了最早的元宇宙原型,另一方面他们撰写虚拟世界往往并不是出于对美好未来的幻想,而意在以反乌托邦式的讽刺对人类进行警示。因此,当他们发现书中的假设可能成为现实,毫无疑问将会提出反对的声音。值得关注的是,即使同为移动互联网时代获得成功的企业,Facebook和Apple(AAPL.O)也对元宇宙体现出截然不同的态度。Facebook大刀阔斧地改革,以改名Meta来展现自己转型元宇宙的决心,正是因为Facebook当前尚未建立操作系统和硬件设备的优势,转而寄希望于将VR/AR设备作为全新世界的入口。而Apple的CEO库克则表现得相对理性,他表示不扯新概念,只谈增强现实。正如我们所知,Apple采用硬件与软件同步发力的策略,利用iPhone以及IOS系统的盈利模式趋于稳定,开发者如果想将游戏在IOS应用商店上架,则需要给Apple30%的收入分成。因此,Apple显然不想割裂已经建立的硬件行业领先地位,而希望后续推出的AR眼镜以与现有硬件系统兼容的状态发展。**资本市场通过自我学习加深了对元宇宙的理解。**自从被称为元宇宙第一股的Roblox(RBLX.N)3月10日在纽交所上市之后,元宇宙便开始成为海外市场的关注热点,但在中国,元宇宙概念的真正爆发却要追溯到8月末。8月29日,字节跳动宣布收购VR公司Pico,元宇宙迅速受到投资界的广泛关注,概念热度从一级市场蔓延至二级市场,由此我们将这一天视作中国元宇宙概念热潮的第一轮起点。10月28日,Facebook改名Meta,再度引发市场与公众热议,质疑与思辨的声音随之迭起,我们将此视作元宇宙第二轮热潮的起点。如图3所示,我们发现,A股的元宇宙概念股收益率表现具有显著的阶段性、结构性特征。在第一阶段(8/29-10/28),由于元宇宙概念酷炫却定义不明,资本市场投机情绪浓厚,元宇宙概念的炒作高度集中于少数几个与游戏和5G相关的公司之上,而其他大多数相关细分领域的收益率均为负数,元宇宙指数的整体收益率为-2.0%。而进入第二阶段(10/28-11/15),Facebook改名事件加强了元宇宙与现实落地的联系,投资者在质疑声中开始认真思考更完整的元宇宙图景。虽然当前仍处于第二阶段的早期,但截至11月15日,元宇宙指数的收益率达到22.1%,而同期沪深300指数的收益率为0.4%。结构上也发生了较大转变,投资热点不再局限于游戏和5G,元宇宙各细分领域都收获了不俗的表现,其中表现最好的是AR/VR相关企业、数字出版以及游戏引擎。这也体现出二级市场投资者对元宇宙的认知在不断进化,虽然投机情绪并未消退,但投资者已经不止步于短期概念的炒作,开始深入挖掘具有强可塑性和真正价值的元宇宙题材。由炒作热点延伸到具体要素,资本市场快速的自我学习与价值驱动也让我们看到了元宇宙最终落地的可能性。图3:A股资本市场对元宇宙理解的动态变化!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/26/132230kkhj83abppmnxcbt.png)资料来源:ICBC International,Wind注:元宇宙概念股除了wind发布的元宇宙指数中的85家公司外,还包括一些其他相关度高的标的。由于目前二级市场标的的主营构成大多与元宇宙没有直接关系,我们制定元宇宙构成要素的分类,并将以上标的按相关度手动整理归类。**不同市场对元宇宙题材的反应时间与挖掘深度不同,存在市场间的套利机会。**虽然中国与美国市场都在炒作元宇宙题材,但两者的投资风格存在显著的差异。第一是时间差,海外投资者对元宇宙题材的投资启动时间整体要早于A股市场,但A股市场的爆发速度更快。如图4所示,海外元宇宙指数Roundhill Ball Meta Index(以下简称BallMeta)从6月至9月总体呈缓慢上涨趋势,Wind发布的A股元宇宙指数前期持续振荡走弱,但9月题材走热时仅在一周内迅速赶超了BallMeta的收益。10月初,BallMeta启动第二轮行情,而A股元宇宙指数则是在10月28日Facebook改名事件后迅速走强,如今收益率已经超过BallMeta。这也反映出内地与海外市场投资风格的差异,内地资本市场更热衷于短时间内的题材炒作,而海外市场则偏向于细水长流。第二是结构差,通过对比BallMeta与A股元宇宙概念股的成分差异,我们发现A股投资者对元宇宙概念的挖掘深度要显著强于海外投资者。比如虽然投资者均认可AR/VR是元宇宙的重要外接设备,但BallMeta中涉及这一领域的公司只有Facebook(Oculus还并非Facebook的主要赚钱业务),相比之下,A股投资者正在充分挖掘产业链各环节的标的,经统计,A股元宇宙指数中与AR/VR相关的公司达到21家,其中不乏Oculus与Pico的供货商。此外,能称得上数字内容产业(游戏除外)的公司只包含了Disney(DIS.N)和Bilibili(BILI.O),甚至未涵盖推出大热元宇宙剧集《鱿鱼游戏》的Netflix(NFLX.O)。我们认为,时间差和结构差将会随之带来套利机会,一方面,Ballmeta可作为A股元宇宙行情启动的先行指标,另一方面,A股投资者深度挖掘的题材或将成为海外市场的前车之鉴。图4:A股与海外市场元宇宙指数的表现存在时间差!(https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202111/26/132303dm0nuzzgapm7umb6.png)资料来源:ICBC International,Bloomberg,Wind注:以2021年6月18日为起始点,Index=100_本文仅代表作者观点 __程实系工银国际首席经济学家、董事总经理;高欣弘系工银国际宏观经济分析师__责任编辑 冯涛 Tao.feng@ftchinese.com__图片来源 Getty Images、图表由作者提供_ 来源:FT中文网
  • [沙箱纠错] 基于DevCloud进行黑白棋实时对战游戏开发_步骤
    步骤2.2,进入Node.js下载网站,单击Windows安装包“64位”。之后,并未出现运行界面
  • [行业资讯] 从未来回归现实,Metaverse元宇宙如何商用落地?
     关于元宇宙的四个里程碑事件 2021年可以称得上Metaverse元年,对于元宇宙产业来说,大概发生了4个里程碑的事件: 第一个是ROBLOX上市,这是一家游戏公司,之前业务是做物理、化学的网络教育,后来转型游戏公司。这家公司是业内认为第一家元宇宙概念的上市公司。 第二个是Facebook成立的公司Horizon Workrooms,用VR来解决远程工作协作的问题。后面扎克伯格把Facebook改名成Meta,吸引了很多流量,也可以说是长久以来的布局。 第三个是Nvidia的CEO黄仁勋也提出要进入元宇宙,但是他在元宇宙前加了一个词“Crypto”,提出了加密元宇宙的概念。 第四个是用户进入元宇宙都要有一个独家的NFT头像,这些头像都需要用数字货币来买。以太坊宣布支持元宇宙的头像购买的法定货币。 当然国内可能还有一个事是罗永浩宣布下一个创业项目是元宇宙,如果熟悉罗老师的创业经历可能也不会奇怪,他的每一步创业都踩在资本的风口上。原文连接  ​从未来回归现实,Metaverse元宇宙如何商用落地?-消费电子-与非网 (eefocus.com)
总条数:267 到第
上滑加载中