老师们问一下，camera_det 这个样例如果想实现检测障碍物结果到 mviz 可视化。  是否需要先把推理处理后的图像先转为 h265流，然后加上 ObjectArray 障碍物数组后进行发布到 mviz。  如果需要转为h265格式的话，有这方面样例没有？祝各位大神们新的一年事业有成，万事如意！

请问mdc300中 mini0 连接可以直接连接吗 是不是非要从先连接到 host 然后再从HOST ssh连接到mini 中 没发远程直接ssh mini 是吗

我是通过异步来获取lib库的，怎么还是报错了啊 大佬给看看 577077577078

请教大佬们，这个Ascend-can-toolki 和MDC_300_Acc_Lib 这两个压缩包我在哪里可以找到，对应的安装教程在哪，有了解的吗 572298572299

请教大佬们， 问题一：下图更改的就是用darknet2caffe转化成的yolov3. prototxt文件吧，是下图一到图二直接加上吗 第二，这个LarerParameter是哪个文件里的，需要找到并且添加YoloParameter吗，是不是在caffe. proto里面改，然后在darknet2caffe. py转化？ 感谢大家帮助！ 571629571631571632

问大家，我利用 darknet2caffe把yolo3转化为caffe报了如下错误，是怎么回事啊caffe我是基于cpu的 gpu没有啊 571178

谷歌自动驾驶汽车于2012年5月获得了美国首个自动驾驶车辆许可证，预计于2015年至2017年进入市场销售。2014年12月中下旬，谷歌首次展示自动驾驶原型车成品，该车可全功能运行。2015年5月，谷歌宣布将于2015年夏天在加利福尼亚州山景城的公路上测试其自动驾驶汽车。2017年12月，北京市交通委联合北京市公安交管局、北京市经济信息委等部门，制定发布了《北京市关于加快推进自动驾驶车辆道路测试有关工作的指导意见（试行）》和《北京市自动驾驶车辆道路测试管理实施细则（试行）》两个文件，文件明确了自动驾驶汽车申请临时上路行驶的相关条件。第一，申请上路测试人需是在中国境内注册的独立法人单位，因进行自动驾驶相关科研、定型试验，可申请临时上路行驶。测试车辆必须符合《机动车运行安全技术条件》（GB7258）标准。测试车辆具备自动、人工两种驾驶模式，并可随时切换；测试车辆必须安装相应监管装置，能监测驾驶行为和车辆位置。第二，测试车辆上路前必须先在封闭测试场内按相关标准进行测试和考核，考核结果经专家评审，通过后才允许上路测试。第三，自动驾驶测试车辆要按规定悬挂号牌、标识，每辆车都要配备一名有一定驾驶经验，熟悉自动驾驶系统的测试驾驶员，随时监控车辆，保障车辆安全行驶。测试车辆将在指定区域、指定时段内测试，尽量不影响城市交通。测试单位必须购买交通事故责任保险或赔偿保函，如果测试车辆在测试期间发生事故，按照现行道路交通安全法及相关规定进行处理，并由测试驾驶员承担相关法律责任。北京市交通委认为，自动驾驶是提升道路交通智能化水平、推动交通运输行业转型升级的重要途径，也是带动交通、汽车、通信等产业融合发展的有利契机。 2017年12月，北京市交通委联合北京市公安交管局、北京市经济信息委等部门，制定发布了针对自动驾驶车辆道路测试的《指导意见》与《实施细则》，规范推动自动驾驶汽车的实际道路测试。2018年5月14日，深圳市向腾讯公司核发了智能网联汽车道路测试通知书和临时行驶车号牌。 2018年12月28日，百度Apollo自动驾驶全场景车队在长沙高速上行驶   。2019年6月21日下午消息，长沙市人民政府颁布了《长沙市智能网联汽车道路测试管理实施细则（试行）V2.0》（以下简称《细则V2.0》），并颁发了49张自动驾驶测试牌照。其中百度Apollo获得45张自动驾驶测试牌照，百度在长沙正式开启大规模测试  。2019年9月，由百度和一汽联手打造的中国首批量产L4级自动驾驶乘用车——红旗EV，获得5张北京市自动驾驶道路测试牌照。 2019年9月22日，国家智能网联汽车（武汉）测试示范区正式揭牌，百度、海梁科技、深兰科技等企业获得武汉市交通运输部门颁发的全球首张自动驾驶车辆商用牌照。2019年9月26日，百度在长沙宣布，自动驾驶出租车队Robotaxi试运营正式开启。首批45辆Apollo与一汽红旗联合研发的“红旗EV”Robotaxi车队在长沙部分已开放测试路段开始试运营。2019年10月，新华社记者试乘了一辆自动驾驶汽车，怀着忐忑不安的心情进入了繁忙的以色列特拉维夫街道。整个试乘过程中，记者总体感觉安全、平稳和舒适  。

强化学习应用为了更好地理解强化学习的组成部分，让我们考虑几个例子。Chess：这里的环境是棋盘，环境的状态是棋子在棋盘上的位置；RL 代理可以是参与者之一（或者，两个参与者都可以是 RL 代理，在同一环境中分别训练）；一盘棋局则是一集。这一集从初始状态开始，黑板和白板的边缘排列着黑色和白色的棋子。在每一步，代理观察棋盘（状态）并移动其中的一部分（采取行动），从而将环境转换为新状态。代理会因棋局中使对手变为「将死状态」而获得奖励，否则将获得零奖励。智能体在将对手「将死」之前不会获得任何奖励，这使得它很难学习；这是国际象棋对 AI 来说主要的挑战之一。Atari Breakout：Breakout 是一款玩家控制球拍的游戏。有一个球在屏幕上移动，每次被球拍击中，它都会弹向屏幕顶部，那里排列着一排排的砖块。每次球碰到砖块时，砖块都会被破坏，球会反弹回来。在 Breakout 中，环境是游戏屏幕。状态是球拍和砖块的位置，以及球的位置和速度。代理可以采取的行动是向左移动、向右移动。每次球击中砖块时，代理都会收到正奖励，如果球越过球拍并到达屏幕底部，则代理会收到负奖励。自动驾驶汽车：在自动驾驶中，代理就是汽车，环境就是汽车行驶的世界。RL 代理通过摄像头、激光雷达以及其他传感器观察环境状态。代理可以执行导航操作，例如加速、刹车、左转、右转或维持现状。RL 代理因使汽车保持在道路上、避免碰撞，且遵守驾驶规则和保证路线正确，而获得奖励。

城市无人驾驶落地，“毛细血管”类交通仍有很多亟待优化的地方。目前最适合无人驾驶的场景既不是传统公交，也不是出租车，而是处于爆发期的微循环公交。巨头青睐追加1亿美元融资日前，轻舟智航宣布完成1亿美元A+轮融资，由云锋基金和元生资本领投，美团龙珠、国际知名养老基金、老股东IDG资本跟投。这是轻舟智航2020年4月获得IDG资本、元璟资本、Tide Capital联合进行数千万美元种子轮投资及2021年年初完成A轮融资之后，轻舟智航再次完成了由云锋基金和元生资本领投、美团龙珠和国际知名养老基金共同投资的1亿美元A+轮融资，老股东IDG资本持续跟投。轻舟智航于2019年成立于硅谷，致力于打造适应城市复杂交通环境的L4级别自动驾驶技术，将无人驾驶带进现实。基于大规模智能仿真系统和可自主学习决策规划框架，轻舟智航专注于为合作伙伴提供可量产的无人驾驶解决方案。作为世界前沿的无人驾驶技术提供商之一，轻舟智航正与国内外众多合作伙伴一同推进无人驾驶的商业化落地。轻舟智航的核心团队成员均来自Waymo、特斯拉、Uber ATG、福特、英伟达、Facebook等世界顶级自动驾驶公司和科技公司。团队成员实现了无人驾驶关键技术模块的全栈覆盖，在感知、仿真、运动规划、传感器与车载系统等领域都有深厚技术积累和丰富行业经验。且得益于独特的技术路径，团队始终保持着轻、快、高效的特点。目前，轻舟智航已完成“超级工厂”雏形搭建的三步走：第一步，以仿真为核心，借助前沿技术研发为突破，构建自动化闭环，实现海量数据的高效利用；第二步，凭借团队的全栈技术能力，推出专注城市复杂交通场景的无人驾驶方案“Driven-by-QCraft”，适应于覆盖不同城市场景和不同车型；第三步，以“无人驾驶小巴”为突破口，在近10座城市快速实现商业化落地，服务于智慧城市和新基建需求，为数万居民提供公开道路出行服务。轻舟智航从小巴形态入手，同时持续探索广泛适用于共享出行的全新车辆形态。在轻舟智航看来，当汽车逐步从智能化、网联化走向共享化，无人出租车将走向新的业态，以更宽敞的空间、更绿色共享的方式为人们提供出行服务。云锋基金合伙人朱艺恺表示：“轻舟智航核心团队均为Waymo技术骨干，在L4无人驾驶领域经验丰富，成立2年间已实现L4 Robobus规模化落地并在中国多个城市实现常态化运营。基于其打造自动驾驶超级工厂的战略，轻舟智航有实力以Robobus的捷径走向L4 Robotaxi市场，并推动L4+自动驾驶车型量产与规模化商业应用。“区别于传统技术路径，轻舟智航正在以独特的路径实现完全无人驾驶。借助大规模智能仿真系统和可自主学习决策规划框架，可大幅降低测试成本，提升开发效率，保证了解决方案的可拓展性。亚马逊云科技打造自动驾驶数据工厂今年6月，苏州继去年10月开通第一条自动驾驶公交车线路之后，第二条自动驾驶公交车线路全面开放，该线路采用由轻舟智航部署的龙舟ONE无人小巴。云计算技术在自动驾驶公交车的技术开发和运营中发挥着非常关键的作用。国内头部自动驾驶公司轻舟智航采用亚马逊云科技，打造自动驾驶数据工厂，提供完整数据收集及处理能力。其自动驾驶方案在自动驾驶公交车领域快速落地，已在苏州、深圳等多个城市向市民提供服务，解决出行难题。据轻舟智航合伙人、商务副总裁郝景山介绍，一台具备L4级别自动驾驶功能的车辆日常产出的数据量可达TB数量级，收集到众多珍贵的Corner Case。是否能在合法合规的前提下对这些数据进行收集和使用，对于自动驾驶技术的高效迭代来说至关重要。轻舟智航打造的自动驾驶数据工厂，可自动化地完成数据收集、数据清洗标注、仿真评估以及大规模仿真场景生成等流程，让合作伙伴拥有完整的数据收集及处理能力。其中大规模智能仿真系统让测试成本大大减少，达到路测成本的1/100，还可以拓展1000倍于实际路测里程、模拟各种极端情况，同时准确衡量各个自动驾驶软件版本的水平。据介绍，自动驾驶数据工厂只是轻舟智航自动驾驶超级工厂中的一环，但也是关键的一环。凭借全栈技术平台能力，轻舟智航可基于多种车型实现L4级别自动驾驶功能，应对各类城市复杂交通场景。轻舟智航在存储海量数据方面使用了亚马逊云科技的Amazon Simple Storage Service（Amazon S3），这是一个业内卓越领先的存储服务。轻舟智航将数据存放在光环新网运营的亚马逊云科技中国(北京)区域和西云数据运营的亚马逊云科技中国(宁夏)区域。全球数百万家企业使用AmazonS3，其中很多企业将PB级的数据放在上面，对其安全性、可靠性、容量可扩展性、以及丰富的开发者功能信赖有加。对于大规模智能仿真系统，轻舟智航则主要使用了亚马逊云科技的Amazon Elastic Compute Cloud(Amazon EC2) Spot实例。Amazon EC2 Spot实例是亚马逊云科技创造的一种计价模式。通过AmazonEC2 Spot实例，轻舟智航可以低成本地调用超算级别的算力进行大规模智能仿真。郝景山表示，“通过跟亚马逊云科技结缘，在多个方面加速了轻舟智航的发展。由于轻舟智航采用的是集中研发、多地测试的方式，使用亚马逊云科技让我们可以方便地进行异地协作。在产品研发过程中我们也深刻感受到，亚马逊云科技的云基础设施成熟稳定，云服务种类丰富、功能完善，用起来省心。”郝景山介绍，龙舟ONE无人小巴只是轻舟智航自动驾驶方案落地的第一个场景，后续还将推出更多车型。在技术研发及迭代过程中，轻舟智航借助亚马逊云科技在业界有口皆碑的存储、计算、网络、数据分析和机器学习等云计算服务能力为其保驾护航，让市民可以放心地体验自动驾驶的乐趣。轻舟智航联合创始人、CEO于骞表示：“无人驾驶是长期大赛道，要想成功跑到最后，在技术上不能光有海量数据，还要依靠‘超级工厂’实现高度的自动化；在商业上则需要实现成本可控的规模化以及以战养战的商业化，逐步实现在无人公交、无人出租等场景的落地。”结 语对于自动驾驶而言，最近一直笼罩在阴霾之下。在特斯拉事故没有定性结果的情况下，美一好品牌管理公司创始人林文钦于2021年8月12日下午2时驾驶蔚来ES8汽车启用自动驾驶功能（NOP领航状态）后，在沈海高速涵江段发生交通事故，不幸逝世。公开资料显示，ES8是蔚来的第一款量产销售车型，采用纯电动驱动，其中，NIO Pilot自动辅助驾驶系统为选装配置，为蔚来自主研发系统，有精选包和全配包两种。据介绍，此次事故由ES8追尾公路养护车导致。事故发生时，车辆并因未能识别本车道内前方的高速公路养护车，与其发生了碰撞导致了严重事故。轻舟智航此时再获巨额融资，对于自动驾驶而言，无疑具有典型的正向意义。“安全性对于自动驾驶是天条，是一道红线。自动驾驶被提出主要就是为了解决安全问题，而非成本、效率和其它的问题。在自动驾驶的安全问题上，最担心的是由于人觉得系统是安全的，导致驾驶员丧失了警惕。”于骞说。

首款Huawei inside智能豪华纯电轿车北汽阿尔法S（华为HI版）4月17日晚在上海发布，采用华为快充技术，充电10分钟，续航197公里，其智能座舱搭载鸿蒙OS操作系统。 据了解，现场测试车辆的行驶情况较为平稳，在红绿灯启停、无保护左转、避让路口车辆、礼让行人、变道等情形下均能实现城区通勤无干预自动驾驶。 曝光的华为自动驾驶技术视频显示，在车内配备安全员的情况下，工作人员对车辆进行脱手脱脚自动驾驶测试。在自动驾驶期间，车辆在穿过行人、电动车及汽车来回穿行的拥挤马路期间，车辆的自动驾驶状态表现得十分科技智能。除了会自动侦探前方的行人车辆，并对车内发出警告提示音之外，中控屏上还会通过红色警示图像进行提示。 另外，在两边停满车辆的拥挤道路上，车辆还会自动躲避对方来车，方向盘的调整十分精准，会车同时，还能给右侧的非机动车和行人，预留出一定的通行空间，宛如一个老司机一般。  华为介绍，在城市通勤场景中，该车实现了覆盖城区、高速、停车场的全场景点到点通行。例如，可智能识别红绿灯并进行停靠或行驶；当车辆在无待转区的路口，能够与对向的直行和左转车流进行交互博弈，最终完成左转；无论直行、左转、避让、上下匝道还是无保护转向，阿尔法S华为HI版都能轻松应对。而且基于机器自我学习技术，ADS每时每刻都在自我学习、自我进化，越开越聪明，成为消费者的专属好司机。ADS高阶自动驾驶系统作为专为中国道路和交通环境设计、以用户驾乘体验为目标的全栈（Full Stack）自动驾驶系统，采用了以终为始的设计思路，全天候全场景赋予私家车每日通勤连续体验。有赖于华为在人工智能领域近十年的深耕，在自动驾驶算法领域超过五年的投入，ADS形成了超级全栈算法、超级数据湖、超级计算与传感器硬件这“铁人三项”的完美闭环。针对城市复杂场景额外优化，驱动系统更快速的迭代优化，ADS可通过OTA持续为用户提供激动人心的新特性和新体验。阿尔法S华为HI版的车机搭载了流畅的HarmonyOS操作系统，且配备高清大屏、利用1+8+N全场景互联技术，使得导航、视频、音乐和通话等业务能够在智能座舱和其他设备之间无缝流转，让驾乘变得更简单、更有趣、更享受。比如，当用户视频通话时，进入车内可快速完成从手机到座舱显示屏的无缝切换，让用户充分感受车联万物的便捷，时刻体验最新科技带来的乘驾乐趣。华为将动力域的领先技术赋能于阿尔法S华为HI版。针对新能源汽车“充电慢”的焦虑，华为基于30余年电力电子技术积累，提供业内独家AI闪充全栈动力域高压平台解决方案，10分钟最高可充197公里续航里程。只需一杯咖啡的时间，阿尔法S华为HI版便能充满能量。双电机智能四驱，百公里加速轻松跑入3秒级俱乐部，比肩超跑性能，极大提升用户的用车体验。在算法层面，华为智能汽车解决方案BU，ADS自动驾驶产品线总裁苏箐曾经说过这样一句话：华为如果计算机上干不过特斯拉，我觉得可以关门不用干了。我们可以从两个维度理解“干不过”这三个字。一方面华为在人工智能领域有将近10年的深耕，在自动驾驶算法领域超过五年的投入，并不是新玩家；另外一方面，ADS是算法倒推的开发逻辑，全栈能力很重要。苏箐解释称，ADS的开发逻辑是根据目标场景（中国城区）倒推系统方案，再根据系统方案（传感器+算法）的需求，倒推对算力的要求，然后开发相应的硬件，因此算力和ADS算法完美匹配。

本次分享分为三部分：为什么需要多传感器融合？传感器融合的一些先决条件如何做传感器融合？为什么需要多传感器融合？首先，单一传感器在自动驾驶中，都有各自的挑战，所以先了解下常用的传感器的挑战是什么：1. Camera data照相机数据遇到的挑战：①  没有深度信息。② 视场角有限，以卡车的传感器配置来说，需要比较多的摄像头，这里用到了6个摄像头覆盖了270°的视场角。③ 摄像头受外界条件的影响也比较大，（上图右下方）这是当车行驶到桥下时，由于背光，且光线变化比较大，导致无法识别正前方的交通灯。2. Lidar data激光雷达数据的一个比较大的挑战是感知范围比较近，如右图所示，感知范围平均在 150m 左右，这取决于环境和障碍物的不同。激光雷达在角分辨度上远远不如照相机，如上图，有三条小狗在过马路，在照相机上可以清楚的看到，但是在激光雷达上，采集到的点是比较少的，这样的场景在每天复杂道路路测的时候会经常遇到。激光雷达对环境的敏感度也是比较大的，上图为 Pony 路测的时候经常遇到的虚拟噪点的 Case，在车经过建筑工地的时候，在图像上可以看到并没有任何的障碍物，但是在雷达上前面有很多的噪点，右边是雨天中的测试，车辆行驶中溅起来的水花，在激光雷达上都是有噪点的，如何去除这样的噪点，是我们经常面临的挑战。3. Radar data毫米波雷达，本身的一个挑战是没有高度信息，毫米波雷达能告诉你这个物体在哪个位置，但是不知道多高，这个 case 就是前面有一个比较高的指路牌，毫米波雷达知道这儿有个障碍物，但是不知道是悬空的。4. Why sensor fusion当看过了这些单一传感器在自动驾驶中面临的挑战，自然会想到，做多传感器融合，进行传感器之间的取长补短，来帮助整个感知系统效果的提升。这里的例子是，如何利用多传感器来提升感知的探测距离，当障碍物距离 150m 左右时，激光雷达的反射点已经比较少了，但是这时毫米波雷达和照相机还是比较稳定的。当障碍物驶出 200m 的范围，基本上没有任何的激光雷达反射点了，但是 200m 取决于自动驾驶车辆本身的车速是多少，200m 的感知距离还是必要的，这时只能通过毫米波雷达和摄像头，来提升对障碍物的感知距离，从图中可以看到障碍物还是可以稳定识别出来的。传感器融合的先决条件1. 运动补偿 & 时间同步① Ego motion为什么做运动补偿？在自动驾驶传感器感知过程中，传感器采集数据，一般都不是瞬时发生的，以激光雷达为例，采集一圈数据需要 0.1s，在这 0.1s 内，本身车会发生一定的位移，障碍物也会发生一定的位移，如果我们不考虑这样的位移的话，我们检测出来的位置就会不准确。位移有俩种，第一种就是车自身的位移 Ego motion。右边画了一个示意图，虚线部分可以认为是世界坐标系，红色的点代表一个静态的障碍物，它在坐标系中有一个稳定的坐标（5，5），蓝色部分代表车自己的坐标系是局部坐标系，（4，0）为这个坐标系的原点，在 t+1 时刻，这个坐标系移动到了（6，0）的位置，车沿着 X 方向向前移动了2，在 t 时刻在车自身的坐标系下，障碍物的坐标是（1，5），在 t+1 是时刻，则是（-1，5）。如果不做车自身运动的补偿，静止的物体在2帧之间，测量的局部坐标是不一样的，就会产生错误的速度，因此，要去补偿车本身的位移，做自身的 Motion compensation 运动补偿。这个问题比较简单，因为车是有比较准确的定位信息的，它会提供这俩个时刻，车本身的姿态差距，我们可以利用姿态差，比较容易的补偿车移动了多少，那我们就可以知道这个障碍物其实是没有移动的。② Motion from others第二种要考虑的是运动物体在传感器采集的时间段内，运动物体发生的位移，相对于自身运动补偿，这是一个更难的 case，首先快速移动的物体，在激光点云里很可能会被扫到俩次，大家可以看下红圈内，尾部会有拖影。所以我们如何想办法消除对方车的 Motion，也是要考虑的。解决的方式有很多，现在激光雷达本身从硬件上也会有些配置，来缓解这样的现象，简单解释下，当你用多个激光雷达在自动驾驶车辆时，可以让激光雷达按照同样的方式一起转，在某一个特定的时段，特定的方向，应该扫到同样的东西，这样来减少快速移动的物体产生拖影这样的问题。②   时间同步在很多自动驾驶车辆传感器中，大部分支持 GPS 时间戳的时间同步方法。这个方法比较简单，如果传感器硬件支持这些时间同步的方法，拿到传感器数据的时候，数据包中就会有全局的时间戳，这样的时间戳以 GPS 为基准，非常方便。但是，时间戳查询数据会有一个比较明显的问题，举个例子，图中有三个数据，三个传感器和时间轴，不同传感器是以不同频率来采集数据的，以传感器2为例，在 T1 时刻，传感器2有一个数据，在这个时刻，想知道对应的传感器1和传感器3的数据是多少，肯定需要去查找，查找的方式是找对应的传感器数据和传感器2时间差最近的数据包，然后拿过来用，这就取决于查的时候，数据包的时间和 T1 时刻传感器2数据包的时间到底差多少，如果差距比较大，本身障碍物都是在移动的，这样误差会比较大。然后就有了第二种时间同步的方法，来缓解刚刚说的这种现象。就是主动数据同步的方法，比如以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，触发那个角度的摄像头，这样就可以大大减少时间差的问题，如果把这套时间方案做到硬件中，做到比较低的误差，那么对齐的效果比较好。如上图所示，这时激光雷达的数据就很好的和摄像头的数据结合在了一起。刚才说到如果一个自动驾驶车辆用了多个激光雷达，激光雷达之间如何同步，减少扫到同样车在不同时间这样的问题，velodyne 是我们常用的一个品牌，支持一种 Phase Lock 功能，能够保证在某一时刻，所有的激光雷达的角度，都可以根据 Phase Lock 的配置，在固定的角度附近。这样如果用俩个前向的激光雷达都设置一个角度，在同一时刻，扫到的东西应该是类似的，这样一个快速行驶的车，被扫到2次的概率就会减少，当然这个办法也不能完全解决问题，比如有个人和我们的激光雷达以同样的频率一起转，那么在激光雷达扫描的点云中，人一直会出现，所以还要通过软件的方法，设置的一些规则或者模型来想办法剔除。2. 传感器标定接下来是另外一个比较大的话题：Sensor Calibration 传感器标定。这里主要是指传感器外参的标定。传感器外参其实就是刚体旋转，因为物体上的俩个点，在经过旋转和平移之后，两个点之间的 3D 位置是不会变的，所以叫刚体旋转，在自动驾驶和机器人上，刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转，可以把一个传感器的数据和另一个对齐。相当于把一个传感器测量的数据从其本身的坐标系，通过刚体旋转，转到另一个传感器坐标系，这样就可以进行数据融合了。上图中，左边为图像，中间为雷达，如果有一个比较好的外参工具，可以把 3D 的点投射到 2D 图像上，所有的障碍物的点都可以对应上，相当于把 2D 上的像素都加上了深度的估计。这样在图像质量并不是很高的情况下，可以通过这样的方式把信息补回来。传感器的标定一般有俩种思路，第一种是有激光雷达的传感器标定，第二种是无激光雷达的传感器标定，之所以这么分，是因为激光雷达采集的数据是完整的 3D 信息，空间中的 ( x，y，z ) 都是准确的，并不会有信息的丢失，而照相机得到的数据，可以认为是极坐标系下的坐标，没有深度和角度，而毫米波雷达是没有高度的。所以，如果有这样的传感器能够提供完全的 ( x，y，z ) 坐标，以此为参照物，其他传感器和激光雷达做绑定的话，会更容易和更准确。Pony 是有激光雷达的，所以今天主要讲有激光雷达的传感器标定方法。①   Multi-Lidar Calibration首先讲下多激光雷达是如何标定的，上图可以看到正好用到的是两个前向激光雷达，这两个激光雷达在前向180°是有比较大的覆盖区域，如果对激光雷达之间的旋转和平移没有比较好的估计，当把俩张激光雷达的点云放在一起进行感知处理的时候，在红框位置会发现存在比较大的分隔（黄线和蓝线分别代表俩个前向激光雷达），这种情况肯定是不想遇到的，所以需要把多个激光雷达做比较准确的标定。标定的方法是已知的，非常好解决的问题，因为激光雷达本身是有完全的3D信息，解决这样俩个数据集匹配的问题，就是 ICP（Iterative Closest Point）迭代式最近点方法。这个方法有很多的变种，感兴趣的同学可以百度或者 Google 搜索下。②   Camera Lidar Calibration另外一个就是照相机和激光雷达之间的标定。照相机本身是没有距离信息的，那么如何去做标定？同样激光雷达是有 3D 信息的，可以通过标定的方式，把激光雷达投到图像的坐标系中，建立图像的像素点，和激光雷达投影后的点之间的匹配，然后通过某种优化方程，来解决这样一个匹配问题。举一个简单的例子，比如现在要选取一系列激光雷达检测出来的候选点，如何选这些点呢？这些点一定是在图像上比较容易能够识别出来的边界点。选取方法也比较简单，因为激光雷达有距离信息，只需要找相邻俩个激光点之间的距离差，就可以判断这样一个点是不是边界点，我们可以轻易的选出这样的候选点，通过这样的投影方式，红框是我们要求的标定参数，K 矩阵为相机本身的内参，通过这个数学关系，我们可以把刚才 3D 中检测的候选点，投到 2D 上，上图中的 X 就是投射后的位置。我们可以根据 3D 投影点和 2D 检测的边界，进行匹配，然后根据他们之间的距离匹配程度，建立这样一个优化方程，然后解这样一个优化问题，来估计出 Calibration 的参数。大家如果感兴趣可以参考这篇 paper：Automatic Online Calibration of Cameras and Lasers，详细的讲述了其中的数值原理，可以看到绿色的是 3D 点投射到图像上，是一些边界点候选的区域，如果有一个比较好的标定结果，这些边界点会比较好的和图像匹配起来。3. 传感器视场角接下来看下传感器不同视场角带来的融合问题。这里有一个简单的示意图，假设在这个位置上有两个激光雷达，它们有各自不同的视场角，但是前方有个障碍物 A 刚好在传感器2的视场角内把障碍物 B 完全遮挡了，障碍物 B 只出现在一个传感器检测的视场角内部，这带来的问题是：我们到底该不该相信这里存在一个障碍物？这是比较常见的问题，需要我们经过不断的路测，来完善。如何做传感器融合？1. Camera Lidar Fusion首先讲下照相机和激光雷达融合，方法1之前大概讲过，就是说激光雷达有 ( x，y，z ) 比较明确的 3D 观测，通过标定参数，通过照相机本身的内参，就可以把 3D 点投到图像上，图像上的某些像素就会打上深度信息，然后可以做基于图像的分割或者 Deep Learning Model。需要注意的是，多传感器的时候，视场角可能会不一样，可能会造成噪点或者漏点，这里比较推荐的方法是把照相机和雷达安装在一起，越近越好。另一个比较直观的方法，是否能将 2D 检测出来的障碍物直接投影到 3D，然后生成这样的 3D 障碍物，这种方法，在做很多的假设条件下（比如障碍物的大小，地面是否平整），也是可以做的，如上图，相机的内参，车的位置高度，都是已知的，这时在 2D 上识别出的每个帧的障碍物，都可以还原成 3D 在照相机坐标系下的一条射线，然后找这条射线在 3D 坐标系下和平面的交点，就可以估计出 2D 障碍物在 3D 上的距离。上图为 Pony 在建筑工地旁采集的数据，可看到这些路障都是直接生成到 3D 的（图中有个漏点，也是我们还需要努力提高的）。2. Radar Lidar Fusion至于毫米波雷达和激光雷达的融合方式就更简单了。因为在笛卡尔坐标系下，它们都有完整的 ( x，y ) 方向的信息，那么在普适的笛卡尔坐标系下，做针对于距离的融合，而且毫米波雷达还会测速，对障碍物速度也是有一定观测的，然后激光雷达通过位置的追踪，也会得到障碍物速度的估计，这些速度的信息也可以用来做融合，帮助筛选错误的匹配候选集。这是 Pony 激光雷达和毫米波雷达融合的效果，红圈里的障碍物是 radar 补充的。当然，不同传感器之间融合的特例还是很多的，比如激光雷达和毫米波雷达融合的时候，可以看到，这个场景是前方有比较高的路牌时，毫米波雷达会在这个位置产生障碍物，恰好激光雷达也有噪音，因为恰好前方有车，这时在牌子底下也会产生噪点，所以激光雷达和毫米波雷达都在这个地方检测出来本不应该出现的障碍物，这时两个传感器都告诉你前方有个障碍物，只有摄像头说前方只有一个障碍物，这时该怎么办？总结总结来说，每个传感器都有自己的一些问题，传感器融合就是说我们要把这些传感器结合起来做取长补短，提升整个感知系统的精度和召回度，今天就分享到这里，谢谢大家。文章转载自公众号DataFunTalk 

欢迎小伙伴们体验《基于容器实现一分钟自动化部署》实验，有任何问题都可以在这里讨论交流哦！ 通过本实验：§   您将学习本实验指导用户基于DevCloud的自动化部署功能，实现在CCE集群上快速部署网站应用 §   您将体验1. 资源准备2. 创建部署任务3. 部署应用并访问§   您将掌握1. 了解并使用CCE集群；2. 使用DevCloud自动化部署功能部署网站应用。 实验开始前，推荐您先学习相关课程，掌握实验背景知识：1.  云容器引擎：让云上环境搭建更简单 实验完成后，欢迎学习相关领域微认证，认证您的AI技能：1. 微认证：云容器快速搭建网站2. 微认证：一分钟自动化部署 实验过程中，如有任何问题可在该帖进行交流，也可以添加华为云学院小助手（微信号：HWcloudedu），专业人员为您实时解疑答惑，互相交流，共同进步！如要提出问题，请详细描述您的问题及出现的步骤，附上实验操作截图，如有其他参考信息可一并附上。