老师们好，目前开发chassis节点，作为control和车身底盘的前梁节点。我参照平台Sample 中 canfd 、cm_sample demo 利用 event 方式在 chassis节点 接收control发出的信息，目前服务实例可以找到 为1， 但是调用 SetReceiveHandler（） + 数据回调函数 没有获取到control 发出的HafchassisCommand数据信息。相关的代码、日志在附件，麻烦专家们给找找问题所在，谢谢！

请问华为的专家们，目前可以看到ADSFI contool节点可以发送相应的控制信息，PLATFORM Canfd节点可以向车底盘发送控制信息，从而驱动车做相应的驾驶选择。那问题是我如何把 control 发出的控制信息传达给canfa再下发小车呢？这方面有相关参考的信息没有，有可行的解决方案吗？谢谢回复！

可以ping通激光雷达，而且也可以用rtfevent list查找到激光雷达的event，但是使用rtfevent hz却无法找到数据

自动驾驶技术所采用的传感器主要包括摄像机，激光雷达和毫米波雷达。摄像机用于采集可见光图像，对于物体的形状和类别的感知精度较高。由于深度学习技术的成功起源于计算机视觉任务，很多成功的算法也是基于对图像数据的处理，因此基于摄像机的感知技术目前已经相对成熟。图像数据的缺点在于缺少了场景和物体的距离信息，且受天气和环境的影响较大。激光雷达在一定程度上弥补了摄像机的缺点，可以精确的感知物体的距离，但是限制在于成本过高，难以大批量生产。毫米波雷达具有天线波束窄、分辨率高、频带宽、抗干扰能力强等点， 可以比较精确的测量物体的速度和距离，受天气和环境影响较小，而且成本较低，易于大规模生产，因为也成为了目前自动驾驶技术研究的一个热点方向。2003年，NASA发射勇气号和机遇号（Spirit and Opportunity）火星车，其目的是寻找火星上是否有水存在或曾经有水存在。2004年，美国主要的军事研究机构DARPA在Mojave沙漠组织了一场比赛，邀请全世界各地的企业或人建造来制造一辆能够横穿加州Mojave沙漠的自动驾驶汽车，要求无人驾驶车辆驾驶150英里的越野路线。这场比赛共有21支队伍获得参赛资格，但最终只有12辆车参赛；而由于机械故障和陷入沙坑等问题，所有参赛队伍都没有跑完全程。2009年，由国家自然科学基金委主办、西安交通大学承办的首届中国“智能车未来挑战”大赛在西安浐灞生态区拉开战幕。自动驾驶是为了实现一定的需求而研发的新技术。现主要有两类需求：满足园区、港口、工厂等特定场所的工作需求；实现物流，巡检，接驳等特定功能。自动驾驶在公共交通领域和特定场所的使用将早于在个人乘用车市场的普及。自动驾驶感知技术与多传感器数据融合技术模块中，自动驾驶算法总结一下大致包含一下方面：摄像头感知算法（1）摄像头目标检测机器学习算法（2）摄像头目标检测深度学习算法自动驾驶激光雷达感知算法（1）激光雷达地面检测机器学习算法（2）激光雷达目标检测机器学习算法（3）激光雷达目标检测深度学习算法自动驾驶多传感器融合算法（1）数据级融合算法（2）特征级融合算法（3）决策级融合算法 

2003年，NASA发射勇气号和机遇号（Spirit and Opportunity）火星车，其目的是寻找火星上是否有水存在或曾经有水存在。2004年，美国主要的军事研究机构DARPA在Mojave沙漠组织了一场比赛，邀请全世界各地的企业或人建造来制造一辆能够横穿加州Mojave沙漠的自动驾驶汽车，要求无人驾驶车辆驾驶150英里的越野路线。这场比赛共有21支队伍获得参赛资格，但最终只有12辆车参赛；而由于机械故障和陷入沙坑等问题，所有参赛队伍都没有跑完全程。2009年，由国家自然科学基金委主办、西安交通大学承办的首届中国“智能车未来挑战”大赛在西安浐灞生态区拉开战幕。自动驾驶是为了实现一定的需求而研发的新技术。现主要有两类需求：满足园区、港口、工厂等特定场所的工作需求；实现物流，巡检，接驳等特定功能。自动驾驶在公共交通领域和特定场所的使用将早于在个人乘用车市场的普及。自动驾驶感知技术与多传感器数据融合技术模块中，自动驾驶算法总结一下大致包含一下方面：自动驾驶摄像头感知算法（1）摄像头目标检测机器学习算法（2）摄像头目标检测深度学习算法自动驾驶激光雷达感知算法（1）激光雷达地面检测机器学习算法（2）激光雷达目标检测机器学习算法（3）激光雷达目标检测深度学习算法自动驾驶多传感器融合算法（1）数据级融合算法（2）特征级融合算法（3）决策级融合算法 

传感器相当于自动驾驶汽车的眼睛。通过传感器，自动驾驶汽车能够识别道路、其他车辆、行人障碍物和基础交通设施，在最小测试量和验证量的前提下保证车辆对周围环境的感知。 按照自动驾驶不同技术路线，传感器可分为激光雷达、传统雷达和摄像头三种。 激光雷达是被当前自动驾驶企业采用比例最大的传感器类型。谷歌、百度、优步等公司的自动驾驶技术目前都依赖于它，这种设备安装在汽车的车顶上，能够用激光脉冲对周围环境进行距离检测，并结合软件绘制3D图，从而为自动驾驶汽车提供足够多的环境信息。激光雷达具有准确快速的识别能力，唯一缺点在于造价高昂（平均价格在8万美元一台），导致量产汽车中难以使用该技术。 传统雷达和摄像头是传感器替代方案。由于激光雷达的高昂价格，走实用性技术路线的车企纷纷转向以传统雷达和摄像头作为替代，**从软件和车辆连接能力方面进行补偿**。例如著名电动汽车生产企业特斯拉，采用的方案就是雷达和单目摄像头。 其硬件原理与目前车载的ACC自适应巡航系统类似，依靠覆盖汽车周围360°视角的摄像头及前置雷达来识别三维空间信息，从而确保交通工具之间不会互相碰撞。 虽然这种传感器方案成本较低、易于量产，但对于摄像头的识别能力具有很高要求：单目摄像头需要建立并不断维护庞大的样本特征数据库，如果缺乏待识别目标的特征数据，就会导致系统无法识别以及测距，很容易造成事故的发生。而双目摄像头可直接对前方景物进行测距，但难点在于计算量大，需要提高计算单元性能。 双目摄像头： 

在自动驾驶技术方面，有两条不同的发展路线： 一条是“渐进演化”的路线，也就是在今天的汽车上逐渐新增一些自动驾驶功能，例如特斯拉、宝马、奥迪、福特等车企均采用此种方式，这种方式主要利用传感器，通过车车通信(V2V)、车云通信实现路况的分析。 另一条是完全“革命性”的路线，即从一开始就是彻彻底底的自动驾驶汽车，例如谷歌和福特公司在一些结构化的环境里测试的自动驾驶汽车，这种路线主要依靠车载激光雷达、电脑和控制系统实现自动驾驶。 第一种方式更加适合在结构化道路上测试。第二种除结构化道路外，还可用于军事或特殊领域。 还是第一种路线比较稳妥。

乐高式、开放化——高效构建自动驾驶研发平台的行业新解针对上述挑战，华为云汽车行业解决方案负责人赵刚谈到：华为云坚持“生态开放”的理念，深度联合禾多科技、51WORLD、星尘数据、易图通等合作伙伴，共同发布“乐高式”自动驾驶研发平台解决方案（以下简称“乐高式”解决方案），帮助客户最快2周即可独立完成一套自动驾驶研发平台的搭建。华为云自动驾驶业务研发平台业务全景图本次发布的解决方案依托华为云丰富的云服务及生态伙伴在自动驾驶领域的经验沉淀，赋能客户打通数据闭环流程，并联合伙伴在全国建设数据接入点，传输效率最高提升3倍、实现当日上云；软硬件协同优化，多机多卡训练效率提升50%；支持云原生集群化部署，调度性能提升30%；支持数据加密、合规治理，保障业务安全合规。赵刚介绍到，华为云自动驾驶业务研发平台以开源代码库Ploto为门户，由安全合规、路测数据管理、AI算法训练、场景仿真、场景库交易、量产车联网及平台管理等7个模块组成，支持3种业务部署模式。华为云及伙伴们希望通过“乐高式、模块化”的简单操作，来帮助不同诉求的客户实现自动驾驶研发平台快速构建的目标。模式1：模块按需构建“乐高式”解决方案自身具备“按需搭建，灵活组合”的能力，适用于对部分研发模块有诉求的客户，最少只需9个标准API便可快速与自有研发平台对接上云。模式2：E2E快速构建对于有端到端构建研发平台诉求的客户，“乐高式”解决方案提供一站式的服务，帮助用户基于参考代码快速构建。模式3：自有专业软件服务商集成相比SaaS化自动驾驶研发平台，华为云提供标准API，支持客户自选如标注、仿真等环节的专业软件服务商快速集成。来源：https://bbs.huaweicloud.com/blogs/359561?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content

【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

    来自清华、MIT的研究团队提出了一种基于自监督学习的方法，让自动驾驶模型从已有的轨迹预测数据集中学会正确判断冲突中的礼让关系。自动驾驶汽车上路时，不可避免的需要学习一些道路上的“潜规则”。自动驾驶系统需要察言观色，随机应变地及时发现什么时候应该减速礼让，什么时候又应该发现别人正在礼让而尽快加速通过。由于道路环境的复杂性，很多新手司机都未必能够做出合适的判断。这种复杂性导致基于规则的方法很难在覆盖到全部情况的同时不出现互相冲突的情况。来自清华大学的研究团队提出了一种基于自监督学习的方法，从已有的轨迹预测数据集中学得道路上的各种“礼仪”，并正确判断出冲突中的礼让关系。该研究将预测的关系在充满复杂交互的 Waymo Interactive Motion Prediction 数据集上进行了测试，并提出了 M2I 框架来使用预测出的关系进行场景级别的交互轨迹预测。该项目主要由清华大学孙桥和MIT黄昕合作完成，清华MARS Lab赵行老师给予指导。从因子边际轨迹预测到交互式预测 M2I 是一个简单但有效的联合运动预测框架，通过利用交互代理之间的分解关系进行边际和条件预测。     论文地址：https://arxiv.org/abs/2202.11884    项目地址：https://tsinghua-mars-lab.github.io/M2I/     github： https://github.com/Tsinghua-MARS-Lab/M2I代码将很快发布

场景如下:​（1）交通流量监控与红绿灯配时控制：​通过视觉算法，对道路卡口相机和电警相机中采集的视频图像进行分析，根据相应路段的​车流量​，调整红绿灯配时策略，提升交通通行能力。​（2）异常操作检测：​通过视觉算法，检测各种交通​异常事件​，包括非机动车驶入机动车道、车辆占用应急车道以及监控危险品运输车辆驾驶员的驾驶行为、交通事故实时报警等，第一时间将异常事件上报给交管部门。​（3）交通违法事件检测：​通过视觉算法，发现套牌车辆、收费站逃费现象，跟踪肇事车辆，对可疑车辆/行人进行全程轨迹追踪，通过视觉技术手段，极大地提升公安/交管部门的监管能力。​（4）自动驾驶：​自动驾驶是当今热门的研究领域，是一个多种前沿技术高度交叉的研究方向，其中视觉相关算法主要包含对道路、车辆以及行人的检测，对交通标志物以及路旁物体的检测识别等。主流的人工智能公司都投入了大量的资源进行自动驾驶方面的研发，目前已经初步实现了受限路况条件下的自动驾驶，但距离实现不受路况、天气等因素影响的自动驾驶（L4级别），尚有相当大的一段距离。​（5）行人检测：​作为一种重要的目标检测应用，在自动驾驶、视频监控、刑事侦查等领域得到了广泛的关注。早期的行人检测方法，如HOG检测器，ICF检测器，在特征表示，分类器的设计，检测加速度方面，为一般的目标检测奠定了坚实的基础。近年来，一些通用的目标检测算法，如Faster RCNN，已经被引用到行人检测中，极大地推动了该领域的研究进展。

透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是 2022 年 3 月 13 日，在 1995 年的今天，Perl 5.001 发布；Perl 是一种功能丰富的计算机程序语言，最初是为文本处理而开发的，现在用于各种任务，包括系统管理，Web 开发，网络编程，GUI 开发等。这次更新也有着里程碑意义，因为在 5.001 版本之前， 除非格式在词法变量的范围内声明，否则词法变量在格式中不可见。回顾计算机历史上的 3 月 13 日，这一天还发生过哪些关键事件呢？1942 年 3 月 13 日：Windows NT 之父 David Cutler 出生1942 年 3 月 13 日，NT 项目的组建人、微软传奇程序员大卫·卡特勒（David N. Cutler）出生；他开发了几种计算机操作系统，包括 Microsoft 的 Windows NT、Digital Equipment Corporation 的 RSX-11M、VAXELN 还有 VMS。比尔·盖茨对卡特勒敬畏三分。卡特勒严厉冷酷，视懒散、困惑、没有竞争力为敌人，不但是一位传奇程序员，更是一位伟大的项目管理者。Windows NT 历时之长、耗资之巨、人员之多，可以说是对软件工程一个史无前例的诠释。由于 Windows NT 以及以后的 Windows 版本几乎统一了个人计算机平台，这为计算机和计算机软件发展作出了无法估量的贡献。卡特勒出生在密歇根州的兰辛，在密歇根州的德威特长大。1965 年从密歇根奥利维特学院毕业后，他前往杜邦公司工作。他的工作需要电脑建模，到 IBM 开办的一所学校学习怎样给 IBM 的电脑编程序。于是卡特勒终于找到了自己的兴趣，他跳槽到 DEC 公司，为 DEC 生产的计算机编写软件。在 DEC 组建一个全新的计算机系列 Prism 之后，卡特勒的项目被 DEC 公司取消，默默离开了公司，而这个夭折的项目也成为了后来 NT 的雏形。卡特勒一生蔑视 Unix，他看不起 Unix 背后的技术委员会，而这一点和比尔·盖茨可谓是一拍即合。1988 年，盖茨见缝插针，竭力劝说卡特勒加入微软。卡特勒不仅欣然同意，还带走了许多与他一同开发 VMS 和 Mica 的程序员。进入微软之后，卡特勒直接授权领导一个工程小组，负责设计一种能提供文件服务、打印服务和应用服务的对称多处理操作系统，起名为 Windows New Technology（NT）。如今大部分用过的 Windows 操作系统，其内核便源自 Windows NT。经过近 4 年的开发工作，在 1993 年 6 月发布的第一版 Windows NT 3.1，已经具备了现代操作系统的雏形——抢先式多任务、虚拟内存、对称多处理器、图形界面、C2 安全级、坚固而稳定的内核、内置网络支持、完全的 32 位代码等。而 1994 年推出的 Windows NT 3.51 和 1996 年推出的 Windows NT 4.0，在性能上有了更进一步提高；NT4.0 甚至提供了当时最先进的 Windows 95 风格界面。卡特勒一生拥有至少 20 项专利，并且是华盛顿大学计算机科学系的附属教员；除了 Windows NT，他还参与了 Xbox One 游戏机的软件优化团队，始终奋战在微软的开发第一线。1986 年 3 月 13 日：微软上市1986 年 3 月 13 日，微软成立近十一年后，开始在纳斯达克证券交易所交易股票。最初的股价定为每股 28 美元，一天之内筹集了近 6100 万美元。如果一个人在 1986 年 3 月 13 日以 21 美元的价格购买了股票，那么截至 2012 年，他的投资价值能达到约 4000 美元。微软这家科技巨头，在 1980 年代中期以 MS-DOS 统治个人计算机操作系统市场，随后在大卫·卡特勒的加盟后成就了 Microsoft Windows；随着这次上市，微软员工中直接诞生了 3 位亿万富翁和大约 12000 名百万富翁。自 1990 年代以来，微软从局限于操作系统市场变得日益多元化，取得了许多企业收购，其中最大的一笔交易是 2016 年 12 月以 262 亿美元收购 LinkedIn ，其次是 2011 年 5 月以 85 亿美元收购 Skype Technologies。但是，随着这次上市之后，微软迎来了和 IBM 的合作，美国联邦贸易委员会因此审查了微软可能存在的勾结，导致着微软在接下来十多年里陷入了无休止的反垄断战争之中。2004 年 3 月 13 日：首届无人车顶级赛事举办2004 年 3 月 13 日，美国国防部高级研究计划局（DARPA）组织了首届无人车挑战赛 DARPA Grand Challenge，挑战目标是：让车辆自动驾驶穿越 142 英里的沙漠。参赛队伍包括领域内顶尖高校、工程师、程序员等，可没有一个队伍完成比赛；卡内基梅隆大学的红队用一辆改装的悍马 Sandstorm 行驶了最远的距离，完成了 11.78 公里（7.32 英里）的路线，然后在转弯后被挂在岩石上。虽然未能成功颁奖，但这次赛事大大促进了自动驾驶的快速发展，可谓自动驾驶行业的里程碑事件。第二次 DARPA Grand Challenge 计划在 2005 年举行。在 2005 年秋天的第二届挑战赛上，就有 5 辆汽车完成了比赛，其中斯坦福大学的 Stanley 获得了第一名。在这次比赛中，车辆需要通过三条狭窄的隧道，并且完成 100 多个左右急转弯；比赛的终点是啤酒瓶山口，这是美国山区的一道蜿蜒山口，一边是陡峭的悬崖，另一边则是一个岩壁。斯坦福大学 Stanley 项目的负责人塞巴斯蒂安·特龙后来创立了谷歌无人驾驶团队和 Google X，特龙还是 Kitty Hawk 公司 CEO、Udacity 联合创始人。从日本、德国、意大利、欧盟、美国等国家的陆续研究开始，全自动驾驶汽车已经成为国际社会多年来的追求。DARPA 从 1966 年开始资助斯坦福研究所的 Shakey 机器人项目，开发出了第一个完全自主的机器人。作为 1984 年开始的战略计算计划的一部分，DARPA 还开发了第一辆能够在道路上和非道路上行驶的自主地面车辆，也促成了 DARPA Grand Challenge 赛事的诞生。从第三届比赛，也就是 2007 年的城市挑战赛开始，第一名、第二名和第三名已经能分别获得 200 万美元、100 万美元和 50 万美元奖金；比赛向世界各地的团队和组织开放，其影响力也越来越大，最终载入了自动驾驶领域的史册。原文链接：https://blog.csdn.net/Byeweiyang/article/details/123452219

作者：Auto Byte电动交通的形式已经越来越多样化。并在全球可持续发展的大背景下扮演着重要角色。从电动自行车、汽车到无人驾驶电动汽车、Robotruck，再到自动驾驶无人机，这些产品似乎都在显露着未来的某种趋势。而来自加拿大安大略理工大学的Williamson教授认为，电动交通商业化的进一步成功，以及未来的全自动驾驶技术，将取决于电力电子技术的进步。「这种技术在未来几年面临着许多挑战，特别是在电能存储系统的控制和智能充电系统的发展方面。智能管理系统性能的提高电动汽车电池的续航里程焦虑和寿命有限的问题尤其令人担忧。目前，动力电池仍存在容量损失问题，这种问题在寒冷(0℃以下)和炎热天气(40℃以上)中，以及快速充电场景下显得尤为突出。为解决这一问题，电力电子领域已将全部精力集中在车载电池能量管理领域。这种能量管理的目的是使智能电力电子转换技术(也称为有源电池平衡)在电池级实现电压均衡。这种方式可将行驶里程延长两到三倍，而且只会增加1%到2%的电池组成本。Williamson表示，目前业内通常会通过电路拓扑实现创新，其方式是将电路板上的电感值最小化(一种称为减少部件转换器的方法)。未来几年可能还会有进一步的发展，使电池平衡更加高效和廉价。为电池的「第二次生命」铺路在使用8到10年之后，动力电池通常会因为容量下降而退役，当其寿命结束时，回收这些电池原材料似乎是大多数人能想到的解决方案。但事实上，这些电池还可以应用于其他领域。耗尽的电池可以保留70%左右的容量，因此可能适用于微电网和智能电网中的固定存储等应用。一些公司最近开展了一些项目，以检验这种电池「第二生命」解决方案的可行性。然而，废旧电池的降解行为仍然是一个相对未知的问题。在电池的第一次生命和第二次生命中进行适当的监测，对于验证第二次生命解决方案的技术可行性至关重要。比如，如果将几个不同容量的旧电池串联起来形成第二生命模块，可用能量就可以大大增加。再经过深入研究后，研究者们认为不同容量和化学成分的电池可以安全使用，而且相互之间不会影响性能。但要建立这样的系统，需要新的方法来控制每个已用电池的电流，以监测电池容量的实时消耗。目前基于机器学习技术的自适应控制策略，可以更准确地估计容量，并有潜力成为游戏规则的改变者，即将多种电池集为一个电池，形成电池的第二生命模块。极快充电站何时能够普及？城市、郊区甚至偏远地区都需要为电动汽车充电，这意味着电力研究人员在充电基础设施方面面临着许多挑战，包括可再生能源和固定电池储能的结合。商用电动汽车目前配备车载充电器，从墙上的交流插座获取输入电源。此时，电池组充电所需的能量转换是在车辆上完成的。另一方面，直流(DC)快速充电器最近已经商业化，能够做到将充电器和所有相关的电力设备移出汽车底盘，这正符合了未来的超高速充电器的需求。基于SAE J1772标准的车载交流充电(1.44 kW - 166kw)和车外直流充电(80kw - 400kw)，一些学者对有线充电拓扑进行了深入研究。目前，全球通用的直流快速充电标准是CHAdeMO标准。该标准允许62.5 kW ~ 400 kW的功率输送超快充电技术在过去三到四年出现，可提供超过400 kW的电力。这种技术旨在5分钟内为电动汽车充电，消除里程焦虑。该方法依赖于基于新型宽带隙半导体器件(如氮化镓(GaN)和碳化硅(SiC)开关)的先进功率变转换器拓扑，以及新颖的系统级架构。极快充电架构使用的是服务变压器，它可以将配电系统中使用的电压功率降低到终端用户所需的水平。然而，这增加了系统的成本和大小，并使安装过程复杂化。随着技术的进一步发展，可以采用固态变压器技术来提高功率密度和效率。再加上电力转换拓扑、控制方案、保护装置、宽频带隙电力装置和数字控制器的进一步发展，极快充电站在未来几年内将越来越受欢迎。 无线充电可降低「高容量电池」的必要性考虑到自动驾驶汽车的潜力，几家充电设备公司已经开始探索车用无线充电器的应用。无线传输的概念可以追溯到一个多世纪前尼古拉·特斯拉的工作，而今天更是有一系列可用的方法:声功率传输、射频功率传输、光功率传输、电容功率传输和感应功率传输。尽管这些技术可以根据其功率传输介质进行区分，但它们的系统配置都是相似的，主要由电源、负载、耦合器和一次/二次电子电路组成。电动汽车的无线充电器可以由交流电或直流电供电，它们的负载通常是直流电，并在电动汽车电池组处结束。感应电力传输是目前制造无线充电器最流行的方法，它可以提供从几十瓦到几千瓦的输出功率级别，这种方法还允许气隙变化从几厘米扩至数米。全自动无线充电器可以让电动汽车随时充电，这意味着充电速度更快，整体行驶距离也更长。无线充电器技术具有很强的创新性，因为它具有固有的电隔离特性，可以通过电源和电动汽车电池之间的气隙进行电力传输，而不会有任何直接的电接触。因此，充电点和电池端子之间的长电缆被消除了，消除了传统有线充电器的缺点，包括插电故障、跳闸危险以及由于电缆和连接器老化或腐蚀而导致的触电风险。和插电技术一样，无线充电器可以部署在住宅车库、办公室和购物中心的停车场进行静态充电。它们也可以放置在公交车站和交通灯上，以实现准动态无线电力传输。此外，动态无线充电(或动态充电)系统也可以安装在道路上，让电动汽车在行驶中充电，这可能会显著减少车载电池容量需求。因为电力传输是通过电磁连接进行的，所以发射台可以埋在地下，以减轻极端天气条件的影响。然而，无线电力传输系统仍然需要改进，特别是在成本、部署、效率、基础设施、互操作性和磁场排放方面。而解决这一问题的研究方案包括新型功率变换器拓扑、感应线圈设计、补偿网络拓扑、控制系统、电磁干扰屏蔽方法和智能通信。作者简介：Sheldon S. Williamson (Fellow, IEEE)， 1999年在印度孟买大学(University of Mumbai, Mumbai)获得电气工程学士学位(荣誉学位)，2002年和2006年分别在美国伊利诺伊理工学院(Illinois Institute of Technology, Chicago, IL, USA)获得电气工程硕士和博士学位(荣誉学位)。他目前是加拿大安大略理工大学工程与应用科学学院电气、计算机和软件工程学系教授，以及智能交通电气化和能源研究(STEER)小组主任。​责任编辑：张燕妮     来源： 机器之心

三维目标检测模型中的特征提取方法三维目标检测模型中的特征提取方法,其中,检测过程可能使用单级或双级架构来学习全局特征,单级架构和双级的架构通用表示如图5所示.表2总结了目标检测模型采用的特征提取方法.• 图5.i）双级检测器结构和 ii）单级检测器结构的通用表示表2.目标检测模型常用的特征提取方法此外,特征的多尺度和以及不同特征的聚集有利于提高预测3D的性能.例如,研究项目Point RCNN证明,通过连接局部和全局特征来生成上下文特征,可以略微提高3D目标检测性能（metric AP）高达2%[10].不聚合上下文信息会显著影响模型性能,特别是在可用点数太少的情况下,例如,当对象被遮挡或远离传感器时.在这种情况下,多尺度特征学习方案起着重要的作用.它们的横向连接和路径提供了更丰富的语义信息,即使对于小尺寸的物体也是如此.表3展示了目标检测模型常用的预测细化网络.表3.目标检测模型采用的预测细化网络.• 下面,我们将在多种设置的环境下收集的数据进行比较,并分析了它们构成.例如,在Waymo数据集上,大约有6.1M标记的车辆,只有2.98M标记的行人和骑自行车的人.KITTI基准由7.481k训练图像和7.518k测试图像以及相应的点云组成,这些点云总共包括80.256k标记对象.这些基准还包括不同的类别,例如,KITTI包括3个类别：汽车、行人和自行车,而nuScenes包括23个类别的对象.表4.多种条件下传感器收集数据比较.• 接下来无人驾驶车辆的目标模型的选择,其中大多数项目使用RPN结构,以及使用PointNet或PointNet++执行实例或对象分割任务,如表5所示.表5.文献中提出的基于融合的无人驾驶汽车应用模型的设计选择.• 由于基于融合的方法依赖于两种不同类型的数据集,因此它们之间的同步和校准非常重要.如表6所示,这些方法总体上取得了较好的性能效果；然而,模型[45]、[46]、[51]、[113]计算效率低下,推理时间超过170ms,与仅使用激光雷达的方法相比,这些解决方案的运行速度很慢.尽管这些方法取得了良好的性能结果,但是他们严重依赖现成的2D物体检测,不能接受利用3D信息生成更精确的边界框.表6.KITTI-test3D检测基准与融合模型的3D目标检测模型结果比较• 如表7所示,大多数模型使用单阶段架构,与双阶段模型相比单阶段模型速度更快,但实现的3D目标检测性能较低,然而,最近Point-RCNN[10], Fast Point R-CNN[31]等通过实现第二阶段,显著提高了3D检测性能.这是因为模型的各个阶段可以单独训练和评估,并且可以执行额外的增强技术,而且特征的多尺度、不同特征的聚合有利于提高3维目标检测的性能.表7. KITTI测试集3D检测基准上3D目标检测模型结果的比较,激光雷达

**传感器的比较** (++)完全适应的传感器；(+)性能良好的传感器；(−) 传感器可能符合标准,但可能存在缺点；(− −) 传感器,可用于适应和额外的重型治疗；(0)传感器不能满足标准或不适用； 接下来,我们将目标检测的各种贡献分为`Data Representation`、`Data Feature Extraction`、`Detection Module`和`Prediction Refinement Network`四大类,如图1所示. 图1.将基于深度学习的目标检测的各种贡献分为四大类,即数据表示法、数据特征提取、检测模块和预测细化网络. - `Point-based`保留了点云的全部信息,如`PointNet`使用`Point-based`数据提取局部和全局特征.`Voxel-based`损失了部分点云位置信息,基于`Voxel-based`的特征提取有助于提高特征提取网络的计算效率和减少内存需求.基于`Frustum-based`的网络有`Frustum PointNet `[46], `Frustum ConvNet` [47] and `SIFRNet `[48].`PointPillars `使用` Pillar-based`将将点云组织成垂直的柱状,从而排除z坐标,例如`PointPillars`[49].除了使用三维体素表示外,一些方法（正视图FV、 range view 、鸟瞰图BEV）将信息压缩到二维投影中,以减少三维激光雷达数据的高计算量. - 目标检测模型中最关键的任务是提取特征,保证最佳的特征学习能力是至关重要的,`Data Feature Extraction`有如下几种： 图4.稀疏卷积（SC）和子流形稀疏卷积（VSC）. - `PointNet`[37]和`PointNet++`[38]是最著名的`point-wise`特征提取器.如下图所示，`PointNet`用于几何特征提取和对象分类,但由于每个点都单独学习特征,忽略点间的关系,因此在捕获相邻点之间的局部结构信息方面存在严重的局限性. - 基于`point-wise`的方案对象检测时间较长,因此引入了`segment-wise`.例如 `VoxelNet `[25], `Second `[29], `Voxel-FPN` [32], and `HVNet `[62].首先用体素构造点云,然后使用图3所示的特征提取器,允许网络提取低维特征（对象边缘、每个体素）.与`point-wise`相比,`segment-wise `可以应用 `voxels ``pillars ` `frustums` - 图3.体素特征提取网络的结构 - - `Object-Wise`利用成熟的二维目标检测，用于过滤点云和检测图像中的对象，然后得到的二维边界用于三维对象的边界框. - `Convolutional Neural Networks`中包含`2D Backbone`、`3D Backbone`，在三维空间中直接应用卷积将在计算上效率低下，并将严重增加计算量和模型的推理时间，因为三维表示处理自然比二维表示要长，更重要的是点云是稀疏的.因此，直接使用三维表示看起来是一项非常耗时的任务.而使用`稀疏卷积（SC）`和`子流形稀疏卷积（VSC）`来处理稀疏数据，可以有效地提取特征和更快的运行时间.