在不久的将来，自动驾驶汽车将能够独立处理大多数任务。然而，它们还不能应对所有的交通状况。如果它们遇到不知道如何解决的问题，安全是首要考虑因素。大多数情况下，这意味着把车开到路边并停下来。德国航空航天中心 (DLR) 正在对这些车辆的远程操作进行研究，以便在未来安全、快速地处理此类状况。在不清楚如何处理的情况下，自动驾驶汽车可以向技术主管请求远程操作支持。远程操作——技术桥梁和法律要求DLR 交通系统研究所的 Michael Oehl 说：“自动驾驶汽车的远程操作是一座桥梁，可以将自动化领域的现有技术迅速投入使用并应用到道路上”。他的团队的工作重点是SAE 4级的自动驾驶，其中自动化接管了所有的驾驶任务。乘员无需干预，即使使用方向盘等控制元件仍然可以做到这一点。自动驾驶分级标准由SAE（前身为汽车工程师学会）制定，这种分级从0级到5级不等。在0级，车辆没有任何自动化。5 级相当于完全自动化，车辆完全自主，在所有的道路和环境条件下行驶。乘客只是乘客，人类不再需要干预，即使是通过远程操作。如今，4 级还不能在日常生活中使用，但是在很多地方，包括德国，已经有了使用它们的法律框架。《自动驾驶法》于 2021 年 7 月生效，随后《自动驾驶条例》对规则进行了更详细的规定。该法律允许4级在特殊路段、物流中心和高速公路等特定区域内自动驾驶。这为使用无人驾驶班车运送人员或货物等提供了可能性。对于操作和责任，法律定义的远程操作或技术监督起着决定性的作用。高度自动化的车辆 (4级) 变得越来越先进。然而，由于车辆可能遇到的潜在情况非常多，因此其自动化还不能无缝处理所有这些情况。远程协助作为远程操作的一种，是一种援助方式。专注于人类和自动化的协同工作Michael Oehl 说：“我们正处于开发初期，对于如何使车辆远程操作安全高效，我们有很多想法和概念。”“目前，我们主要关注人与自动化之间的交互，以及所需的界面设计——人机界面，简称 HMI。例如，我们正在研究远程操作工作站可能采用的形式、工作对人员的要求，以及如何从工作和工程心理学的角度进行工作站设计”。人为因素——远程操作的要求和工作场所设计未来，几个配备显示器、用户界面和耳机的远程操作员可以坐在一个控制中心，指导SAE 4级的自动驾驶车辆通过复杂的路段。例如，在尚未纳入系统的施工现场，汽车不会自动驶过，而是停在原地，因为车辆的自动化系统不知道如何操作。然而，在他们能够应对这些众多场景之前，DLR 的研究人员仍然必须解决一些基本问题。绘制车辆地图以进行监控的最佳方式是什么？需要哪些信息？一个人可以同时在屏幕上监控多少辆车？高度自动化车辆中的摄像头可以提供什么样的实时图像来帮助技术主管做出决策？处理援助请求平均需要多长时间？操作员需要多长时间才能做出决策？Michael Oehl 说：“在这种监控任务中，警惕性尤为重要。在研究中，我们用这个词来描述一种持续警觉的状态。即使长时间没有任何事情发生，你也必须能够在发生时快速做出反应。远程操作工作站必须经过专门设计，以防止出现人们分心或开始感到疲劳的情况。就像火车司机或飞行控制员一样，这些操作员不能经常过度工作。为了在车辆远程操作的背景下更深入地研究这些问题，该团队建造了一个工作站原型。通过这种方式，研究人员正在以一种面向应用的方式研究远程操作员未来在其工作站中需要哪些信息，以便能够在车辆自动化系统不清楚如何做的情况下快速、安全地支持SAE 4级自动驾驶汽车”。（编译：iothome）原文链接：https://www.iothome.com/archives/7263

对于完全无人驾驶商业化来说，都要经历主驾驶有无安全员、可不可载人（也就是载客）、可不可以收费这三个主要的流程，这也是自动驾驶到完全无人驾驶商业化的三个红灯，需要自动驾驶公司、监管机构共同努力，一个个将红灯变为绿灯。   这一波自动驾驶探索的热潮，从2009年的谷歌X实验室的无人车组开始，发展到今天已经有13个年头了，中国和美国等全球范围内也涌现出大量的自动驾驶初创公司，所有的公司都在为亮起上述三盏绿灯而努力。   要实现真正的完全无人驾驶商业化，是需要包括法律法规、车辆平台、传感器硬件、民众接受等整个产业链生态以及社会生态的成熟，在现在有着海量资本和人才的进入，对亮起三盏绿灯真正实现无人驾驶商业化有着巨大的促进作用。   更重要的是，无人驾驶的到来，可以让老人、儿童、残障人士等特殊人群，可以更方便的自由出行。当然了，前提是要做好针对性的交互，例如，小马智行在三年前就针对需要依赖轮椅出行的残障人士对无人驾驶测试车辆进行优化。   随着自动驾驶技术的进步、以及监管政策的突破，北京市高级自动驾驶示范区有望会在今年年底前，允许完全无人（也就是无安全员）+可载人（载客）+可收费，这意味着三盏绿灯同时亮起，无人驾驶商业化在政策上得到了许可。   但小马智行认为，自动驾驶系统的大规模量产、Robotaxi要在全国范围内大规模部署，还需要3-5年的时间。实际上，这也是整个行业的共同目标。根据特斯拉在2022年Q1的财报电话会的信息，特斯拉有望在明年推出无方向盘、无踏板的完全无人驾驶汽车，而Waymo和吉利也在合作量产完全无人驾驶车型。   无论是完全无人驾驶车辆的量产，还是Robotaxi的法律法规，都需要时间去突破，这一切都在全行业的努力下向前发展，让我们共同期待无人驾驶的Robotaxi的到来。 转载于车智微信公众号

北京时间4月28日，北京颁发了首批“无人化示范应用道路测试”通知书，根据规定，获得通知书许可的企业，可以在亦庄经济开发区60平方公里核心区范围内利用无人化测试车辆提供“主驾无安全员、副驾有安全员”的载人服务（无人化Robotaxi），这使得北京成为全国首个开启乘用车无人化运营试点的城市，而小马智行是获得许可的唯一一家初创公司。   在本次无人化示范应用道路测试规定中，最大的意义在于政策上允许拿掉主驾驶的安全员！虽然副驾驶仍旧保留安全员，实际上除了预防需要人接管的突发情况外，更大的作用是在于安抚乘客和其他道路参与者等公众的心理。作为破坏式的创新技术，乘客和公众需要时间去接受无人驾驶技术的到来。   为什么北京可以走在全国的前面，首次颁发无人驾驶载人测试牌照，将无人驾驶的商业化往前推进的一大步？这里面是北京市高级自动驾驶示范区专班在政策上、自动驾驶企业在技术上，双方共同努力突破的结果。监管者和参与者的共同合作，目的是逐步向公众提供安全可靠、成本有优势的完全无人驾驶Robotaxi服务。    01无人驾驶载人测试许可的背后 北京本次颁发的无人驾驶载人测试运营牌照，将安全员从传统意义的主驾驶位，移到了副驾驶位，是在缓慢的让乘客、道路其他参与者以及公众等，逐步接受完全无人驾驶Robotaxi的到来。   由于将安全员从主驾驶挪到了副驾驶，这对技术上的保障、对乘客和其他道路参与者的认知、对政策的支持，都提出了新的要求。   作为首批获得北京“无人化示范应用道路测试”通知书的初创公司，小马智行拿到这个牌照付出了巨大的努力。   为了验证技术上的安全性，小马智行在车辆硬件上设置了多种的安全冗余，并且配备了无需依赖5G网联的自动驾驶远程辅助平台，更重要的是，小马智行通过1100万公里真实道路测试和大量的虚拟仿真测试，共同验证技术的安全性和可靠性。在广州也提供了近千人次的无人化Robotaxi的体验服务，值得一提的是，小马智行在4月24日获得广州南沙给自动驾驶公司颁发的出租车经营许可。   在乘客和其他道路参与者的认知上，对于乘客而言，车上还有一个安全员，虽然是坐在副驾驶上，但是，在心理上对安全的暗示作用是非常大的，乘客通过Pony Pilot+ APP上打到一辆主驾驶上没有安全员的车辆时，不至于会在心理上有抗拒或者不安全的感觉。对于其他道路参与者而言，提供这类服务的车辆会有特殊的车身标识。让乘客和公众逐步接纳，也是无人驾驶商业化不可或缺的一个步骤。   颁发无人驾驶载人测试运营牌照只是一个结果，为了达到这个结果，北京市高级自动驾驶示范区专班，制定了严格的规定和流程，这个从下图可以看到其中的一些步骤，从这些步骤就可以看到这里面的严谨性和科学性。   将安全员从主驾驶挪到了副驾驶，看起来是很小的一个变化，这里面也包含了监管层在政策面的重大突破，以及提供无人驾驶服务企业在技术保障上的信心。借用当年阿姆斯特朗成为登月第一人的那句名言，这是无人驾驶商业化的一大步。   按照北京市高级自动驾驶示范区专班现在每2-3个月就有新的政策突破的节奏，有望在年底前实现完全无人+载客+收费三盏绿灯同时亮起，从而真正实现无人驾驶Robotas的商业化。这需要监管层政策突破的努力，更需要自动驾驶公司在技术上的保障。 转载于车智微信公众号

近日有知情人士称，特斯拉公司关闭了加州一处设施，并裁掉了大约200名自动辅助驾驶系统 (Autopilot) 团队的员工。这是已知的科技行业广泛裁员行动中规模较大的一次。据悉，特斯拉CEO马斯克前不久刚在卡塔尔经济论坛上发表公开讲话，他表示美国经济衰退在某些时候是不可避免的。因此，特斯拉决定在未来三个月内将全薪员工减少10%，因为美国员工普遍不接受加班。但希望能增加一些时薪临时工，这样或许能提高汽车产能，同时也降低员工成本支出。（凤凰科技）转载于CSDN微信公众号

数据存储正在驱动汽车行业晋级汽车制造商正在将更智能的技术构建到可以改变交通方式的自动驾驶汽车 （AV） 中。 当自动驾驶汽车进一步融入社会时，它们有可能彻底改变人们的日常生活方式，甚至可能影响城市的设计方式。 实现这一目标的道路很长，但数据存储方面的创新可以帮助驾驭这一旅程。利用数据实现更多可能性AV 本质上是带轮子的超级计算机。借助一系列内置传感器、摄像头和内部网络，他们可以无缝检测正在发生的一切。他们能够从其他汽车、骑自行车的人、行人和路标上看到更多的道路上的东西。与大多数人类驾驶员相比，更智能的车辆对周围环境的感知能力更强。自动驾驶汽车也使用更多数据。一辆自动驾驶汽车相当于近 2，700 名普通互联网用户。Ruben最近在汽车行业研究和活动的领先提供商 Automotive World 上发表了演讲，解释了 AV 使用了多少数据，以及与普通互联网用户使用的数据相比如何。“到 2020 年，自动驾驶汽车平均每天处理 4，000 GB 的数据，而互联网用户平均处理 1．5 GB，”他说。随着自动驾驶汽车不断升级，配备更先进的摄像头和传感器，它们将拥有更智能的功能和技术，从而产生更多的数据。新的智能功能集可以帮助驾驶员在路上保持稳定。借助可靠的存储设备，可以启用车道偏离检测、后视视频和物体避让等方面。此外，可以推送来自制造商的无线 （OTA） 软件更新以添加新功能和改进。有些汽车甚至具有自动泊车的能力，可以完全自动化独立驾驶。但是，在自动驾驶汽车经常出现在街上之前，汽车世界还有一段路要走。升级车道美国国家公路交通安全管理局 （NHTSA） 发布了一个自动驾驶级别划分——1 级（无自动化）到 5 级（完全自动化）——来解释该行业的现状及其对未来的影响。今天上路的大多数 AV 都是 2 级——部分自动化或更低。 并且随着更高层次融入社会，潜在的发展空间和经济效益是巨大的。对于许多人来说，就业或独立生活依赖于驾驶能力。自动驾驶汽车可以帮助更多人上班，并为大约 200 万残疾人创造新的就业机会。随着汽车数据技术的发展，影响不仅仅局限于汽车。很快，道路和城市可能会开始在停车、道路建设和公共交通方面发生重大变化。“拓展”城市空间随着 AV 继续推出更多车载数字存储，达到 3 级及更高级别的自主性可能有助于减少交通和道路拥堵。这会对道路发展和城市布局的规划产生重大影响。未来，无人驾驶汽车可以让乘客下车，然后继续行驶。因此，曾经被停车场和大型车库占据的房地产可以被更多以人为本的需求所取代，例如住房、公园或购物中心。Russell Ruben 假设，甚至可能有一天人们不想拥有汽车。 “．．．．．．相反，他们可以订阅共享驾驶服务，类似于音乐或电影的流媒体。”随着街道上更高效的自动驾驶汽车，汽车可以更紧密地行驶，为骑自行车的人和行人“拓展出”更多的空间。未来之“路”这仍然是自动驾驶汽车革命的开始。借助合适的 NAND 存储，车辆数据工作负载可以保持平衡，从根本上改善人们的旅行和体验生活的方式。这需要时间，但随着任何重大转变，都有可能使一切变得更好。扫描以下或点击链接即可下载技术白皮书：

传感器相当于自动驾驶汽车的眼睛。通过传感器，自动驾驶汽车能够识别道路、其他车辆、行人障碍物和基础交通设施，在最小测试量和验证量的前提下保证车辆对周围环境的感知。 按照自动驾驶不同技术路线，传感器可分为激光雷达、传统雷达和摄像头三种。 激光雷达是被当前自动驾驶企业采用比例最大的传感器类型。谷歌、百度、优步等公司的自动驾驶技术目前都依赖于它，这种设备安装在汽车的车顶上，能够用激光脉冲对周围环境进行距离检测，并结合软件绘制3D图，从而为自动驾驶汽车提供足够多的环境信息。激光雷达具有准确快速的识别能力，唯一缺点在于造价高昂（平均价格在8万美元一台），导致量产汽车中难以使用该技术。 传统雷达和摄像头是传感器替代方案。由于激光雷达的高昂价格，走实用性技术路线的车企纷纷转向以传统雷达和摄像头作为替代，**从软件和车辆连接能力方面进行补偿**。例如著名电动汽车生产企业特斯拉，采用的方案就是雷达和单目摄像头。 其硬件原理与目前车载的ACC自适应巡航系统类似，依靠覆盖汽车周围360°视角的摄像头及前置雷达来识别三维空间信息，从而确保交通工具之间不会互相碰撞。 虽然这种传感器方案成本较低、易于量产，但对于摄像头的识别能力具有很高要求：单目摄像头需要建立并不断维护庞大的样本特征数据库，如果缺乏待识别目标的特征数据，就会导致系统无法识别以及测距，很容易造成事故的发生。而双目摄像头可直接对前方景物进行测距，但难点在于计算量大，需要提高计算单元性能。 双目摄像头： 

在自动驾驶技术方面，有两条不同的发展路线： 一条是“渐进演化”的路线，也就是在今天的汽车上逐渐新增一些自动驾驶功能，例如特斯拉、宝马、奥迪、福特等车企均采用此种方式，这种方式主要利用传感器，通过车车通信(V2V)、车云通信实现路况的分析。 另一条是完全“革命性”的路线，即从一开始就是彻彻底底的自动驾驶汽车，例如谷歌和福特公司在一些结构化的环境里测试的自动驾驶汽车，这种路线主要依靠车载激光雷达、电脑和控制系统实现自动驾驶。 第一种方式更加适合在结构化道路上测试。第二种除结构化道路外，还可用于军事或特殊领域。 还是第一种路线比较稳妥。

乐高式、开放化——高效构建自动驾驶研发平台的行业新解针对上述挑战，华为云汽车行业解决方案负责人赵刚谈到：华为云坚持“生态开放”的理念，深度联合禾多科技、51WORLD、星尘数据、易图通等合作伙伴，共同发布“乐高式”自动驾驶研发平台解决方案（以下简称“乐高式”解决方案），帮助客户最快2周即可独立完成一套自动驾驶研发平台的搭建。华为云自动驾驶业务研发平台业务全景图本次发布的解决方案依托华为云丰富的云服务及生态伙伴在自动驾驶领域的经验沉淀，赋能客户打通数据闭环流程，并联合伙伴在全国建设数据接入点，传输效率最高提升3倍、实现当日上云；软硬件协同优化，多机多卡训练效率提升50%；支持云原生集群化部署，调度性能提升30%；支持数据加密、合规治理，保障业务安全合规。赵刚介绍到，华为云自动驾驶业务研发平台以开源代码库Ploto为门户，由安全合规、路测数据管理、AI算法训练、场景仿真、场景库交易、量产车联网及平台管理等7个模块组成，支持3种业务部署模式。华为云及伙伴们希望通过“乐高式、模块化”的简单操作，来帮助不同诉求的客户实现自动驾驶研发平台快速构建的目标。模式1：模块按需构建“乐高式”解决方案自身具备“按需搭建，灵活组合”的能力，适用于对部分研发模块有诉求的客户，最少只需9个标准API便可快速与自有研发平台对接上云。模式2：E2E快速构建对于有端到端构建研发平台诉求的客户，“乐高式”解决方案提供一站式的服务，帮助用户基于参考代码快速构建。模式3：自有专业软件服务商集成相比SaaS化自动驾驶研发平台，华为云提供标准API，支持客户自选如标注、仿真等环节的专业软件服务商快速集成。来源：https://bbs.huaweicloud.com/blogs/359561?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content

动态时空数据驱动的认知车联网频谱感知与共享技术研究郭彩丽1,2, 陈九九1, 宣一荻1, 张荷11 北京邮电大学，北京 1008762 先进信息网络北京实验室，北京 100876摘要随着全球汽车产业智能化和网联化的爆发式发展，作为车联网重要支撑的通信技术面临着频谱资源紧缺的难题。除了提供安全服务以外，车联网服务需求的多样性使得引入认知无线电技术成为有效的解决途径，可以实现与授权用户共享sub-6 GHz和毫米波的异质频谱资源，但车联网复杂动态变化环境的影响使得频谱利用率性能的提升受限。提出了充分利用潜在的多源动态时空数据挖掘和学习车辆轨迹、交通流的变化规律的方法，并利用其规律指导频谱的感知和共享。通过搭建系统级仿真平台进行仿真分析，结果表明所提方案的频谱效率得到有效提升。关键词： 车联网 ; 动态时空数据 ; 异质频谱共享 ; 多服务的服务质量要求1 引言随着通信技术、信息技术和汽车工业的发展，以智能化和网联化为特征的智能网联汽车已成为汽车产业发展的必然方向，作为网联化代表的车联网是实现智能网联汽车的支撑技术。特斯拉发生交通事故表明，在相当长时期内，车辆的智能化难以做到完全替代人的决策，需要基础设施的配合，尤其需要车联网的必要技术帮助实现车—车（V2V,vehicle to vehicle）、车—路、车—人、车—云之间的通信和信息交换。据咨询公司埃森哲预测，在2025 年全球新车市场中，网联汽车的渗透率将从2015年的35%增至100%，即所有新车都将具备联网功能。由此可见，车联网将逐渐成为全球研究和关注的热点。通信技术是车联网的关键技术，决定了车联网信息传输的实时性和有效性，是车联网的“命脉”。目前，世界上用于车联网通信的主流技术包括专用短程通信（DSRC,dedicated short range communication）技术和基于蜂窝移动通信系统的 C-V2X （cellular-vehicle to everything）技术，其中，C-V2X技术包括LTE-V2X和5G NR-V2X。无线电频谱资源归国家所有，是具有重要战略意义的稀缺资源，实现智能网联汽车通信的前提条件之一就是要有充足的频谱资源作为支撑。但目前分配给DSRC技术和 C-V2X 技术的专用频谱资源均有限，如美国联邦通信委员会（FCC,Federal Communications Commission）分配给DSRC技术的频段仅为75 MHz （5.850～5.925 GHz）；我国将20 MHz（5.905～5.925 GHz）的频段作为基于LTE-V2X技术的车联网直连通信的工作频段。为车联网分配专用频谱资源的主要目的是满足辅助驾驶、防碰撞、车道偏离预警、驾驶员疲劳检测等安全类服务的高可靠、低时延通信需求。随着以自动驾驶为代表的汽车产业的兴起，人们对智能网联服务的需求呈现多样化特点，包括交通效率类（如事故、路障和拥堵提醒等服务）、车辆信息类（如智能汽车支付、车辆诊断等服务）和车载娱乐类（如多媒体音/视频等服务）等各种非安全类服务[1]。随着上述非安全类服务的爆发式增长，对频谱的需求量迅速增加。鉴于大部分非安全类服务对通信可靠性和时延的要求比安全类业务要求低的客观事实，已有研究[2,3,4,5]指出，在车联网中采用认知无线电技术，即组建认知车联网，通过感知授权用户的空闲频段并与用户共享此频段，为解决车联网中的频谱资源不足问题提供了有效的解决途径。因此，车联网中服务的多样性使得采用认知无线电技术进行频谱感知和共享成为可能。随着辅助驾驶技术的发展，尤其是自动驾驶时代的到来，为了更好地满足多种服务的需求，车辆将配备大量高清摄像头和激光雷达等高精度传感器，这些传感器通常需要将收集的大量数据上传至数据处理中心进行处理。据预测，每辆自动驾驶模式的汽车消耗数据流量的速度为5 Tbit/h，数据平均传输速度为1.4 Gbit/s。日益紧缺的频谱资源已不能满足多种服务对带宽的需求，频谱供求矛盾更尖锐。为了缓解上述矛盾，现有研究考虑在共享传统sub-6 GHz 频段的基础上，将具有丰富资源并且传输性能高的毫米波频段引入认知车联网通信[6,7]，传统sub-6 GHz 频段有广播电视白频段（TVWS,TV white spectrum）、DSRC 频段、蜂窝频段等。通过上述研究， sub-6 GHz和毫米波等多个异质频段均可以实现共享，为自动驾驶时代的认知车联网提供了充足的通信保障。综上所述，为了缓解车联网频谱资源紧缺导致的供求矛盾，车联网服务需求的多样性使得引入认知无线电技术成为解决车联网频谱资源紧缺问题的有效途径，可以实现与授权用户共享sub-6 GHz和毫米波的异质频谱资源。认知车联网通信示意图中，V2X通信可复用传统蜂窝频段和毫米波频段。车辆或路边单元执行具有不同用户服务质量（QoS,quality of service）要求的业务，如车辆间转向、变道信息共享的协作碰撞避免信息传输业务（CAITS,collision avoidance information transmission service），车辆行驶轨迹、驾驶意图、传感器数据交互的自动驾驶信息传输业务（ADITS,automatic driving information transmission service）等。其中， CAITS 关注信息传输的实时性和可靠性，ADITS 数据量大，在一定的时延容忍范围内更关注吞吐量。2 结束语本文针对认知车联网面临的高时空动态变化环境挑战，提出了利用车辆轨迹和交通流的预测结果，设计支持异质频谱和多样性服务的频谱感知和共享算法。仿真结果表明，车辆轨迹和交通流的预测以及基于预测结果的异质频谱的感知和共享可有效提升频谱效率，并能够满足多业务的 QoS 需求。后续工作将主要研究基于车辆轨迹数据和交通流数据统一表示的轨迹和交通流预测方法以及自适应 QoS 的频谱感知模型和算法。The authors have declared that no competing interests exist.作者已声明无竞争性利益关系。3 原文链接http://www.infocomm-journal.com/wlw/article/2020/2096-3750/2096-3750-4-3-00096.shtml

面向自动驾驶应用的车联多智能体信息融合协同决策机制研究曹佳钰, 冷甦鹏, 张科电子科技大学信息与通信工程学院，四川 成都 611731摘要自动驾驶车辆是智能交通系统的重要组成部分，自动驾驶应用需要在采集大量交通数据的基础上，实施信息处理与控制决策。由于交通信息的时空属性，即信息只在某一时间段内或某一区域内有效，独立车辆有限的信息感知范围严重制约了自动驾驶应用数据采集的有效性。车联多智能体协同决策为上述问题提供了可行的解决思路，提出了一种多维度感知信息融合机制，提升车载信息融合对自动驾驶任务的增益。在此基础上，设计了面向自动驾驶应用的智能分布式的决策算法，在最大化信息融合对自动驾驶任务增益的同时，最大化路网交通车流量，并满足自动驾驶车辆的成本和资源约束。仿真结果验证了所提算法的收敛性和实用性。关键词： 自动驾驶 ; 多智能体 ; 信息融合 ; 移动边缘服务1 引言近年来，科技的进步极大地推动了智能交通的发展，智能交通系统在解决交通拥堵、环境污染、能源消耗等问题上受到了越来越多的关注。在此背景下，网联自动驾驶汽车（CAV,connected and au tonomous vehicle）技术应运而生[1,2,3]。CAV技术可以分解为车辆互联技术和自动驾驶技术，车辆互联技术主要包括两种类型的通信链路，即车与车（V2V,vehicle to vehicle）通信和车与路边基站（V2I,vehicle to infrastructure）通信。V2V通信允许车载用户进行短距离和中距离通信，提供低成本部署，并以低时延支持短消息传递。V2I 通信使车辆能够连接互联网，通过路边基站进行信息传播和提供信息娱乐服务。自动驾驶技术可以利用车载传感器检测车辆的行驶信息，如车辆的速度、位置、加速度等，并通过对这些信息的处理，提高整个网络的安全性和通行效率。由此可见，CAV技术是智能交通系统的核心基础，是城市现代化的重要组成部分。随着智能汽车和交通传感器的普及以及传感器性能的提升，道路上行驶的车辆将产生大量行驶信息，这些信息（如路径规划的位置信息、地图导航信息等）通常具有时空属性，即只在某一时间段内或某一区域内有效。在CAV技术中，独立车辆的自动驾驶控制决策与其他车辆的行驶信息紧密相关。因此，自动驾驶应用需要准确地了解实时驾驶环境，即在数据失效之前完成数据采集任务，才能进一步处理得到自动驾驶的控制策略。然而，在实际的交通环境中，因噪声、干扰和物理遮挡的存在，独立车辆的信息感知范围有限，这严重制约了自动驾驶应用数据采集的有效性。为了解决上述问题，移动边缘服务将车辆的行驶信息缓存在道路附近的边缘节点（车辆或备有边缘服务器的路边基站）成为了一个可行的解决方案[4]。当车辆采集自身行驶信息后，可以直接将行驶信息缓存在附近的边缘节点，并通过边缘节点将信息传输至其他车辆，弥补了车辆感知能力有限的不足，大大降低了车辆数据采集的时间消耗。然而，边缘服务器和车辆的缓存资源有限，而且不同的信息融合模式在时延和成本方面具有不同的表现。因此，在具有多种传输模式和动态拓扑结构的车辆网络中，高效的自动驾驶信息采集仍是一个需要智能解决方案的挑战。在自动驾驶应用中，车辆的控制策略可以是对驾驶动作（如速度、加速度、制动减速度等）的控制[5]，也可以是对更高层的驾驶策略（如超车、路径规划等）的控制[6]。在解决自动驾驶问题时，常使用强化学习训练模型，给出单个车辆在动态变化场景下最优的驾驶控制策略。然而，现实中的自动驾驶系统不是简单的单车系统或集中式决策系统，而是一个分布式的多智能体系统。因此，如何在完成高效数据采集的同时给出分布式的自动驾驶控制决策仍然是一个待探索的问题。CAV 技术为未来的交通系统带来了巨大的潜力，已经引起了研究者的广泛关注。文献[7]提出了一种用于CAV通过路口的全分布式交互协议，利用拉萨尔不变性原理设计了一种有效的调整工具，确保车辆在到达十字路口之前达到所需的队形。文献[8]针对联网自动驾驶中的运动预测问题提出了一种考虑不同驾驶风格的前车轨迹预测联合时序的建模方法，利用长短时记忆递归神经网络技术，实现了对前车精确和个性化的轨迹预测。文献[9]研究了多车协同自主停车问题，将自主停车轨迹规划问题转化为最优控制问题，通过高斯伪谱法实现了停车时间最小化。随着智能交通系统的兴起和自动驾驶应用需求的不断涌现，近年来的研究工作主要集中在基于移动边缘技术的自动驾驶服务。文献[10]研究了车速预测问题，提出了一种基于移动边缘技术的融合交通灯模型和车速模型的短期交通预测模型，有效地捕捉交通状况的实时变化，成功解决了短期流量预测问题。文献[11]针对车辆的编队管理问题设计了一种新的动态规划算法解决编队的资源分配优化问题，在保证误码率的前提下，最小化编队的总传播时延。文献[12]将 Follow Me edge-cloud （FMeC）概念引入自动驾驶领域，利用移动边缘服务架构和软件定义网络，在满足自动驾驶时延需求的同时，最小化全局成本。文献[13]讨论了自动驾驶的定位问题，提出了一种基于车辆区块链和移动边缘服务的 GPS 定位误差演化共享框架，保证了合作伙伴和数据的安全性和可信度，提高了车辆定位精度。在自动驾驶应用中，大多数研究通常采用强化学习训练自动驾驶模型。文献[14]提出了一种基于强化学习的车辆跟随模型，利用信息共享的优势，提高了在信号交叉口的实时行驶效率和安全性，降低了燃油消耗。文献[15]研究了高速公路上的自动驾驶问题，提出了一种基于多策略决策和强化学习的高速公路合并方法，实现了车辆的安全合并。自主驾驶系统是一种典型的多智能体系统，随着多智能体技术的兴起，一些研究也将关注点放在分布式多智能体技术与自动驾驶领域的结合上。文献[16]讨论了车辆编队的分散控制问题，结合多智能体理论提出了一个分散控制律补偿通信链路存在的非均匀时变时延效应，使得车辆可以达到指定的队列，同时根据编队队首的速度前进。文献[17]针对自动驾驶环境下的交叉路口通车状况开发了一种联合优化交通信号灯和车辆轨迹的控制方法，并利用多智能体技术进行仿真，提高车辆通行效率并减少停车次数。文献[18]将自动驾驶汽车的频谱共享检测违规问题定义为一个具有基数的多代理规划问题，利用众包信息确定最佳基数，用尽可能低的成本实现所需的检测精度和定位精度。尽管现有研究提供了一些关于自动驾驶服务和多智能体技术结合的见解，但是基于移动边缘服务的分布式自动驾驶技术还没有被研究。此外，现有的研究大多数默认自动驾驶服务在数据失效之前完成了数据采集任务，没有考虑不同信息融合技术对自动驾驶服务的影响。与现有研究不同的是，本文研究了具有多样信息融合模式的自动驾驶网络，并在分布式多智能体系统的基础上提出了最优的自动驾驶决策。为了解决自动驾驶任务数据采集的有效性问题，本文提出了一种基于移动边缘服务的多维度感知信息融合机制，设计了智能分布式的自动驾驶控制策略，联合优化数据采集和自动驾驶服务。本文的主要贡献如下。1) 提出了一种多维度感知信息融合机制，该机制在融合了移动边缘技术的同时，充分考虑了车辆行驶信息的时空属性。2) 研究了不同信息融合模式对自动驾驶任务的影响，构建了关系模型。3) 设计了智能分布式的协同决策策略，使得信息融合增益和路网交通车流量最大化，并满足自动驾驶应用的成本和资源约束。2 结束语本文将移动边缘技术融入了车联网，提出了一种多维度感知信息融合机制，并充分考虑了车辆行驶信息的时空属性。本文设计了面向自动驾驶的智能分布式协同决策方案，使得信息融合增益和路网交通车流量最大化，并满足网联车辆的成本和资源约束。仿真结果表明，与传统算法相比，本文提出的方案显著降低了学习成本。The authors have declared that no competing interests exist.作者已声明无竞争性利益关系。3 原文链接http://www.infocomm-journal.com/wlw/article/2020/2096-3750/2096-3750-4-3-00069.shtml

华为在东莞松山湖举办下一代数据中心发布会。华为数据中心能源军团面向全球发布下一代数据中心理念及全新供电解决方案电力模块 3.0。IT之家了解到，华为高级副总裁、华为数据中心能源军团 CEO 杨友桂介绍了下一代数据中心的四大特征，包括低碳共生、融合极简、自动驾驶、安全可靠。低碳共生：旨在通过促进数据中心资源源头绿色化、利用高效化以及全生命周期可回收，实现可持续发展。融合极简：通过架构极简，1000 柜的数据中心建设周期从 18 个月以上减少至 6~9 个月；通过供电极简，交付时间从 2 个月缩短至 2 周；通过温控极简，最大化利用自然冷源，从多次热交换变成一次热交换。自动驾驶：通过运维自动，5 分钟完成 2000 机柜巡检；通过能效自优，1 分钟内从 140 万个算法组合中推断出最佳冷却策略，实现从制冷到“智”冷；通过运营自治，最大化挖掘资源价值。安全可靠：通过 AI 预测性维护，从“治病”到“治未病”；通过架构安全，从器件到 DC，全方位构筑安全防线，使系统可用性达到 99.999%。此外，华为全新一代电力模块 3.0 解决方案则通过核心技术创新和部件融合，优化布局，打造更为省地、省电、省时、省心的数据中心供电系统。转载自http://www.iotworld.com.cn/html/News/202205/fc9788b5dbeaf77d.shtml

3月中旬华为在春季发布会上首次公开了家用毫米波传感器，在智能家居和传感器行业引起热议。3下旬以来，Apple陆续公开了6项搭载新传感器的可穿戴设备专利，包括指环、腕带、头盔等样式，涵盖了压力、超声波、惯性测量单元、光学、触摸、SMI等传感器类别。传感器是信息技术系统的“感官”，手掌大小的智能手机中就搭载了十余种传感器，常见的有陀螺仪、光敏、磁场、重力、加速度、定位、指纹、CMOS图像、霍尔传感器等。传统手机传感器硬件市场已十分成熟，以科技革新自勉的大厂们自然志不在于此。尽管各厂定位有别，供应链逻辑与业务模式存在差异，但显而易见的是，手机大厂瞄准传感器等先进制造行业已经成为趋势。华为：攀爬技术高峰，车规健康智家三管齐下作为通信巨头的华为，蜂窝基带芯片和通信设备排名全球前列，被美国制裁之前消费者业务利润可观，每年智能设备全球出货量数以亿计，拥有庞大ICT基础设施和智能终端业务的华为对传感器的需求自然不弱。2018年末华为在法国设立传感器和软件研发中心，配备30人专门从事传感器和软件的研发，打造华为的传感器、执行器生态圈。2019年智能汽车跃居风口，华为在传感应用上也找到了新突破口——智能汽车元部件，华为强调其意不在做“与客户抢生意”的造车，而是要To B做智能汽车企业的供应服务商，研发制造激光雷达、毫米波雷达、高清摄像头等智能核心传感器硬件，以应用在ADAS智能驾驶操作系统与MDC自动驾驶云服务平台，协助车企实现拥堵跟车、高速巡航、自动泊车等辅助驾驶乃至自动驾驶功能。这个战略被华为冠以“爬北坡”之名，用攀登珠穆朗玛峰最难的路径之意来表明其研发决心。毫米波雷达技术正向4D成像雷达技术演进，华为在2021年4月发布具有12个发射通道24个接受通道大天线阵列的高分辨4D成像雷达，成为当时业界可量产最大阵列毫米波成像雷达。根据智能驾驶的级别来看，L2水平以上的自动驾驶汽车将应用更多的毫米波、激光雷达等传感器设备，全球每年近700万出货量的新能源汽车将是华为业绩增长的新战场。在孟晚舟出席的2021年度业绩会上，华为表示已上市30多款智能汽车零部件，如北汽极狐、长城、哪吒、阿维塔、AITO等品牌搭载了华为的激光雷达。根据法国市场调研公司Yole的报告显示，华为以3%的市场占有率与禾赛科技等多家老牌激光雷达企业排名第五。毫米波传感器之前广泛应用于航天和自动驾驶，华为将其引入智能家居领域。在华为春季发布会上的这款AI毫米波人体传感器，搭载了24Ghz毫米波结合AI抗干扰技术实现人体动静微感知，并排除其他电子设备的干扰和异动，成为今春全屋智能整体方案的智能创新点。在可穿戴健康设备领域，华为运动健康部门与第三方厂商合作，将心率、血氧、睡眠、ECG、血压、温度、微创血糖、跌倒检测等10余类监测传感器陆续用于手环、手表等可穿戴设备之中，配合表带和自研算法（如TruSeen心率监测算法、TruSleep睡眠分期监测）实现低误差测量。目前华为在国内拥有深圳、西安、东莞三个运动健康科学实验室，在硬件和算法之外，通过采集数据推出“血管健康、动脉硬化风险筛查、心脏健康研究”等项目、加上与国内知名医院合作推出O2O的健康管理方案，获得了市场的好评。虽然华为受制裁后兜售荣耀业绩下滑，2021年其可穿戴腕带设备依然取得全球出货量第三的成绩，有媒体评论，“人工智能、云计算、物联网等技术应用的新工业正悄悄支撑着华为度过至暗时刻”。小米：软硬一体，筑牢生态链护城河2022年以来，小米造车势头猛涨，在专注车用半导体芯片的研发同时，持续投资入股传感器厂商，今年第一季度就有5家传感器企业被小米入股，如汉威科技旗下的斯能达电子、MEMS龙头企业矽睿科技、百亿估值的速腾聚创等。在智能手机换机潮时代，小米以“性价比”冲出一条生路，这种风格至今延续在传感器等硬件产业——雷军向其用户承诺硬件业务净利润不会超过5%。自2015年起小米发布了多款平价消费级人体传感器、门窗传感器，打入C端市场；另一方面大力扶持生态链企业，与绿米联创、石头扫地机器人、云米科技等公司保持共产共销；除了雷军本人的顺为资本之外，又成立极目创投、长江产业基金两大项目在上游制造业大举入股并购，降低采购成本，打造软硬件生态协同。小米的传感器算盘，主要打在智能家居和造车领域。智能家居正从零散家电的智能化，转向全屋智能应用时代。一套完备的方案中囊括的温度、湿度、亮度、暖通、流量、烟雾、水浸传感器等不胜枚举，小米也逐渐放弃了Zigbee的传输方式，转向BLE和Mesh，以实现多件家居的自动开关与智能联动。而小米投资的激光雷达企业，在扫拖地机器人终端上的LDS激光雷达、ToF避障传感器、物体AI识别传感器等上可见一斑，据不完全统计，小米系资本在动力电池及电控、自动驾驶、车载芯片的汽车产业链上投资约40家。相比苹果造车的一路坎坷，雷军却宣布在2024年小米汽车即可大批量生产，显然激光雷达、毫米波雷达等传感器也将会是其智能汽车的标配。手机周边产业，小米在机身上就投入了相关的专利研究，如用多个温度传感器配合软件算法以提高手机的散热性能、疑似无孔化的瀑布全曲屏概念手机、针对曲面屏手机设计的侧边指纹传感器等。在可穿戴设备领域，小米也开发了灵弦算法作为其运动健康传感器的强大支撑。据IDC统计，2021全年小米可穿戴腕带设备和TWS耳机出货量均跃居全球第二。小米在AIoT领域的积淀，除了有群雄并起“竹林效应”的生态链企业，也有投资并购看中的硬件龙头企业，给小米从上游元件材料到下游客户服务带来多元化操盘的可能，小米也顺理成章地顺利切入IoT这片万亿蓝海。胡润研究院发布的《胡润中国10大消费电子企业》显示，华为、小米、VIVO、分别以1.1万亿、4340亿、1750亿占据榜单三甲。混有互联网、硬件制造、新零售、投资属性的小米，似乎印证了那句经典的广告词，不生产传感器，却近乎成为了大批量智慧终端所需传感器的“搬运工”。OV：后起之秀，潜力几何OPPO、VIVO两家算是“同本同源”，业务也都专注在手机及周边产品，OPPO一向以在影像和拍照性能作为主打卖点，直到2019年，OPPO宣布正式布局IoT行业，这奠定了蓝厂在影像传感器优化迭代的基础。在全球手机出货量骤减的环境下，OPPO也正在开始走上转型道路，最直接的表现是加大投资收购。2021年以前蓝厂的投资案例屈指可数，但在当年OPPO就对外进行累积22笔投资，有媒体统计其对外投资也是在先进制造、智能硬件、半导体领域居多，包括光学领域的麦斯卓微（MEMS马达）、诚瑞光学（摄像头模组光学方案）等。OPPO将其转型战略命名为“3+N+X”科技跃迁，“3”分别指硬件、软件和服务基础技术。“N”是指包括人工智能、安全隐私、多媒体、互联互通等数个能力中心。“X”指差异化技术，包含影像、闪充和新形态。在IoT领域，作为后起之秀，OPPO主要聚焦在手机作为入口功能，同时也像小米一样推出自有的智能设备终端品牌，以开放的HeyThings IoT平台协议与其他终端建设开放生态。相比泛IoT业务，“视觉融合”是OPPO的一项核心竞争力，OPPO研发申请的专利以图像传感器为主，如设计捕光传感器、ToF传感器、RGBW传感器等用于强化手机成像视觉、拍照算法。2021年OPPO发布了与索尼联合研发的IMX709图像传感器，被认为是OPPO的突破性创新。这款传感器采用22nm工艺，集成了OPPO自研的RGBW图像融合单元，加强了CMOS的影像算法，官宣可以做到60%的感光能力提升与35%的噪点降低。OPPO表示其有300名影像工程师参与该项目，并产生了87项技术专利。此外，OPPO在UWB空间感知、Lifi光通信、3D虚拟人像技术、AI眼球控制、AR/VR等也有所布局，这些与物联网技术和视觉传感技术关系也十分密切。再观OPPO的“兄弟/对手”公司VIVO，除了同步加码影像光学传感器、研发影像芯片之外，更多注重在TWS耳机和手表等智慧生活领域、Jovi InCar智能车载两大领域发力，但相比以上几家，不论是跨界研制的深度与广度，还是智能终端的产品数量都还差些火候，印证了科技领域“一步慢，步步慢”的箴言。Apple：产品为王，以技术引领变革苹果作为全球顶尖的科技公司，产品自带流量风靡全球，同时凭借创新，其在传感器的设计和研发上一直以“黑科技”著称。早在2014年移动终端产业转型期，率先扛起屏下指纹传感器、智能手表传感器应用的大旗，引领智能手机终端产业变革，成为许多国内用户心中的“白月光”。在市场上，苹果也是全球智能终端最强力的竞争者。据IDC统计，2020年全球可穿戴设备出货量达4.45亿台，2021年全球可穿戴市场规模约5.78亿美元，折合人民币40亿元，苹果以30%的出货量霸居榜首。取得如此成绩，这与苹果的技术创新和产品人文相融合，与苹果极其强大的全球软硬件供应商密不可分。苹果在传感器领域的布局，主要是围绕手机及周边硬件，除了Mac三件套之外，苹果的传感器集成技术多应用在Airpods 、Apple Car 、AR/MR头盔等消费电子产品中，涉及CMOS影像传感器、运动健康检测传感器、生物识别传感器、自动驾驶车载传感器等多个领域。在运动健康领域，苹果Health健康团队拥有近1000名员工，苹果的Apple Watch等可穿戴设备传感器均由该部门研发。2015年第一代产品中就搭载了光学心率传感器、此后陆续加入了GPS传感器、气压传感器、ECG心电、跌倒检测、SpO2血氧检测等传感器。最新消息称，苹果在血压和血糖监测方面遇到开发问题，对于血压检测，研发人员希望在可穿戴设备上不仅能提供收缩压与舒张压读数监测，还要具备高血压告知功能。他们致力于开发一种可以确定用户是否患有高血压的精准传感器，但因为测试准确性问题一直被搁置。此外苹果也计划将健康传感器用于TWS耳机之中，提出“传感器触合”的概念，一份苹果早年专利也显示可以把一套健康监测设备安装在耳机中，通过嵌入式活动传感器取得温度、汗液、心率等数据。面对日益竞争激烈的TWS耳机市场，苹果试图在追求音质、降噪等市面竞品中以健康功能再次越级。在车载领域，苹果高度重视智能网联车的感知系统、决策系统与通信系统，截止2020年，苹果公司有自动驾驶专利180件，从各技术分支布局看，传感器相关专利53件。虽然已有搭载苹果自动驾驶软件的其他厂汽车在加州公路上巡航测试，但Apple car尚未有确切信息是主攻自动驾驶整车还是技术平台，据传苹果与4家激光雷达供应商开展了合作，想要将激光雷达传感器改进得更微型、更便宜、更容易量产。结语手机+周边，软硬件一体的玩法正逐渐成为手机厂商主流。华米OVA几大厂商都在打造其硬件终端生态，“黑电、白电、可穿戴”似乎成为标配，华米果三家作为早期玩家，拥有技术和生态链优势，市场占有率自然也较高，OV两家作为以手机中心探索转型产品，优先完善生态也有潜在市场。日渐智能化、微型化、互联化的消费电子市场，给物联网通信模组、制程芯片、传感器升级提供了施展拳脚的广泛空间。同时，我们也能看到，华米OV等国产手机厂商，能与国际老牌电子企业争雄，能在全球移动通信终端市场脱颖而出，背后是智慧制造政策和国产替代的政策利好，是无数研发人员的兢兢业业和产业链的精工细琢，大厂们能有今日之成就，离不开传感器行业微型化、智能化、网络化带来的降本提效，离不开Wi-FI、BLE、NB-IoT、蜂窝网络等无源通信技术的快速迭代，离不开国产半导体通信芯片、处理器芯片越发强大的集成能力。手机大厂生态转型，业务正从消费端延伸至产业端，从新零售走向先进制造，给IoT行业带来大量出货增长空间、庞大资金支持和潜在人才输送，在IoT化趋势之下，无论是消费物联网，亦或是产业物联网，物联网中上游产业链和技术细分市场正迎东风。

最近在做基于MDC300F的智能驾驶小车的项目，想在论坛对自己做的东西做一个分享，主要涉及模型的训练和部署，包括目标检测、目标跟踪、高精度地图建立、轨迹预测和轨迹规划。最近在学习车道线检测的相关知识，在这里想逐步从工程应用的角度来分享下关于车道线检测的学习。本期的工作主要分享ECCV2020上发表的Ultra Fast Structure-aware Deep Lane Detection这篇文章。 一、车道线检测在辅助驾驶（Autonomous Driving System, ADS）中，车道线检测是非常重要的环节，一方面，车道上的自车和其他交通参与者的位置构成了自动驾驶系统决策的基础；另一方面，车道线是非常重要的环境信息，可以和高精度地图匹配实现高精度定位。车道线检测已经被广泛应用于高级辅助驾驶系统（Advanced Driver Assistance System, ADAS）,比如车道保持辅助系统（Lane Keep Assist, LKA）和自适应巡航（Adaptive Cruise Control, ACC）。     作为自动驾驶的基本组成部分，车道线检测被大量执行，这就要求车道检测算法有极低的计算复杂度，另外，目前的自动驾驶系统通常配备多个摄像头，这也要求每个摄像头输入的计算成本更低。车道线检测的另外一个问题是车道线遮挡问题，例如在拥堵路段，由于视角原因摄像头可以感测到的车道线是不完整的，并且很大一部分车道线被周围车辆所遮挡。     为了提高计算速率，这个工作没有利用基于语义分割的方法去分割每个像素，而是选择车道线的位置。二、问题定义       为了解决上面提到的两个问题，该工作提出了基于全局图像特征的行内选择方法。通过使用全局特征，在预先定义好的行上去选择车道线的位置。将每一行分割为w个小方格，利用小方格的位置表示车道线的位置。因此选择车道线的位置就转化为选择小方格，如下图所示     假设道路上最多有C个车道线，每个车道线的行数为h，每行的方格数为w，X为全局图像特征，是第i个车道线第j行的分类器，那么车道线的预测公式为是一个（w+1）维的向量，表示第i个车道线第j行中（w+1）个方格为车道线的概率。假设是正确位置的one-hot标签，那么问题的优化函数为：其中，是交叉熵损失函数，另外引入了一个维度来表示车道线在第j行是否存在，因此该公式是（w+1）维的。为什么这样设计可以实现更快的速度？假设图像的大小为H*W,基于语义分割的方法中需要将H*W个像素划分为（C+1）类，而在这项工作的方法中，预定义的行数和网格数远远小于图像的尺寸，h<<H,w<<W.仅仅需要C*h个行分类为（w+1）类。通过这种方式，计算规模可以大大降低，因为该方法的计算成本为C*h*(w+1),而基于语义分割方法的计算成本为H*W*（C+1）。如何解决车道线遮挡问题？在很多道路上，由于车道拥堵，车道线被挡住，需要根据车的位置和环境的语义信息去猜测。在这种情况下，没有视觉信息（车道的颜色，形状）去引导车道线的识别，造成很大的困难。这时可以利用图像中的其他车辆的位置等语义信息来解决这个问题。车道线的形状和方向等先验信息也可以通过结构损失函数来学习到。车道结构损失函数除了上面提到的分类损失，该方法进一步提出了两个损失函数来建模不同行车道点之间的位置关系。     首先，车道线是连续的，也就是说相邻行中的车道点应该彼此靠近，因此连续损失函数可以由下式表示其中，是第j行的各个方格代表车道线的概率。结构损失函数的另一部分是车道线的形状，通常大多数车道线都是直线，即使是曲线，由于视角原因，在一定范围内仍然是直线。这项工作中使用二阶差分方程来表示车道线的形状，当车道线为直线时，二阶差分方程为0.首先使用softmax函数去得到第j行不同位置方格为车道线的概率：然后利用下式来表示车道线在第j行的位置:其中，表示第i个车道线，第j行，第k个方格为车道线的概率。然后利用二阶差分方程可以写为：最后，车道结构损失函数为三、特征融合       该方法的整体损失可以表示为：网络结构整体来看比较简单，利用resnet进行特征提取，然后得到结构损失和分类损失。 以上就是这次分享的部分，对于具体的实验代码部分，下次再进行分享，并且准备将该模型部署到MDC300F上运行。 

4D毫米波雷达应势而生，增加了对目标高度维度数据的探测和解析，实现了距离、方位、高度以及速度四个维度的信息感知，可以有效地解析目标的轮廓、类别等等，并具备高角分辨率，完美弥补了传统毫米波雷达的短板。“在我看来，毫米波雷达在发展的过程中一旦涉及到成像，则会有大量的深度学习、人工智能的算法和需求导入进来，中国厂商由于拥有更贴近于自身的新能源主机厂和造车新势力，因此也具备了更多的优势。”——南京隼眼电子科技有限公司CTO张慧博士什么是“4D”？根据产业链调研，2020年起国内外已正式进入L3级自动驾驶阶段，2021年后将呈现加速状态，自动驾驶的冗余度和容错性特性，要求越是高阶的自动驾驶需要越多的传感器。细分市场也越来越发达并且有不同的用例，对市场提出了不同的半导体解决方案需求。作为ADAS核心的传感器之一，近年来毫米波雷达逐渐从3D演进到了4D成像。那么什么是4D呢？简单来说就是Range（距离）、Velocity （速度）、Azimuth （水平角度）、Elevation （俯仰角度）。传统雷达输出3个维度的信息，分别是方位角、速度和距离。后两者通过FFT取得，前者是利用多个天线的相位差信息获得。传统雷达没有俯仰角天线通道，只有方位角天线通道，自然就没有俯仰角信息。解决办法有几种，通常是增加俯仰通道，但是在总通道数不变的情况下，意味着水平方位角精度的降低，毕竟水平方位角才是主要信息。要增加总通道数，成本增加还是小事，运算量会大幅度增加数倍乃至几十倍。目前车载4D毫米波雷达常用的工作机制，则是连续波雷达中的调频连续波雷达（FMCW），它能够以更低功耗、更大带宽的方式，向外连续地发射电磁波，从而实现测量目标的距离和速度信息。而根据输入输出天线阵列数目的不同，FMCW雷达可以分为单输入多输出(SIMO)雷达和多输入多输出(MIMO)雷达。对车载毫米波雷达系统而言，SIMO雷达早已在3D毫米波雷达中广泛应用，而MIMO雷达概念则是在2003年由Bliss和Forsythe首次提出，其是车载4D毫米波雷达发展的关键技术理论之一。为了解决传统毫米波雷达角分辨率低、点云密度低的问题，当下出现了四种4D毫米波雷达解决方案：基于传统CMOS雷达芯片，强调“软件定义的雷达”，主要厂家有傲酷、Mobileye等；将多发多收天线集成在一颗芯片，直接提供成像雷达芯片，比如Arbe、Vayyar等；最传统的，则是将标准雷达芯片进行多芯片级联，以增加天线数量，比如大陆、博世等一众公司；通过超材料研发新型雷达架构，代表厂家有Metawave等。2020年中期，汽车毫米波雷达市场占有率第一名德国大陆汽车推出全球第一个4D成像毫米波雷达，即ARS540，第一个使用ARS540的车型可能是宝马的电动车旗舰iX。这之后4D成像毫米波雷达概念风靡业界。ARS540是第一个具备能够真正测量目标高度的毫米波雷达，也就是其垂直分辨率Elevation比较高，达到2.3°，远高于德州仪器方案，毕竟大陆汽车是自己设计天线，拥有超过20年的经验，且MR3003也确实比较强。为什么各大厂商纷纷转向4D雷达？近年来，国际上涌现出一批专注于4D成像毫米波雷达方案的创新公司，除了本文提到的Arbe、Vayyar，还有Unhder、MetaWave、EchoDyne、Ainstein等一批企业，已经形成了较强的技术积累。同时，一批新的产品设计公司也不断基于现有方案进行创新，如美国傲酷推出的Eagle就采用了软件算法加载的方式，实现更高的分辨率；国内华为推出的4D成像毫米波雷达也是基于现有方案获得更高的分辨率。而博世、日本电装、采埃孚、日本电产艾莱希斯、Smartmicro等老牌雷达企业也在加紧对4D成像毫米波雷达的推进进度。华域汽车于2021年表示已完成4D成像毫米波雷达产品的自主研发，计划于当年第四季度实现量产。此外，还有不少新玩家涌入布局，如Mobileye在2022年CES展上推出了全套的传感器，当中就包括4D毫米波图像雷达；安智杰则于不久前发布了4D毫米波成像雷达；苏州毫米波在投资者互动中表示，4D点云成像雷达正在按计划研发调试中；楚航科技、纳瓦电子、森思泰克、木牛科技、几何伙伴、珠海上富电技等也在布局，但具体的量产时间尚未公布。2021年，4月18日华为发布毫米波雷达产品，探测距离达300m，属于中长距毫米波雷达。根据发布会成像效果视频显示，其针对特斯拉过往因“长尾场景”引致的意外如路边斜置静止车、下闸道等场景探测效果较好。华为发布高分辨率4D成像毫米波雷达，有望切入中长距毫米波雷达市场。小米集团2021年6月投资的纵目科技推出了“ZM-SDR1”4D毫米波雷达，兼顾低速泊车和高速行驶场景，输出可比拟激光雷达的致密点云信息，清晰勾勒出周边建筑物轮廓，从而实现基于雷达点云的高精度定位。2021年7月参与几何伙伴融资过程，公司与上汽集团合作，研发以4D毫米波成像雷达为主传感，辅之以可见光和红外成像多传感融合的感知系统，再通过感知、规划、决策、控制一体化软件模块与工具链，集成软硬件一体的自动驾驶系统软件。现如今，如果哪家毫米波雷达厂商说自己没有研发4D成像雷达，在一级市场的估值都要打个折扣。从技术上来讲，4D成像毫米波雷达是必然趋势，有能力做4D毫米波雷达的厂商基本都在做4D成像毫米波雷达。即便是博世这样的巨头，也在去年急忙推出了第五代至尊版毫米波雷达，试水4D赛道。为什么各大厂商迫不及待的转向4D成像雷达呢？在早期的ADAS中认为，毫米波雷达只要能感测到前方的车辆就可以了。但是随着路况的复杂提升，要去毫米波雷达也要能检测到行人、儿童，电动车、三轮车等非常规车辆的需求。对于毫米波雷达的感知范围也有提高，要求实现360°的环视感知，用到L3以上的辅助泊车功能。这些都对毫米波雷达芯片有了更高需求：更高的分辨率要求比如整车是装ACC的车子，它前面有两排车并排行驶，当这两台车距离较远时，就需要进行分辨，传统雷达可能分辨不出来，因为它受限于传统雷达的角度分辨能力的不足。这时候系统不知道它前面有东西，就可能会进行误减速和误加速，从而造成不好的影响。如果要分辨出前面300米的2台车，这时候角度的分辨度要达到1度以下，这是传统雷达或2片雷达目前很难做到的。传统毫米波雷达也有点云但是数量少，且没有俯仰信息，4D毫米波雷达增加了俯仰信息和更多的点云数据，“点云一多就可以勾勒出物体轮廓，便是成像”。物体分类要求在传统雷达里通常不会去提这个概念，因为传统雷达的点云密度比较稀疏，没有办法做到物体分类。所以传统雷达出来的目标都是稀疏的点。高度侦测要求当车前150米有一个6.5米高的红绿灯时，需要判断出这个红绿灯不是在地上，而是在空中，车辆是可以从红绿灯上面开过去的。这时需要的角分辨率约为2度，而这却是传统雷达很难达到的。能测高度的同时就可以不再过滤静态目标，因为窖井盖、减速带、立交桥、天桥、路边金属牌会导致雷达误动作，因此传统雷达都将静态目标过滤掉。如果能测量高度，就能提高目标检测的置信度，不再过滤静态目标。特斯拉之所以“抛弃”传统3D雷达（速度、距离和方位角），其中一个原因就是毫米波雷达的角分辨率性能瓶颈阻碍了多传感器的前融合效果。由于自动驾驶中，雷达要与周围的传感器，如摄像头等，去做互补。但是传统雷达没有办法做到真的互补。因为任务传感器和摄像机传感器可以输出目标的属性，即它可以辨认出人、车和其他物体，但传统雷达无法做到，所以万一高度自动驾驶车辆的任务传感器失效的话，就相当于系统已经缺失了这个资讯。因此当成像雷达可以分辨物体属性时，才能真正做到了两方面的互补。NXP 全球副总裁，ADAS产品线总经理Steffen Spannagel就认为，无法依靠单一的器件一统天下。“根据我们对市场的理解，没有一刀切的传感器，因为市场有很多细分，而且自动驾驶级别也不同，我们认为摄像头和雷达会共存，因为它们的优缺点互补性非常强。比较特殊的是激光雷达，恩智浦认为有很大的可能性成像雷达的解决方案是可以取代激光雷达的。成像雷达现在还位于发展的早期，我们相信未来它的性能可以大大提升，并在理想情况下最终能够取代激光雷达。” NXP 全球副总裁，ADAS产品线总经理Steffen Spannagel表示。早在2015年德国大陆汽车就预感到传统3D（即速度、距离和方位角，这是传统毫米波雷达提供的数据）毫米波雷达已经走到尽头，并于2016年开始研发ARS540。同样视觉起家的Mobileye也已经在部署4D成像雷达的研发，具有2304个虚拟通道（高于大陆、采埃孚的192个），计划于2025年量产。相比4D毫米波成像雷达，激光雷达则存在另外一个缺陷，容易受到雨雾等天气变化的影响。如果激光雷达在能见度只有0.1公里的大雾环境中操作时，它几乎没有办法进行侦测。如果激光雷达在大雨的环境中操作，侦测距离就衰减了50%左右。实测的成像雷达结果显示，就算遇到下雨天气，成像雷达的侦测范围还是可以到300米，这是成像雷达比激光雷达更适合做自动驾驶车传感器重要的原因。如果开自动驾驶模式在高速公路上走的时候，突然一阵大雨，自动驾驶功能就失效了，这是不可接受的。尽管激光雷达目前也被行业所看好，但成本巨高不下且量产门槛高是其目前暂且无法解决的痛点。从性能效果来说，4D成像毫米波雷达算是3D毫米波雷达的升级版，另一方面，从成本上看，4D成像毫米波雷达的成本也仅为激光雷达的10%-20%。4D毫米波雷达的价格在100－150美元之间，因此，4D毫米波雷达会在追求极致性价比，不能规模采用激光雷达，但又需要有激光雷达的部分优势功能如静止目标检测等的城市L3、AVP等场景下，迅速占据重要位置。4D雷达芯片玩家有哪些？从目前来看，4D毫米波雷达已进入小规模量产导入阶段。前期依然是国外公司占据主导，不过国内企业行动亦较为快速，未来可期。各大厂商军备竞赛背后，一定会是4D成像雷达的技术愈发成熟，搭载率向上攀升。据中金公司预计，至2025年中国车载4D成像雷达市场规模在悲观、中性、乐观情况下有望分别达到1．9、3．6、5．4亿美元，2022E－25ECAGR分别达到34％、64％、88％。据行业分析师预测，到2030年，L2+自动驾驶汽车可能将占汽车总产量的近50%。不过也有业内专家指出，以目前技术水平，成像雷达还需要加大研发力度。其中一个重要原因是，成像雷达仍处于成长阶段，其性能还无法满足需求，缺乏有足够优势的芯片支撑，特别是中国市场。目前汽车毫米波雷达行业主要有两种方式实现4D雷达量产（还有超材料技术的路径，但量产难度较大），一种是基于NXP、TI等传统雷达天线及芯片方案商提供的标准方案。一种是类似Arbe、Mobileye自研芯片。从公开信息看，目前可选芯片方案主要有TI、恩智浦、赛灵思、Arbe等少数几家。为了加快成像雷达的上车进度，各知名芯片企业已在加快研发力度：在传统毫米波雷达芯片领域，NXP和英飞凌几乎垄断了这个市场。但是在4D成像雷达市场，TI则成为了推动者。德州仪器于2016年曾推出基于CMOS工艺的高集成度77GHz毫米波雷达传感器AWR1642系列，欲打破恩智浦和英飞凌两家企业对传统毫米波雷达芯片的垄断格局，但事与愿违。在洞悉到毫米波雷达要获得更高角分辨率，就要增加天线数量这一需求后，德州仪器于2018年推出基于AWR2243FMCW（调频连续波）单芯片收发器的4片级联4D毫米波雷达全套设计方案。包括最难搞的天线也考虑在内，内嵌4-elementseries-fedpatch天线。算法部分则提供MATLABMIMO和beamforming两种选择，就像交钥匙工程，一下拉低了4D成像毫米波雷达的技术门槛。历经AWR1642、AWR2243两代产品后，TI已站稳了成像雷达的脚跟。除德国大陆汽车，中国乃至全球大部分的4D成像毫米波雷达基本都是基于TI的级联方案，有追求低成本的2片级联，有追求性能的4片级联。还有家以色列的初创公司Vayyar自己开发关键的收发器芯片，华为的12发24收4D成像毫米波雷达似乎是采用自己做的芯片，应该是4片3发6收的收发器级联而成，但也有说法可能是德州仪器的AWR1642六片级联而成。2020年底，NXP宣布推出新的TEF82xx单芯片方案，采用16nmFinFET和40nmRFCMOS技术，支持76-81GHz频段，可用带宽高达4GHz。一个6位相位旋转器，支持调制MIMO和波束转向。2022年初，全球知名毫米波雷达芯片提供商恩智浦在CES上宣布S32R45成像雷达芯片量产，同时推出了S32R41新产品。S32R41处理器的推出为业界带来了首款专为L2+自动驾驶应用量身定制的16nm雷达处理器。S32R294采用NXP的z系列处理器内核，实时Z4内核同步运行，而双Z7处理器用于处理应用程序。整体性能是此前S32R274SoC的两倍，包括支持CSE3安全模块设计的OTA更新，可用于处理最多两颗TEF82xx芯片。而S32R45则标志着恩智浦向Arm平台的迁移，SoC具有多个同步运行的Cortex-M7以及一对Cortex-A53应用内核，也支持锁步机制。S32R45雷达处理器是恩智浦第6代汽车雷达芯片组系列中的旗舰产品。它有助于实现更高级别自动驾驶，支持L2+级到要求苛刻的L5级用例，其中每辆汽车可能需要十个以上的成像雷达传感器。该处理器还能够满足运输、交通管理和其他需要可靠的高分辨率感测的工业应用需求。作为业界首款专用16nm成像雷达处理器，恩智浦S32R45已经投入量产，并将于2022年上半年开始首次用于客户量产。此外，恩智浦还推出了新的雷达处理器S32R41，可将4D成像雷达的优势延伸到更多的汽车。这两款处理器可满足L2+级至L5级的自动驾驶需求，用于构建4D成像雷达，实现360度环绕感知。德国大陆则采用FPGA来作为4D雷达的芯片方案。德国大陆在2016年开始研发4D成像毫米波雷达时，选用的芯片方案为恩智浦的S32R274，但该芯片无法让雷达小型化，最后选用赛灵思的ZynqUltraScale+RFSoC系列FPGA。该芯片方案发布于2019年2月21日，专为射频领域设计，第二、三代ZynqUltraScale+RFSoC具有更高的射频性能及更强的可扩展能力，分别最高支持到5GHz和6GHz，从而满足新—代5G部署的关键需求。同时，还可支持针对采样率高达5GS/S的14位模数转换器（ADC）和10GS/S的14位数模转换器（DAC）进行直接RF采样，二者的模拟带宽均高达6GHz。除了上述厂家，包括以色列的Arbe、Vayyar都在自研4D成像雷达的处理芯片。值得一提的还有英飞凌。英飞凌虽然坐拥全球2/3车用77GHz雷达芯片市场，但在4D成像毫米波雷达芯片方面进展缓慢。2020年初，英飞凌宣布与美国傲酷合作，进入车规级成像雷达市场；同年7月，在英飞凌汽车电子开发者大会上，英飞凌继续表示，下一步会推出点云成像毫米波雷达芯片。截至目前，国内企业仍需高度依赖国际芯片公司，随着森思泰克、加特兰、岸达科技、清能华波、微度芯创、矽杰微电子、晟德微集成电路等本土企业的成长，未来4D雷达的普及速度或将进一步加快。

4D毫米波雷达应势而生，增加了对目标高度维度数据的探测和解析，实现了距离、方位、高度以及速度四个维度的信息感知，可以有效地解析目标的轮廓、类别等等，并具备高角分辨率，完美弥补了传统毫米波雷达的短板。“在我看来，毫米波雷达在发展的过程中一旦涉及到成像，则会有大量的深度学习、人工智能的算法和需求导入进来，中国厂商由于拥有更贴近于自身的新能源主机厂和造车新势力，因此也具备了更多的优势。”——南京隼眼电子科技有限公司CTO张慧博士什么是“4D”？根据产业链调研，2020年起国内外已正式进入L3级自动驾驶阶段，2021年后将呈现加速状态，自动驾驶的冗余度和容错性特性，要求越是高阶的自动驾驶需要越多的传感器。细分市场也越来越发达并且有不同的用例，对市场提出了不同的半导体解决方案需求。作为ADAS核心的传感器之一，近年来毫米波雷达逐渐从3D演进到了4D成像。那么什么是4D呢？简单来说就是Range（距离）、Velocity （速度）、Azimuth （水平角度）、Elevation （俯仰角度）。传统雷达输出3个维度的信息，分别是方位角、速度和距离。后两者通过FFT取得，前者是利用多个天线的相位差信息获得。传统雷达没有俯仰角天线通道，只有方位角天线通道，自然就没有俯仰角信息。解决办法有几种，通常是增加俯仰通道，但是在总通道数不变的情况下，意味着水平方位角精度的降低，毕竟水平方位角才是主要信息。要增加总通道数，成本增加还是小事，运算量会大幅度增加数倍乃至几十倍。目前车载4D毫米波雷达常用的工作机制，则是连续波雷达中的调频连续波雷达（FMCW），它能够以更低功耗、更大带宽的方式，向外连续地发射电磁波，从而实现测量目标的距离和速度信息。而根据输入输出天线阵列数目的不同，FMCW雷达可以分为单输入多输出(SIMO)雷达和多输入多输出(MIMO)雷达。对车载毫米波雷达系统而言，SIMO雷达早已在3D毫米波雷达中广泛应用，而MIMO雷达概念则是在2003年由Bliss和Forsythe首次提出，其是车载4D毫米波雷达发展的关键技术理论之一。为了解决传统毫米波雷达角分辨率低、点云密度低的问题，当下出现了四种4D毫米波雷达解决方案：基于传统CMOS雷达芯片，强调“软件定义的雷达”，主要厂家有傲酷、Mobileye等；将多发多收天线集成在一颗芯片，直接提供成像雷达芯片，比如Arbe、Vayyar等；最传统的，则是将标准雷达芯片进行多芯片级联，以增加天线数量，比如大陆、博世等一众公司；通过超材料研发新型雷达架构，代表厂家有Metawave等。第一个使用ARS540的车型是宝马的电动车旗舰iX2020年中期，汽车毫米波雷达市场占有率第一名德国大陆汽车推出全球第一个4D成像毫米波雷达，即ARS540，第一个使用ARS540的车型可能是宝马的电动车旗舰iX。这之后4D成像毫米波雷达概念风靡业界。ARS540是第一个具备能够真正测量目标高度的毫米波雷达，也就是其垂直分辨率Elevation比较高，达到2.3°，远高于德州仪器方案，毕竟大陆汽车是自己设计天线，拥有超过20年的经验，且MR3003也确实比较强。为什么各大厂商纷纷转向4D雷达？近年来，国际上涌现出一批专注于4D成像毫米波雷达方案的创新公司，除了本文提到的Arbe、Vayyar，还有Unhder、MetaWave、EchoDyne、Ainstein等一批企业，已经形成了较强的技术积累。同时，一批新的产品设计公司也不断基于现有方案进行创新，如美国傲酷推出的Eagle就采用了软件算法加载的方式，实现更高的分辨率；国内华为推出的4D成像毫米波雷达也是基于现有方案获得更高的分辨率。而博世、日本电装、采埃孚、日本电产艾莱希斯、Smartmicro等老牌雷达企业也在加紧对4D成像毫米波雷达的推进进度。华域汽车于2021年表示已完成4D成像毫米波雷达产品的自主研发，计划于当年第四季度实现量产。此外，还有不少新玩家涌入布局，如Mobileye在2022年CES展上推出了全套的传感器，当中就包括4D毫米波图像雷达；安智杰则于不久前发布了4D毫米波成像雷达；苏州毫米波在投资者互动中表示，4D点云成像雷达正在按计划研发调试中；楚航科技、纳瓦电子、森思泰克、木牛科技、几何伙伴、珠海上富电技等也在布局，但具体的量产时间尚未公布。2021年，4月18日华为发布毫米波雷达产品，探测距离达300m，属于中长距毫米波雷达。根据发布会成像效果视频显示，其针对特斯拉过往因“长尾场景”引致的意外如路边斜置静止车、下闸道等场景探测效果较好。华为发布高分辨率4D成像毫米波雷达，有望切入中长距毫米波雷达市场。华为高分辨4D成像雷达发布来源：华为小米集团2021年6月投资的纵目科技推出了“ZM-SDR1”4D毫米波雷达，兼顾低速泊车和高速行驶场景，输出可比拟激光雷达的致密点云信息，清晰勾勒出周边建筑物轮廓，从而实现基于雷达点云的高精度定位。2021年7月参与几何伙伴融资过程，公司与上汽集团合作，研发以4D毫米波成像雷达为主传感，辅之以可见光和红外成像多传感融合的感知系统，再通过感知、规划、决策、控制一体化软件模块与工具链，集成软硬件一体的自动驾驶系统软件。纵目科技4D毫米波雷达来源：纵目科技现如今，如果哪家毫米波雷达厂商说自己没有研发4D成像雷达，在一级市场的估值都要打个折扣。从技术上来讲，4D成像毫米波雷达是必然趋势，有能力做4D毫米波雷达的厂商基本都在做4D成像毫米波雷达。即便是博世这样的巨头，也在去年急忙推出了第五代至尊版毫米波雷达，试水4D赛道。为什么各大厂商迫不及待的转向4D成像雷达呢？在早期的ADAS中认为，毫米波雷达只要能感测到前方的车辆就可以了。但是随着路况的复杂提升，要去毫米波雷达也要能检测到行人、儿童，电动车、三轮车等非常规车辆的需求。对于毫米波雷达的感知范围也有提高，要求实现360°的环视感知，用到L3以上的辅助泊车功能。这些都对毫米波雷达芯片有了更高需求：更高的分辨率要求比如整车是装ACC的车子，它前面有两排车并排行驶，当这两台车距离较远时，就需要进行分辨，传统雷达可能分辨不出来，因为它受限于传统雷达的角度分辨能力的不足。这时候系统不知道它前面有东西，就可能会进行误减速和误加速，从而造成不好的影响。如果要分辨出前面300米的2台车，这时候角度的分辨度要达到1度以下，这是传统雷达或2片雷达目前很难做到的。传统毫米波雷达也有点云但是数量少，且没有俯仰信息，4D毫米波雷达增加了俯仰信息和更多的点云数据，“点云一多就可以勾勒出物体轮廓，便是成像”。物体分类要求在传统雷达里通常不会去提这个概念，因为传统雷达的点云密度比较稀疏，没有办法做到物体分类。所以传统雷达出来的目标都是稀疏的点。高度侦测要求当车前150米有一个6.5米高的红绿灯时，需要判断出这个红绿灯不是在地上，而是在空中，车辆是可以从红绿灯上面开过去的。这时需要的角分辨率约为2度，而这却是传统雷达很难达到的。能测高度的同时就可以不再过滤静态目标，因为窖井盖、减速带、立交桥、天桥、路边金属牌会导致雷达误动作，因此传统雷达都将静态目标过滤掉。如果能测量高度，就能提高目标检测的置信度，不再过滤静态目标。特斯拉之所以“抛弃”传统3D雷达（速度、距离和方位角），其中一个原因就是毫米波雷达的角分辨率性能瓶颈阻碍了多传感器的前融合效果。由于自动驾驶中，雷达要与周围的传感器，如摄像头等，去做互补。但是传统雷达没有办法做到真的互补。因为任务传感器和摄像机传感器可以输出目标的属性，即它可以辨认出人、车和其他物体，但传统雷达无法做到，所以万一高度自动驾驶车辆的任务传感器失效的话，就相当于系统已经缺失了这个资讯。因此当成像雷达可以分辨物体属性时，才能真正做到了两方面的互补。NXP 全球副总裁，ADAS产品线总经理Steffen Spannagel就认为，无法依靠单一的器件一统天下。“根据我们对市场的理解，没有一刀切的传感器，因为市场有很多细分，而且自动驾驶级别也不同，我们认为摄像头和雷达会共存，因为它们的优缺点互补性非常强。比较特殊的是激光雷达，恩智浦认为有很大的可能性成像雷达的解决方案是可以取代激光雷达的。成像雷达现在还位于发展的早期，我们相信未来它的性能可以大大提升，并在理想情况下最终能够取代激光雷达。” NXP 全球副总裁，ADAS产品线总经理Steffen Spannagel表示。早在2015年德国大陆汽车就预感到传统3D（即速度、距离和方位角，这是传统毫米波雷达提供的数据）毫米波雷达已经走到尽头，并于2016年开始研发ARS540。同样视觉起家的Mobileye也已经在部署4D成像雷达的研发，具有2304个虚拟通道（高于大陆、采埃孚的192个），计划于2025年量产。相比4D毫米波成像雷达，激光雷达则存在另外一个缺陷，容易受到雨雾等天气变化的影响。如果激光雷达在能见度只有0.1公里的大雾环境中操作时，它几乎没有办法进行侦测。如果激光雷达在大雨的环境中操作，侦测距离就衰减了50%左右。实测的成像雷达结果显示，就算遇到下雨天气，成像雷达的侦测范围还是可以到300米，这是成像雷达比激光雷达更适合做自动驾驶车传感器重要的原因。如果开自动驾驶模式在高速公路上走的时候，突然一阵大雨，自动驾驶功能就失效了，这是不可接受的。尽管激光雷达目前也被行业所看好，但成本巨高不下且量产门槛高是其目前暂且无法解决的痛点。从性能效果来说，4D成像毫米波雷达算是3D毫米波雷达的升级版，另一方面，从成本上看，4D成像毫米波雷达的成本也仅为激光雷达的10%-20%。4D毫米波雷达的价格在100－150美元之间，因此，4D毫米波雷达会在追求极致性价比，不能规模采用激光雷达，但又需要有激光雷达的部分优势功能如静止目标检测等的城市L3、AVP等场景下，迅速占据重要位置。4D雷达芯片玩家有哪些？从目前来看，4D毫米波雷达已进入小规模量产导入阶段。前期依然是国外公司占据主导，不过国内企业行动亦较为快速，未来可期。各大厂商军备竞赛背后，一定会是4D成像雷达的技术愈发成熟，搭载率向上攀升。据中金公司预计，至2025年中国车载4D成像雷达市场规模在悲观、中性、乐观情况下有望分别达到1．9、3．6、5．4亿美元，2022E－25ECAGR分别达到34％、64％、88％。据行业分析师预测，到2030年，L2+自动驾驶汽车可能将占汽车总产量的近50%。不过也有业内专家指出，以目前技术水平，成像雷达还需要加大研发力度。其中一个重要原因是，成像雷达仍处于成长阶段，其性能还无法满足需求，缺乏有足够优势的芯片支撑，特别是中国市场。目前汽车毫米波雷达行业主要有两种方式实现4D雷达量产（还有超材料技术的路径，但量产难度较大），一种是基于NXP、TI等传统雷达天线及芯片方案商提供的标准方案。一种是类似Arbe、Mobileye自研芯片。从公开信息看，目前可选芯片方案主要有TI、恩智浦、赛灵思、Arbe等少数几家。为了加快成像雷达的上车进度，各知名芯片企业已在加快研发力度：在传统毫米波雷达芯片领域，NXP和英飞凌几乎垄断了这个市场。但是在4D成像雷达市场，TI则成为了推动者。德州仪器于2016年曾推出基于CMOS工艺的高集成度77GHz毫米波雷达传感器AWR1642系列，欲打破恩智浦和英飞凌两家企业对传统毫米波雷达芯片的垄断格局，但事与愿违。在洞悉到毫米波雷达要获得更高角分辨率，就要增加天线数量这一需求后，德州仪器于2018年推出基于AWR2243FMCW（调频连续波）单芯片收发器的4片级联4D毫米波雷达全套设计方案。包括最难搞的天线也考虑在内，内嵌4-elementseries-fedpatch天线。算法部分则提供MATLABMIMO和beamforming两种选择，就像交钥匙工程，一下拉低了4D成像毫米波雷达的技术门槛。历经AWR1642、AWR2243两代产品后，TI已站稳了成像雷达的脚跟。除德国大陆汽车，中国乃至全球大部分的4D成像毫米波雷达基本都是基于TI的级联方案，有追求低成本的2片级联，有追求性能的4片级联。还有家以色列的初创公司Vayyar自己开发关键的收发器芯片，华为的12发24收4D成像毫米波雷达似乎是采用自己做的芯片，应该是4片3发6收的收发器级联而成，但也有说法可能是德州仪器的AWR1642六片级联而成。2020年底，NXP宣布推出新的TEF82xx单芯片方案，采用16nmFinFET和40nmRFCMOS技术，支持76-81GHz频段，可用带宽高达4GHz。一个6位相位旋转器，支持调制MIMO和波束转向。2022年初，全球知名毫米波雷达芯片提供商恩智浦在CES上宣布S32R45成像雷达芯片量产，同时推出了S32R41新产品。S32R41处理器的推出为业界带来了首款专为L2+自动驾驶应用量身定制的16nm雷达处理器。S32R294采用NXP的z系列处理器内核，实时Z4内核同步运行，而双Z7处理器用于处理应用程序。整体性能是此前S32R274SoC的两倍，包括支持CSE3安全模块设计的OTA更新，可用于处理最多两颗TEF82xx芯片。而S32R45则标志着恩智浦向Arm平台的迁移，SoC具有多个同步运行的Cortex-M7以及一对Cortex-A53应用内核，也支持锁步机制。S32R45雷达处理器是恩智浦第6代汽车雷达芯片组系列中的旗舰产品。它有助于实现更高级别自动驾驶，支持L2+级到要求苛刻的L5级用例，其中每辆汽车可能需要十个以上的成像雷达传感器。该处理器还能够满足运输、交通管理和其他需要可靠的高分辨率感测的工业应用需求。作为业界首款专用16nm成像雷达处理器，恩智浦S32R45已经投入量产，并将于2022年上半年开始首次用于客户量产。此外，恩智浦还推出了新的雷达处理器S32R41，可将4D成像雷达的优势延伸到更多的汽车。这两款处理器可满足L2+级至L5级的自动驾驶需求，用于构建4D成像雷达，实现360度环绕感知。德国大陆则采用FPGA来作为4D雷达的芯片方案。德国大陆在2016年开始研发4D成像毫米波雷达时，选用的芯片方案为恩智浦的S32R274，但该芯片无法让雷达小型化，最后选用赛灵思的ZynqUltraScale+RFSoC系列FPGA。该芯片方案发布于2019年2月21日，专为射频领域设计，第二、三代ZynqUltraScale+RFSoC具有更高的射频性能及更强的可扩展能力，分别最高支持到5GHz和6GHz，从而满足新—代5G部署的关键需求。同时，还可支持针对采样率高达5GS/S的14位模数转换器（ADC）和10GS/S的14位数模转换器（DAC）进行直接RF采样，二者的模拟带宽均高达6GHz。除了上述厂家，包括以色列的Arbe、Vayyar都在自研4D成像雷达的处理芯片。值得一提的还有英飞凌。英飞凌虽然坐拥全球2/3车用77GHz雷达芯片市场，但在4D成像毫米波雷达芯片方面进展缓慢。2020年初，英飞凌宣布与美国傲酷合作，进入车规级成像雷达市场；同年7月，在英飞凌汽车电子开发者大会上，英飞凌继续表示，下一步会推出点云成像毫米波雷达芯片。截至目前，国内企业仍需高度依赖国际芯片公司，随着森思泰克、加特兰、岸达科技、清能华波、微度芯创、矽杰微电子、晟德微集成电路等本土企业的成长，未来4D雷达的普及速度或将进一步加快。