标题：自动驾驶软件测试技术研究综述作者：冯洋,夏志龙,郭安,陈振宇单位：南京大学计算机软件新技术国家重点实验室下载地址：http://www.cjig.cn/html/jig/2021/1/20210102.htm自动驾驶软件的测试技术是保证自动驾驶软件安全性的重要内容，保障自动驾驶软件运行稳定性与可靠性的测试技术逐渐成为学术界和产业界的研究重点。本文在广泛调研国内外文献的基础上，从自动驾驶软件系统和组件两个方面对自动驾驶软件测试技术进行了深入分析与梳理，并分析总结了数据驱动的自动驾驶软件测试当前和未来存在的调整方向。文章调研文献充分详实，是一篇比较好的综述。论文看点1、清晰梳理自动驾驶软件的架构特点及系统特征，讨论了面向自动驾驶系统的仿真测试，实景测试，以及面向组件的测试技术。2、在仿真方法方面，分析了软件仿真、半实体仿真、在环仿真等技术；在仿真对象方面，讨论了静态环境仿真、动态场景仿真、传感器仿真、车辆动力学仿真等。3、介绍了当前实景测试的进展与情况，重点分析了实景测试案例中的得失优劣。4、在面向自动驾驶软件组件的测试技术方面，重点讨论了当前数据驱动技术在感知组件，决策规划组件，以及控制组件测试方面的进展。

产业  售价3299元起，华为nova 8正式发布：120Hz屏幕加持下个月还能玩上90Hz的王者荣耀。2020/12/23 17:46原文链接马斯克：我曾准备1/10价格把特斯拉卖给苹果，库克甚至都不见我未曾设想的道路。2020/12/23 14:31原文链接国内的智能客服发展到哪一步了？这里有份追踪报告智能客服市场有多大？有哪些优秀玩家？这些玩家提供了哪些解决方案？解决了什么痛点？在这份报告中，我们进行了详细解读。2020/12/23 14:26原文链接专注AI框架与数据开源生态，这场技术工作坊邀你来看！技术干货+极客竞赛，满满都是AI。2020/12/23 13:19原文链接依图与中国电信签署战略合作，携手开创5G+AI融合发展时代12月22日，依图科技与中国电信集团有限公司（以下简称“中国电信”）签署战略合作协议。中国电信集团有限公司董事长、党组书记柯瑞文，中国电信集团有限公司董事、党组副书记邵广禄，依图科技创始人、CEO朱珑博士，联合创始人林晨曦等出席签约仪式。2020/12/23 13:16原文链接4小时干货分享 | 加入这场技术工作坊，一起解锁智能出行AI助力数字化智能出行。2020/12/23 13:15原文链接文远知行完成B1轮融资，宇通集团2亿美元战略投资中国领先的L4级自动驾驶出行公司文远知行WeRide今日宣布完成B1轮融资，宇通集团以2亿美元战略投资，成为迄今中国主机厂在无人驾驶领域的最大单笔投资。2020/12/23 12:17原文链接入门威斯康辛大学《机器学习导论》2020秋季课程完结，课件、视频资源已开放对于机器学习领域的初学者来说，这会是很好的入门课程。目前，课程的笔记、PPT 和视频正在陆续发布中。2020/12/23 14:34原文链接理论AI求解薛定谔方程，兼具准确度和计算效率，登上《自然-化学》柏林自由大学的几位科学家提出了一种新的深度学习波函数拟设方法，它可以获得电子薛定谔方程的近乎精确解。2020/12/23 14:18原文链接其他3299元起售！nova 8系列大升级，华为还带来这些新品3299买麒麟985，你可么？2020-12-23 17:20:04原文链接免费报名 |《MNN For Swift》移动端机器学习实战课程MNN for Swift 正式来啦！伴随着这个项目一同发布的，还有系列实践性教程 -《MNN x Swift 机器学习实战》。2020-12-23 15:50:26原文链接2D动画唇动合成，根据语音自动生成动画人物口型只需要输入一段语音，代码会自动生成与之相对的动画唇形，还是毫无违和感的那种，这是一个在GitHub上拥有501星的开源项目，叫做Rhubarb Lip Sync。2020-12-23 15:11:49原文链接L4级无人驾驶公司文远知行获宇通集团2亿美元战略投资双方已共同研发全无人驾驶小巴2020-12-23 14:04:01原文链接图灵奖得主Bengio的AI公司，都不得不「2折出售」了英伟达、英特尔和腾讯曾投资2020-12-23 13:06:32原文链接“永不落幕的数博会”2020系列活动——“大数据产业生态建设与发展高峰会”即将举办由国际大数据产业博览会组委会主办的“永不落幕的数博会”2020系列活动——“大数据产业生态建设与发展高峰会”将于12月25日在北京举行。2020-12-23 11:42:44原文链接快讯Google 要求 AI 研究科学家对敏感话题「保持正面态度」根据谷歌内部通讯和与相关研究人员的访谈显示，谷歌今年通过发起「敏感主题」审查来加强对内部科学家研究人员论文的控制，并至少在三起争议事件中要求作者在工作中避免对技术进行负面评价。根据解释该政策的内部网页显示，谷歌的新审查程序要求研究人员在寻求诸如面孔和情感分析以及种族，性别或政治归属的分类等主题之前，先咨询法律，政策和公共关系团队。（VentureBeat）2020-12-24 08:32原文链接Nuro 成为首家获美国加州车管局商用无人驾驶汽车许可证的公司Nuro 在宣布收购自动驾驶卡车初创公司 Ike 的消息数小时后，再透露新动向：Nuro 是首家获得美国加利福尼亚车管局商用许可的公司。与先前授予 Nuro 和其他公司的加州车管局无人驾驶测试许可不同，前者限制了自动驾驶汽车公司可收取的费用，部署商用许可证则使 Nuro 可以商用化其技术。一些专家预测，当前疫情将加速自动驾驶汽车的交付。自动驾驶汽车，厢式货车和卡车有望通过限制驾驶员的接触来最大程度地减少传播疾病的风险。对于短途货运尤其如此，因为对短途货运的需求在疫情暴发期间出现高峰。根据美国劳工统计局的数据，本地卡车运输的生产者价格指数从 7 月到 8 月跃升了 20.4％，最有可能的需求来源于从仓库和配送中心到电子商务中心和商店的短途配送需求。（VentureBeat）2020-12-24 08:31原文链接Nuro 收购自动驾驶卡车创企 Ike无人驾驶卡车创企 Ike 今天宣布已被美国硅谷专注于自动驾驶汽车运送货物的机器人公司 Nuro 收购，收购金额未公开。Ike 表示，其已经开始整合 55 名员工和相关技术，并且与 Nuro 联手将使其能够「加快实现雄心勃勃的使命，使自动驾驶汽车改善人们的生活。」IKE 在博客中写道：「我们的公司已经有很多共同点 - 共享的价值，互补的专业知识和具有相同 DNA 的技术。」「我们的团队一直紧密合作，现在是时候正式组队并加快我们的步伐了…… 经过多年努力实现自动驾驶汽车的承诺，我们希望 2021 年对于 Nuro 和整个世界来说都是重要的时刻。我们很高兴开始 IKE 旅程的下一章，并共同完成使命。」（VentureBeat）2020-12-24 08:31原文链接10 纳米工艺，创新性改进扩大英特尔制造能力为响应客户需求，英特尔在过去几年中将 14nm 和 10nm 的总制造能力提高了一倍。为此，该公司找到了创新的方法，可以通过提高产量的项目和对产能扩张的大量投资来在现有产能内提供更多的产出。「在过去的三年中，我们的晶圆产能翻了一番，这是一笔巨大的投资。我们将继续投资工厂产能，以确保能够满足客户不断增长的需求。」英特尔制造与运营高级副总裁兼总经理 Keyvan Esfarjani 说。该公司今年还加快了其新的 10nm 工艺的发展。英特尔目前在美国的俄勒冈州和亚利桑那州的工厂以及以色列的工厂大量生产 10nm 产品。（Intel）2020-12-24 08:29原文链接纽约，首个在学校暂禁止使用面部识别的州美国各州和部分城市已在政府和执法机构中禁止面部识别，但是现在该技术已扩展到课堂上。纽约州日前已暂时禁止在学校中使用面部识别和其他生物识别技术，直到 2022 年 7 月 1 日。纽约州或在研究该技术对于隐私和安全隐患后，官员方才批准使用面部识别和其他生物识别技术。福布斯报告指出，这是第一个禁止使用该技术的州。该州的信息技术办公室将与教育部门合作，在父母和老师的帮助下，明确定该技术如何影响学生的隐私和公民自由。该州同时也担忧数据使用问题，以及面部识别偏差可能会误识别妇女，儿童和有色人种。(Engadget)2020-12-24 08:29原文链接字节跳动招募人才 利用 AI 技术研发新药据外媒 techcrunch 消息，字节跳动 AI 实验室正在北京、上海、美国加州 Mountain View （山景城）招募人工智能和药物研发方面的人才。招聘通知中表示，“我们正在寻找合适的候选人加入我们的团队，在人工智能 AI 算法的支持下进行药物发现、制造的前沿研究。” 药物研发团队正在招募包括实习生在内的五个职位，均需要博士或者以上学位，专业为计算机科学、数学、计算生物学、计算化学等。应聘者将从事药物研发工作，如设计、验证、模拟。（TechCrunch）2020-12-24 08:29原文链接DeepMind「自然」新文介绍 AlphaZro「继任」MuZero，无规则条件下掌握围棋，象棋，将棋和Atari2016 年，DeepMind 推出 AlphaGo，这是第一个在围棋中击败人类的人工智能（AI）程序。两年后，它的继任者 - AlphaZero - 从零开始学习围棋，国际象棋和将棋。现在，在《自然》杂志的一篇论文中，DeepMind 详述 MuZero，这是在追求通用算法方面迈出的重要一步。由于 MuZero 能够在未知环境中计划获胜策略，因此无需掌握规则即可掌握围棋棋，将棋和 Atari 的知识。（DeepMind）2020-12-24 08:28原文链接实例分割方法 YolactEdge 可在小型边缘设备上以实时速度运行近日，一篇来自AWS及加利福利亚大学戴维斯分校的一篇论文引发社群关注，以下为研究概述：YolactEdge 是首种具有竞争性的实例分割方法，其可在小型边缘设备上以实时速度运行。具体而言，在 550x550 分辨率的图像上，带有 ResNet-101 主干的 YolactEdge 在 Jetson AGX Xavier 上的运行速度高达 30.8 FPS（在 RTX 2080 Ti 上的运行速度为 172.7 FPS）。2020-12-24 08:27原文链接Google 研究介绍新型简单架构 Informer 表现胜过 TransformerGoogle 研究近日新论文表示：Transformer 是现代自然语言处理模型的基础。在本文中，我们提出了 Informer，这是一种简单的体系结构，在包括遮罩语言模型，GLUE 和 SQuAD 在内的一系列任务上，其性能明显优于规范的 Transformer。从本质上讲，Informer 易于实现，并且需要最少的超参数调整。2020-12-24 08:27原文链接

华为核心网自动驾驶网络白皮书

本文总共10条资讯 其他麒麟9000锤苹果，超强拍照默秒全，三分钟看完mate40全系新品！华为Mate40系列来了！2020-10-23 00:42:22原文链接快讯Verizon 推出 AR 体验博物馆Verizon 今日宣布了两项旨在为「新规范」重塑博物馆展品的计划。前者提供了史密森尼博物馆中当前发现的人工制品的增强现实版本，而后者则着重于一场比赛，以想象新的数字工具和未来展览的体验。据了解，Verizon 的 AR 博物馆体验现已上市，用户只需使用智能手机的摄像头和网络浏览器即可访问数字版本的展览。在一个示例中，扫描 QR 码可访问史密森尼国家自然历史博物馆的毛茸茸的猛 mm 象。展览可以在任何空间中以完整比例或口袋大小显示，并配有音频旁白，浮动的信息标语牌以及相关 Web 内容的链接。（VentureBeat）2020-10-23 07:58原文链接Motional 在拉斯维加斯与 Lyft 一起恢复自动驾驶出租车服务由 Aptiv 和现代合资的无人驾驶汽车合资公司 Motional 今日宣布，自新冠疫情而暂停运营后，该公司将恢复与 Lyft 在拉斯维加斯的自动驾驶交通服务。乘客将从本周开始乘坐全新的 Motional 品牌的出租车，Motional 表示将优先考虑安全和防护措施，以保持机队卫生。（VentureBeat）2020-10-23 07:57原文链接特斯拉的「完全自动驾驶」测试版热议不断本周，特斯拉开始将「全自动驾驶」（FSD）更新推向特定的客户群。该软件使驾驶员能够使用 Autopilot 的许多高级驾驶员辅助功能本地非高速公路街道上的地图项仍处于测试阶段。因此，它在运行时需要不断监控。或者，就像特斯拉用介绍性语言警告时一样，「它可能会在更糟糕的时间做错事情」。目前已有用户在网络分享分享自己的试驾体验。（The Verge）2020-10-23 07:57原文链接农业初创公司 TeleSense 融资 1020 万美元TeleSense 是一家开发基于 AI 的软件和传感器以预测储存和运输中农作物质量的初创公司，已筹集了 1,020 万美元。该公司表示，这些资金将用于研发和扩大其团队。TeleSense 的平台旨在通过传感器收集农作物温度，湿度和用于分析数据并预测质量的 AI 算法的位置指标来防止此问题。这些传感器可通过蜂窝数据连接在任何地方工作，并监视固定存储单元以及运输中的存储单元，例如驳船，铁路车，地上堆，谷物袋，地堡，垃圾箱，仓库和板条箱。一个应用程序分析传入的信息并识别与霉菌，昆虫，水分和其他受损的存储条件有关的问题，并在检测到问题时通知利益相关者。（VentureBeat）2020-10-23 07:56原文链接CSAIL 研究团队使用机器学习翻译失传语言麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员最近语言翻译领域取得了重大进展：研究人员提出了一种新系统，该系统已被证明能够在无需了解其与其他语言之间的关系的高级知识下自动解密一种失传的语言。研究人员表明，他们的系统本身可以确定语言之间的关系，并用它来证实最近的学术研究，这表明伊比利亚语言实际上与巴斯克语无关。该小组的最终目标是使该系统能够仅使用几千个单词就可以解密数十年来躲避语言学家的语言。（MIT）2020-10-23 07:44原文链接IBM 和辉瑞声称 AI 可以 71％的准确性预测阿尔茨海默氏症的发作阿尔茨海默氏病始于模糊不清的现象，经常被误解为轻度记忆力丧失的迹象，然后是认知能力和生活质量的缓慢，逐渐严重下降。辉瑞公司和 IBM 研究人员声称已经开发出了一种机器学习技术，可以在症状发作数年之前预测出阿尔茨海默氏病。通过分析从临床口头测试中获得的少量语言数据样本，该团队表示，在针对一群认知健康的人群进行测试时，他们的方法达到了 71％的准确性。（VentureBeat）2020-10-23 07:43原文链接研究人员发现商业语音识别系统中的高错误率某些自动语音识别（ASR）系统的准确性可能比以前假定的要差。这是约翰·霍普金斯大学，波兰波兹南工业大学，弗罗茨瓦夫科技大学和初创公司 Avaya 的研究人员最近进行的一项研究的最高发现，该研究对内部创建的数据集上的商业语音识别模型进行了基准测试。共同作者声称，单词错误率（WER）（一种常见的语音识别性能指标）显着高于最佳报告结果，这可能表明自然语言处理（NLP）领域存在着更广泛的问题。研究人员们在来自 1595 个代理商和 1,261 个客户的 50 个呼叫中心对话的数据集上评估了几种 ASR 系统，这些对话时间长达 8.5 小时，其中语音时间为 2.2 小时。根据数据集，ASR 系统先前发布的错误率不会超过 15％，而下降到 2％。这与研究结果相反。在记录下来的有关金融，保险，电信和预订的电话交谈中进行了测试，合著者发现 WER 高达 23.31％。预订和电信通话费率最高，这可能是因为对话涉及特定的日期和时间，金钱，地点，产品和公司名称。但是 WER 在每个领域都高于 13.73％。论文传送门：https://bit.ly/35mMA97（VentureBeat）2020-10-23 07:42原文链接微软联合 MITER 发布框架可帮助抵御对抗性 AI 攻击微软，非营利性 MITER 公司以及包括 IBM，Nvidia，空客以及博世在内的 11 个组织今天发布了 Adversarial ML Threat Matrix，一个旨在帮助安全分析人员检测，响应和补救针对机器学习系统的威胁的以行业为中心的开放框架。微软表示，该公司与 MITER 合作建立了这一架构，该架构可以组织恶意参与者在颠覆机器学习模型中所采用的方法，从而加强对组织关键任务系统的监控策略。（VentureBeat）2020-10-23 07:41原文链接 

构筑开发者友好的产业共识加速自动驾驶网络部署网络自动化实践思考和展望关键词:网络智能化/人工智能AI/Acumos/AIOps/意图驱动网络/自动驾驶网络/应用驱动网络/网络自愈/边缘计算/5G/云边协同网络自动化并不是一个新命题,从网元协议处理的自动化(程控交换、IP路由自学习等)到运维管理自动化(自动业务发放、自动故障恢复等),再到应用SDN/NFV技术,实现网络自治和业务敏捷的网络整体自动化,其本身就是网络演进的核心内容。在即将结束的时候,本书将回顾网络自动化历史,并解释为何要花这么多篇幅来详细讲解ONAP。（注：楼主认为，网络自动驾驶实现最终选择的不一定是ONAP,但是肯定会有类似的思想在里面。所以这一系列笔记略去了许多实践环节。）1.经典网络自动化电信产业多年来一直在推动,效果并不理想。(1)一堆的网络自动化:在2004年之前产业呼唤Zero-Touch Provisioning (无人介入发放)网络,因为在那个时代,面向个人、家庭的电信连接业务供不应求,提升网络覆盖和发放效率,变现人口红利,成为运营商业务发展的关键。但由于运营商网络的建设、发放、维护存在专业(传输、接入、交换、数据等)分工,业务发放前,各专业根据业务规划或业务预测,用厂商EMS预部署和配置相应的网络资源,业务发放只是配置最后一公里(接入环路、终端),之后要将预部署的资源自动关联起来,打通一条通信链路。产业通用的实现方案是建设业务开通系统,调用各个厂商EMS北向,实现Zero-Touch Provisioning, 可形象比喻为“一维”的网络自动化,产业共识聚焦在跨厂商EMS北向的标准化和调用流程的统一，以及在TMF(电信网络管理论坛)中的一个产业组织内可闭环上。在此后的3到5年，基于TMF的产业共识，运营商普遍实现Zero- Touch provisioning网络自功化。(2)平面的网络自动化: 2009年之前运营商启动All IP网络的规模建设,对外提供基于IP链路的宽带接入、企业VPN、大客户专线、园区网等业务,内部也广泛应用于移动承载、DCN、IP骨干传输等场景。IP技术不仅应用在数据网络专业,也应用在传输、接入、交换等网络专业,给网络自动化带来新的挑战。一方面,由于IP网络链路跨专业、跨区域跨省、跨子网), IP网络链路的自动化部署、发放成为一个全网性的业务发放需求。另一方面,由于IP具有动态路由、丢包、时延等特点,需要实时可视化管理来保障SLA,在链路自动化开通的基础上增加可视化的IP链路监控和保障。因此ALL IP网络的自动化是"二维平面”的网络自动化。实时感知和可视化是IP网络自动化的基础,但由于IP路由技术是一种动态的链路技术,路由、带宽、丢包与时延都存在动态变化,需要多种组合技术、协议来感知和可视化IP网络,这给IP网络自动化技术实现带来了难度。除了IP技术的门槛较高外,还存在相关的技术和标准分布在多个产业组织(IETF、IEEE、TMF,MPLS论坛),以及产业未构筑IP网络自动化完整的共识体系等问题。因此除了部分运营商实现了集团管理的IP骨干平面的自动发放和可视化监控外, IP全网的自动化发放、可视化管理产业并未普遍实现。(3)立体的网络自动化: 2014年之前,产业普遍意识到网络自动化不能光靠OSS一代代来建设,因为网络本身专业多、软硬一体等特定的场景限制了自动化调度、控制的空间,因此将NFV虚拟化和SDN软件定义的网络技术引入到网络,才能结构化提升网络自动化。SDN技术能提供部分协议的集中控制,减少网络配置点。虚拟化技术实现软件与硬件的解耦,硬件相对更通用化,可预先、粗放式部署;软件资源池化,通过On-boarding、配置相关的VNF软件来提供网络业务。这两种技术给网络自动化带来新的操作空间,也对自动化系统或下一代OSS提出新的要求,如实现VNF建设(采购、上线)、安装(部署、发放)、运维(监控、排障、升级)、优化(扩容、缩容、退网)的全生命周期的自动化。在IP网络的平面自动化(自动发放、可视化管理)基础上增加了VNF生命周期的自动化管理,变成立体的网络自动化。这三种网络自动化,要求自动化的维度和范围不断增加,但本质有如下共同点：都是业务诉求驱动的网络自动化。业务跑在前面,要求网络能自动化地运维管理支持业务的发展和降低运营成本。网络本质是“被管理的对象”。由管理者(运营商人员,相当于司机)来理解意图,基于流程(相当于交通规则)来操作、管理网络。效率和成本是关键指标。关键指标包括单位人员维护的网元数量、网络业务开通时长、网络故障恢复时长等。这三种网络自动化实践都取得了不同程度的成果,但从商业结果来看,都不理想。OVUM分析报告显示,过去十年,信息通信行业的收入增长从来没有跑过OPEX的增长， OPEX在电信网络TCO (总体拥有成本)的占比从62%上升到75%,这意味着需要一种新型、领先于业务的网络自动化实践。2.新一代网络自动化对标OTT的自动化，实现自动驾驶网络成为产业共识。就在电信产业按照自己的节奏探索和实践网络自动化之时,后起之秀OTT在自动化运维上远远抛开了电信业。Google、 Facebook人均维护网络设备、服务器数量远超运营商。领先OTT的自动化实现、自动化“基因”或基础理念与电信运营商相比是有所区别的,深人分析发现有如下特点:自动化领先于业务。自动化目标往往不是一倍两倍的提升,要求的是十倍百倍的提升，自动化超前配置。结果导向的自动化。不管业务如何发展,设定维护人力的天花板(往往是压到最低)倒逼自动化方案要围绕结果,从架构、技术、人员素质、流程等角度综合考虑。DevOps网络维护模式。网络软件化,致使网络规划、部署、优化、故障处理等都主要由纯软件(VNF/CNF)进行调整,且各环节技术要求类似,因此类似SRE的DevOps网络维护模式出现（读者注：SRE 不仅仅是“写代码的运维工程师”。相反，SRE 是开发团队的成员，他们有着不同的技能，特别是在发布部署、配置管理、监控、指标等方面。）了,有软件背景的维护人员可自行调整网络的各种属性,从而实现了自动化需求闭环环节最短。积极应用新的软件技术。OTT本身处于IT产业,有广泛的软件技术生态和供应链,能快速引入各种新型软件技术。近年来,电信产业从家庭互联网、移动互联网,走向产业互联网、云互联网,主要从业者在充分分析、借鉴OTT自动化实践,探索过NetDevOps, AIOps等理念后,借鉴自动驾驶汽车分级定义，提出自动驾驶网络愿景。L0:手工运维,具备辅助监控能力,所有动态任务都依赖人执行。L1:辅助运维,系统基于已知规则重复性执行某一子任务,提高重复性工作的执行效率。L2:部分自治网络,系统可基于确定的外部环境,对特定单元实现闭环运维,降低对人员经验和技能的要求。L3:有条件自治网络,在L2的能力基础上,系统可以实时感知环境变化,在特定领域内基于外部环境动态优化调整,实现基于意图的闭环管理。L4:高度自治网络,在L3的能力基础上,系统能够在更复杂的跨域环境中,面向业务和客户体验驱动网络的预测性或主动性闭环管理,早于客户投诉解决问题,减少业务中断和客户影响,大幅提升客户满意度。L5:完全自治网络,这是电信网络发展的终极目标,系统具备跨多业务、跨领域的全生命周期的闭环自动化能力,真正实现无人驾驶。例如电信设备商华为发布了自动驾驶网络的白皮书。自动驾驶网络不是简单借鉴汽车自动驾驶的分级理念(L0-L5),其重新定义了网络自动化的愿景, “自动驾驶”是下一代网络根植于“基因”的本质能力。网络自动化先于业务。自动驾驶网络是使能业务、开发新商业场景、开发新市场、生成新业务的基础,用超前设计的自动化弹性架构来适应业务的多变性。网络不再是“被管理的对象”。自动驾驶网络能理解业务意图,能基于意图自动执行或优化网络行为,保障业务的连续运行和体验性,不需要等维护管理人员意识到需要网络调整才进行相关处理。关键指标。自动驾驶汽车不需要人工驾驶只是表象,本质是显著提升了汽车的共享度,停在车库的汽车显著减少,都在路上服务,这样就不需要每个家庭都配备汽车,节省了大量资源。自动驾驶网络的目标是提高单位网络上支持的业务种类、业务时长,把资源闲置降到最低,显著提升资源的共享和复用度,同时客户体验显著提高,就像自动驾驶汽车，除了更快捷、更安全外,汽车的利用率(复用率)也显著提升（可24h运行)。自动驾驶网络“跨越式”发展网络自动化,对设备厂商、OSS Vendor和运营商都提出了新的能力要求。3.呼唤新的产业协作方式构筑开发者友好的产业共识（架构、流程、接口),统一自动驾驶网络的工程语言。正如前面所说, 3种经典网络自动化的实践虽取得了不同程度收获但从商业结果来看,参与方都认为结果并不理想。从运营商来讲,虽然网络自动化部分提升了运维效率,但在新业务生成、上线方面改进不大, OSS系统和Vendor自动化实现架构差异大(烟囱),支持新业务生成、上线和基础运维,出新版本平均需要  12个月;其次引入新的厂商、新的技术时,运营商给到Vendors一个需求清单,到手后发现需求实现偏差大,还要做多轮PoC测试,同时若与现有系统集成和多厂商互通往往要修改代码,平均需要花费  10个月。从OSS Vendor角度来看,近10年来网络自动化OSS参与空间几乎每年以平均5%左右的速度缓慢增长（注:数据来源于Gartner的历年全球BSS和OSS空间预测报告)但OSS项目定制性强，几乎每个项目都需要定制,员工人数增长但利润率持续走低,一方面难吸引优秀的软件人才,另一方面资本和Startup公司对进入OSS领域兴趣不大。从设备厂商角度来看,一方面,运营商没有充分把网络设备自动化的能力运用起来，没有提升维护效率和客户体验。另一方面,网络设备上的创新引入运营商网络费时费力，大量老技术的设备在运营商现网替换难,设备厂商的新技术难以快速部署上线。而IT和消费电子领域新技术引入快、产品代期短,可不断提升终端用户的体验,扩展业务以接触更多用户。经典自动化时代,产业协作依赖标准组织(如IETF、ETSI等)和电信网络管理联盟(如TMF),标准组织聚焦的协议互通的标准化,提供了自动化愿景讨论平台和部分跨运营商互通接口标准。这种协作机制，有如下3个不足:开发者仍需要执行完整的自动化系统的设计、开发过程。标准组织和联盟的参与者主要不是网络自动化系统的设计、开发者,他们仅输出标准文档,即使TMF输出的eTOM流程、SID模型等文档,也达不到软件系统设计(概要设计、详细设计)的详细程度。标准转变成软件工程语言,理解偏差大。标准组织和联盟的输出是Paper文档,没有能提供一个自动化开发的框架,开发者可基于此框架启动设计工作和设计约束。每个人对文档的理解程度不同,会导致最终系统间互通、集成难,不得不“烟囱式"地建设系统。标准文档输出缺乏场景化,不足以指导网络自动化开发构筑。以TMF的eTOM流程为例,只提供了通用的FAB流程定义,各个组织参照实现时,会定制修改,流程的变动会带来接口的变动,导致基于标准接口的互操作难以实现。新一代的自动驾驶网络构筑,本质仍然是利用各种软、硬件技术,把复杂屏蔽在自动化系统内。软件工程实现难度大和产业协作的范围广,所以需要帮助开发者“事半功倍“地构筑“自动驾驶”的网络产业协作方式。关键输出和特点如下:统一面向开发者,基于软件工程实施语言、技术的“自动驾驶”网络架构或框架,以源代码、中间件、平台等形式提供给开发者。统一的软件工程语言描述的场景化的模型、流程,共享工具链,方便运营人员编排、组合,实现低门槛的二次开发,引入新Use Case不需要更新版本,减少定制化。软件工程语言描述的接口和标准,不仅提供文档,还提供可直接引用的代码及开发的SDK,调用者在软件工程实施过程中可快速遵从、自动化验证、灵活扩展相关接口和标准。生态友好的自动化应用Store, 自动化应用一次开发多处运行,产业可持续积累和共享。4.围绕框架和代码,快速迭代以ONAP为基础的Scale网络自动化,从Zero-Touch网络到自动驾驶网络如前所述, ONAP是第一个面向网络E2E自动化、基于代码的自动化平台框架,经过3个版本的构筑,架构稳定,积累了面向商用场景的Use Case,如CCVPN。网络VNF/PNF覆盖从Onboarding、部署、发放、分析到保障的全流程框架,中间大部分环节通过编排、调用链、策略触发等实现了初步的网络全生命周期Zero-Touch网络自动化,但面向自动驾驶网络仍有如下几方面的发展空间:从模型驱动到意图驱动。自动驾驶是典型的意图驱动,当前ONAP的模型驱动是基于业务和技术模型,现有E2E的机制还无法直接进行网络操作、业务意图的理解和匹配。从事件驱动运维到AIOps运维。ONAP基于Policy+DCAE实现了事件驱动的运维，当前Policy是基于人的经验开发的策略,取决于人的经验积累,而AIOps本质策略是基于海量数据挖掘和深度学习后生产的策略,这样ONAP随着自动化网络运行会不断产生新的策略,实现真正的智能化。从可靠的网络到可信的网络。ONAP考虑了网络的可靠性,但是ONAP系统自身的可信性尚未系统考虑。如何防御外部攻击、如何保护并管理的海量数据,以及如何保护用户隐私等,需要借鉴IT行业最新的成果,提升整个社区和行业对ONAP运行的信任度。从实时可视网络到Digital Twin网络。目前ONAP DCAE可采集网络的性能、事件、Log等实时数据,初步构筑了网络实时采集和可视化的框架,但主要面向维护、监控和优化场景。面向仿真模拟、主动预测时,数据的完整性、丰富度和呈现方式尚未达到Digital Twin网络的程度。5.展望网络自动化命题,从ITU-T在20世纪80年代提出电信管理网络(TMN, Telecommunication Management Network)开始,产业实践超过30年,期间的网络组网技术、OSS软件技术获得了广泛发展。运营商的业务丰富度不断影响人们的生活方式和工作方式,但是网络自动化构筑的产业协作效率一直没有大的变化。直到ONAP开源,第一次提供了一套基于代码的框架平台,网络自动化主要从业者(运营商、设备厂商、OSS厂商、第三方应用开发者等)可以基于一套软件工程语言,持续积累构筑自动化。ONAP经过3个版本构筑,面向网络全生命周期的自动化平台已经基本成熟,将逐步转向自动驾驶网络平台构筑。我们相信,基于ONAP平台,产业将最终实现自动驾驶网络。那时相对于现在,一定有如下几个明显的标志性变化:首先,网络自动化效率即人均维护网元数量将呈数十倍的提升, OPEX占收入比持续下降;其次, ONAP降低网络自动化的准入门槛,大量新公司的出现将吸引更多的优秀人才,应用大量新兴的软硬件技术,网络自动化生态圈持续扩大;再次,网络的自动化水平接近云自动化水平,不论是云网协同还是网随云动，自动化不降级,客户体验无差别;最后,网络自动化将超越网络管理维护,真正成为ICT新业务的使能者,支持海量的物联网、无处不在的云互联及产业互联网。读后感：囫囵吞枣式的读完了任旭东老师的《ONAP技术详解与应用实践》,收获良多，解开了很多关于网络自动化实现的困惑。“皮之不存，毛之焉附”。5G的SA马上就要商用了，云化的核心网到底能自动化到什么程度，很让人期待，且拭目以待。

知识图谱作为AI技术中的知识容器和孵化器，会对未来AI的发展起到关键性作用。过去，人机交互是人将就机器，人要学习机器的语言；未来，人直接提出需求就能获得结果，机器学习人的语言。知识图谱技术不是具体的技术，而是知识表示、抽取、存储、计算、应用等一系列技术的系统工程。随着知识图谱相关技术的发展，知识图谱会朝着自动化方向前进，将在越来越多的领域找到价值化应用场景，助力业务发展。——————————————【微话题活动】———————————————今天我们邀请到华为云内部专家Rico和大家讨论一下：【知识图谱技术及其在自动驾驶网络中的应用】活动时间2020年7月20日-2020年8月3日参与方式直接在本帖回复关于以下问题的理解或评论1、 你认为知识图谱有哪些高价值应用场景？2、 知识推理的技术形态有哪些？3、 你认为知识库应该存储哪些内容？4、 你认为哪些知识图谱自动化构建技术是关键？本期奖品A.回帖参与本次讨论，回复与话题相关的原创内容，即可获得精美鼠标垫1个（数量有限，先到先得)。B.华为云内部专家Rico评出3名优质评论奖，各送出华为云定制双肩包1个。（两样奖品不可同时获得，奖品于活动结束发放) 评奖标准回复话题数量和内容质量                                                                                                             优质评论奖3名                                                                                  参与奖

帖子链接   https://bbs.huaweicloud.com/forum/thread-49756-1-1.html

发文的版块名：更多产品——网络人工智能发文的标题名：#网络约AI，有你更精彩#自动驾驶网络对传统网络架构的创新帖子内容链接：https://bbs.huaweicloud.com/forum/thread-48759-1-1.html

rt

一、无人驾驶的规划问题又分路径规划、行为规划、运动规划a 路径规划：输入：定位信息、起点、终点、高精度地图输出：规划出一套符合导航的路径经典算法：A-star算法b行为规划输入：定位信息、交规信息、导航信息、障碍物信息、车辆状态信息输出：决策信息（跟车、保持、停车、超车等）c 运动规划输入：定位信息、导航信息、障碍物信息、行为决策信息、车辆状态信息输出：轨迹点（速度+位置）二、讨论如果您在无人驾驶规划方面有任何问题，写下您的问题，我们有专人来解答您的问题。现在，就请您将目光移动至右上角，发表您的第一个求助帖吧~

一、控制算法介绍目前无人驾驶用到的控制算法包括PID控制，模糊控制，LQR控制，MPC控制等等。横向控制当中，大多数企业会采取PID，模糊，或是LQR的控制算法。这篇文章对这三种算法做一个详细的介绍。 PID控制算法介绍比例积分微分控制，简称PID控制，是最早发展起来的控制策略之一，由于其算法简单、鲁棒性好和可靠性高，被广泛应用于工业过程控制，至今仍有90%左右的控制回路具有PID结构。 控制规律：各环节作用PID控制器各校正环节的作用如下：比例环节：即时成比例地反应控制系统的偏差信号e(t)，偏差一旦产生，控制器立即产生控制作用以减小误差。当偏差e=0时，控制作用也为0。因此，比例控制是基于偏差进行调节的，即有差调节。积分环节：能对误差进行记忆，主要用于消除静差，提高系统的无差度，积分作用的强弱取决于积分时间常数Ti，Ti越大，积分作用越弱，反之则越强。微分环节：能反映偏差信号的变化趋势(变化速率)，并能在偏差信号值变得太大之前，在系统中引入一个有效的早期修正信号，从而加快系统的动作速度，减小调节时间。从时间的角度讲，比例作用是针对系统当前误差进行控制，积分作用则针对系统误差的历史，而微分作用则反映了系统误差的变化趋势，这三者的组合是“过去、现在、未来”的完美结合 。 模糊控制算法介绍模糊控制算法是指用于控制变频器的电压和频率的算法，使电动机的升速时间得到控制，以避免升速过快对电动机使用寿命的影响以及升速过慢影响工作效率。模糊控制的关键在于论域、隶属度以及模糊级别的划分，这种控制方式尤其适用于多输入单输出的控制系统。模糊逻辑控制(Fuzzy Logic Control)简称模糊控制(Fuzzy Control)，是以模糊集合论、模糊语言变量和模糊逻辑推理为基础的一种计算机数字控制技术。1965年，美国的L.A.Zadeh创立了模糊集合论;1973年他给出了模糊逻辑控制的定义和相关的定理。1974年，英国的E.H.Mamdani首次根据模糊控制语句组成模糊控制器，并将它应用于锅炉和蒸汽机的控制，获得了实验室的成功。这一开拓性的工作标志着模糊控制论的诞生。模糊控制实质上是一种非线性控制，从属于智能控制的范畴。模糊控制的一大特点是既有系统化的理论，又有大量的实际应用背景。模糊控制的发展最初在西方遇到了较大的阻力;然而在东方尤其是日本，得到了迅速而广泛的推广应用。Lqr控制算法介绍Lqr是属于现代控制理论中的一种控制算法，其基于车辆动力学模型的特征，可以更好地完成车辆的实时性控制。目前已广泛应用于自动驾驶车辆的横向控制之中。一般来说，lqr控制算法是基于车辆的二自由度动力学模型：车辆模型的连续状态空间方程：其中，状态变量x的选择分别为横向偏差，横向偏差率，横摆角角度偏差，横摆角角度偏差率。控制量为u前轮偏角。选择合适的状态变量后得到四个矩阵如下：其中的参数，即为车辆动力学模型的参数。因此该控制算法是基于车辆动力学模型的算法。再对车辆模型的连续状态空间方程进行离散化，可以使其用于计算机的实际控制。离散化的方法有很多种，目前采用最多的为双线性变换。接着，定义目标函数其中Q为状态权重系数，R为控制量权重系数。当上述目标函数最小时就可以得到最优的状态反馈矩阵K。K的求解方式如下：矩阵P由里卡提方程求出：最终的系统最优前轮转角u(t):二、讨论如果您在无人驾驶控制方面有任何问题，写下您的问题，我们有专人来解答您的问题。现在，就请您将目光移动至右上角，发表您的第一个求助帖吧~

本次分享分为三部分：为什么需要多传感器融合？传感器融合的一些先决条件如何做传感器融合？为什么需要多传感器融合？首先，单一传感器在自动驾驶中，都有各自的挑战，所以先了解下常用的传感器的挑战是什么：1. Camera data照相机数据遇到的挑战：①  没有深度信息。② 视场角有限，以卡车的传感器配置来说，需要比较多的摄像头，这里用到了6个摄像头覆盖了270°的视场角。③ 摄像头受外界条件的影响也比较大，（上图右下方）这是当车行驶到桥下时，由于背光，且光线变化比较大，导致无法识别正前方的交通灯。2. Lidar data激光雷达数据的一个比较大的挑战是感知范围比较近，如右图所示，感知范围平均在 150m 左右，这取决于环境和障碍物的不同。激光雷达在角分辨度上远远不如照相机，如上图，有三条小狗在过马路，在照相机上可以清楚的看到，但是在激光雷达上，采集到的点是比较少的，这样的场景在每天复杂道路路测的时候会经常遇到。激光雷达对环境的敏感度也是比较大的，上图为 Pony 路测的时候经常遇到的虚拟噪点的 Case，在车经过建筑工地的时候，在图像上可以看到并没有任何的障碍物，但是在雷达上前面有很多的噪点，右边是雨天中的测试，车辆行驶中溅起来的水花，在激光雷达上都是有噪点的，如何去除这样的噪点，是我们经常面临的挑战。3. Radar data毫米波雷达，本身的一个挑战是没有高度信息，毫米波雷达能告诉你这个物体在哪个位置，但是不知道多高，这个 case 就是前面有一个比较高的指路牌，毫米波雷达知道这儿有个障碍物，但是不知道是悬空的。4. Why sensor fusion当看过了这些单一传感器在自动驾驶中面临的挑战，自然会想到，做多传感器融合，进行传感器之间的取长补短，来帮助整个感知系统效果的提升。这里的例子是，如何利用多传感器来提升感知的探测距离，当障碍物距离 150m 左右时，激光雷达的反射点已经比较少了，但是这时毫米波雷达和照相机还是比较稳定的。当障碍物驶出 200m 的范围，基本上没有任何的激光雷达反射点了，但是 200m 取决于自动驾驶车辆本身的车速是多少，200m 的感知距离还是必要的，这时只能通过毫米波雷达和摄像头，来提升对障碍物的感知距离，从图中可以看到障碍物还是可以稳定识别出来的。传感器融合的先决条件1. 运动补偿 & 时间同步① Ego motion为什么做运动补偿？在自动驾驶传感器感知过程中，传感器采集数据，一般都不是瞬时发生的，以激光雷达为例，采集一圈数据需要 0.1s，在这 0.1s 内，本身车会发生一定的位移，障碍物也会发生一定的位移，如果我们不考虑这样的位移的话，我们检测出来的位置就会不准确。位移有俩种，第一种就是车自身的位移 Ego motion。右边画了一个示意图，虚线部分可以认为是世界坐标系，红色的点代表一个静态的障碍物，它在坐标系中有一个稳定的坐标（5，5），蓝色部分代表车自己的坐标系是局部坐标系，（4，0）为这个坐标系的原点，在 t+1 时刻，这个坐标系移动到了（6，0）的位置，车沿着 X 方向向前移动了2，在 t 时刻在车自身的坐标系下，障碍物的坐标是（1，5），在 t+1 是时刻，则是（-1，5）。如果不做车自身运动的补偿，静止的物体在2帧之间，测量的局部坐标是不一样的，就会产生错误的速度，因此，要去补偿车本身的位移，做自身的 Motion compensation 运动补偿。这个问题比较简单，因为车是有比较准确的定位信息的，它会提供这俩个时刻，车本身的姿态差距，我们可以利用姿态差，比较容易的补偿车移动了多少，那我们就可以知道这个障碍物其实是没有移动的。② Motion from others第二种要考虑的是运动物体在传感器采集的时间段内，运动物体发生的位移，相对于自身运动补偿，这是一个更难的 case，首先快速移动的物体，在激光点云里很可能会被扫到俩次，大家可以看下红圈内，尾部会有拖影。所以我们如何想办法消除对方车的 Motion，也是要考虑的。解决的方式有很多，现在激光雷达本身从硬件上也会有些配置，来缓解这样的现象，简单解释下，当你用多个激光雷达在自动驾驶车辆时，可以让激光雷达按照同样的方式一起转，在某一个特定的时段，特定的方向，应该扫到同样的东西，这样来减少快速移动的物体产生拖影这样的问题。②   时间同步在很多自动驾驶车辆传感器中，大部分支持 GPS 时间戳的时间同步方法。这个方法比较简单，如果传感器硬件支持这些时间同步的方法，拿到传感器数据的时候，数据包中就会有全局的时间戳，这样的时间戳以 GPS 为基准，非常方便。但是，时间戳查询数据会有一个比较明显的问题，举个例子，图中有三个数据，三个传感器和时间轴，不同传感器是以不同频率来采集数据的，以传感器2为例，在 T1 时刻，传感器2有一个数据，在这个时刻，想知道对应的传感器1和传感器3的数据是多少，肯定需要去查找，查找的方式是找对应的传感器数据和传感器2时间差最近的数据包，然后拿过来用，这就取决于查的时候，数据包的时间和 T1 时刻传感器2数据包的时间到底差多少，如果差距比较大，本身障碍物都是在移动的，这样误差会比较大。然后就有了第二种时间同步的方法，来缓解刚刚说的这种现象。就是主动数据同步的方法，比如以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，触发那个角度的摄像头，这样就可以大大减少时间差的问题，如果把这套时间方案做到硬件中，做到比较低的误差，那么对齐的效果比较好。如上图所示，这时激光雷达的数据就很好的和摄像头的数据结合在了一起。刚才说到如果一个自动驾驶车辆用了多个激光雷达，激光雷达之间如何同步，减少扫到同样车在不同时间这样的问题，velodyne 是我们常用的一个品牌，支持一种 Phase Lock 功能，能够保证在某一时刻，所有的激光雷达的角度，都可以根据 Phase Lock 的配置，在固定的角度附近。这样如果用俩个前向的激光雷达都设置一个角度，在同一时刻，扫到的东西应该是类似的，这样一个快速行驶的车，被扫到2次的概率就会减少，当然这个办法也不能完全解决问题，比如有个人和我们的激光雷达以同样的频率一起转，那么在激光雷达扫描的点云中，人一直会出现，所以还要通过软件的方法，设置的一些规则或者模型来想办法剔除。2. 传感器标定接下来是另外一个比较大的话题：Sensor Calibration 传感器标定。这里主要是指传感器外参的标定。传感器外参其实就是刚体旋转，因为物体上的俩个点，在经过旋转和平移之后，两个点之间的 3D 位置是不会变的，所以叫刚体旋转，在自动驾驶和机器人上，刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转，可以把一个传感器的数据和另一个对齐。相当于把一个传感器测量的数据从其本身的坐标系，通过刚体旋转，转到另一个传感器坐标系，这样就可以进行数据融合了。上图中，左边为图像，中间为雷达，如果有一个比较好的外参工具，可以把 3D 的点投射到 2D 图像上，所有的障碍物的点都可以对应上，相当于把 2D 上的像素都加上了深度的估计。这样在图像质量并不是很高的情况下，可以通过这样的方式把信息补回来。传感器的标定一般有俩种思路，第一种是有激光雷达的传感器标定，第二种是无激光雷达的传感器标定，之所以这么分，是因为激光雷达采集的数据是完整的 3D 信息，空间中的 ( x，y，z ) 都是准确的，并不会有信息的丢失，而照相机得到的数据，可以认为是极坐标系下的坐标，没有深度和角度，而毫米波雷达是没有高度的。所以，如果有这样的传感器能够提供完全的 ( x，y，z ) 坐标，以此为参照物，其他传感器和激光雷达做绑定的话，会更容易和更准确。Pony 是有激光雷达的，所以今天主要讲有激光雷达的传感器标定方法。①   Multi-Lidar Calibration首先讲下多激光雷达是如何标定的，上图可以看到正好用到的是两个前向激光雷达，这两个激光雷达在前向180°是有比较大的覆盖区域，如果对激光雷达之间的旋转和平移没有比较好的估计，当把俩张激光雷达的点云放在一起进行感知处理的时候，在红框位置会发现存在比较大的分隔（黄线和蓝线分别代表俩个前向激光雷达），这种情况肯定是不想遇到的，所以需要把多个激光雷达做比较准确的标定。标定的方法是已知的，非常好解决的问题，因为激光雷达本身是有完全的3D信息，解决这样俩个数据集匹配的问题，就是 ICP（Iterative Closest Point）迭代式最近点方法。这个方法有很多的变种，感兴趣的同学可以百度或者 Google 搜索下。②   Camera Lidar Calibration另外一个就是照相机和激光雷达之间的标定。照相机本身是没有距离信息的，那么如何去做标定？同样激光雷达是有 3D 信息的，可以通过标定的方式，把激光雷达投到图像的坐标系中，建立图像的像素点，和激光雷达投影后的点之间的匹配，然后通过某种优化方程，来解决这样一个匹配问题。举一个简单的例子，比如现在要选取一系列激光雷达检测出来的候选点，如何选这些点呢？这些点一定是在图像上比较容易能够识别出来的边界点。选取方法也比较简单，因为激光雷达有距离信息，只需要找相邻俩个激光点之间的距离差，就可以判断这样一个点是不是边界点，我们可以轻易的选出这样的候选点，通过这样的投影方式，红框是我们要求的标定参数，K 矩阵为相机本身的内参，通过这个数学关系，我们可以把刚才 3D 中检测的候选点，投到 2D 上，上图中的 X 就是投射后的位置。我们可以根据 3D 投影点和 2D 检测的边界，进行匹配，然后根据他们之间的距离匹配程度，建立这样一个优化方程，然后解这样一个优化问题，来估计出 Calibration 的参数。大家如果感兴趣可以参考这篇 paper：Automatic Online Calibration of Cameras and Lasers，详细的讲述了其中的数值原理，可以看到绿色的是 3D 点投射到图像上，是一些边界点候选的区域，如果有一个比较好的标定结果，这些边界点会比较好的和图像匹配起来。3. 传感器视场角接下来看下传感器不同视场角带来的融合问题。这里有一个简单的示意图，假设在这个位置上有两个激光雷达，它们有各自不同的视场角，但是前方有个障碍物 A 刚好在传感器2的视场角内把障碍物 B 完全遮挡了，障碍物 B 只出现在一个传感器检测的视场角内部，这带来的问题是：我们到底该不该相信这里存在一个障碍物？这是比较常见的问题，需要我们经过不断的路测，来完善。如何做传感器融合？1. Camera Lidar Fusion首先讲下照相机和激光雷达融合，方法1之前大概讲过，就是说激光雷达有 ( x，y，z ) 比较明确的 3D 观测，通过标定参数，通过照相机本身的内参，就可以把 3D 点投到图像上，图像上的某些像素就会打上深度信息，然后可以做基于图像的分割或者 Deep Learning Model。需要注意的是，多传感器的时候，视场角可能会不一样，可能会造成噪点或者漏点，这里比较推荐的方法是把照相机和雷达安装在一起，越近越好。另一个比较直观的方法，是否能将 2D 检测出来的障碍物直接投影到 3D，然后生成这样的 3D 障碍物，这种方法，在做很多的假设条件下（比如障碍物的大小，地面是否平整），也是可以做的，如上图，相机的内参，车的位置高度，都是已知的，这时在 2D 上识别出的每个帧的障碍物，都可以还原成 3D 在照相机坐标系下的一条射线，然后找这条射线在 3D 坐标系下和平面的交点，就可以估计出 2D 障碍物在 3D 上的距离。上图为 Pony 在建筑工地旁采集的数据，可看到这些路障都是直接生成到 3D 的（图中有个漏点，也是我们还需要努力提高的）。2. Radar Lidar Fusion至于毫米波雷达和激光雷达的融合方式就更简单了。因为在笛卡尔坐标系下，它们都有完整的 ( x，y ) 方向的信息，那么在普适的笛卡尔坐标系下，做针对于距离的融合，而且毫米波雷达还会测速，对障碍物速度也是有一定观测的，然后激光雷达通过位置的追踪，也会得到障碍物速度的估计，这些速度的信息也可以用来做融合，帮助筛选错误的匹配候选集。这是 Pony 激光雷达和毫米波雷达融合的效果，红圈里的障碍物是 radar 补充的。当然，不同传感器之间融合的特例还是很多的，比如激光雷达和毫米波雷达融合的时候，可以看到，这个场景是前方有比较高的路牌时，毫米波雷达会在这个位置产生障碍物，恰好激光雷达也有噪音，因为恰好前方有车，这时在牌子底下也会产生噪点，所以激光雷达和毫米波雷达都在这个地方检测出来本不应该出现的障碍物，这时两个传感器都告诉你前方有个障碍物，只有摄像头说前方只有一个障碍物，这时该怎么办？总结总结来说，每个传感器都有自己的一些问题，传感器融合就是说我们要把这些传感器结合起来做取长补短，提升整个感知系统的精度和召回度，今天就分享到这里，谢谢大家。文章转载自公众号DataFunTalk