全部 高分子 智能汽车 陶瓷 消费电子 弹性体 生物降解 5G材料 光伏 医用材料 锂电 汽车材料 新消费电子 会议列表 展会 半导体 LED 氢能源 艾邦人才网
激光雷达与视觉融合感知在自动驾驶中的应用
2022年是智能驾驶由L2向L3/L4跨越的窗口期,越来越多的汽车厂商开始布局更高级别的智能驾驶量产,汽车智能化时代已悄然而至。


随着激光雷达硬件的技术提升,车规级量产和成本下行,高级别智能驾驶功能促进了激光雷达在乘用车领域的量产上车,多款搭载激光雷达的车型将在今年交付,2022年也被称为“激光雷达上车元年”。


图片


激光雷达是一种用于精准获取物体三维位置的传感器,本质上是激光探测和测距。凭借在目标轮廓测量、通用障碍物检出等方面所具有的极佳性能,正在成为L4自动驾驶的核心配置。
然而,激光雷达的测距范围(一般在200米左右,不同厂商的量产型号指标各异)导致感知范围远小于图像传感器。
又由于其角分辨率(一般为0.1°或0.2°)比较小,导致点云的分辨率远小于图像传感器,在远距离感知时,投射到目标物上的点可能及其稀疏,甚至无法成像。对于点云目标检测来说,算法真正能用的点云有效距离大约只有100米左右。


图片


图像传感器能以高帧率、高分辨率获取周围复杂信息,且价格便宜,可以部署多个不同FOV和分辨率的传感器,用于不同距离和范围的视觉感知,分辨率可以达到2K-4K。
但图像传感器是一种被动式传感器,深度感知不足,测距精度差,特别是在恶劣环境下完成感知任务的难度会大幅提升。
在面对强光、夜晚低照度、雨雪雾等天气和光线环境,智能驾驶对传感器的算法要求很高。激光雷达虽然对环境光线影响不敏感,但对于积水路面、玻璃墙面等,测距将收到很大影响。
可以看出,激光雷达和图像传感器各有优劣。大多数高级别智能驾驶乘用车选择将不同传感器进行融合使用,优势互补、冗余融合。
这样的融合感知方案也成为了高级别自动驾驶的关键技术之一。


图片


点云和图像的融合属于多传感器融合(Multi-Sensor Fusion,MSF)的技术领域,有传统的随机方法和深度学习方法,按照融合系统中信息处理的抽象程度,主要分为三个层次:


  • 数据层融合(Early Fusion


首先将传感器的观测数据融合,然后从融合的数据中提取特征进行识别。在3D目标检测中,PointPainting(CVPR20)采用这种方式,PointPainting方法先是对图像做语义分割,并将分割后的特征通过点到图像像素的矩阵映射到点云上,然后将这个“绘制点”的点云送到3D点云的检测器对目标Box进行回归。


图片


  • 特征层融合(Deep Fusion)


先从每种传感器提供的观测数据中提取各自然数据特征,对这些特征融合后进行识别。在基于深度学习的融合方法中,这种方式对点云和图像分支都各自采用特征提取器,对图像分支和点云分支的网络在前反馈的层次中逐语义级别融合,做到多尺度信息的语义融合。
基于深度学习的特征层融合方法,对于多个传感器之间的时空同步要求很高,一旦同步不好,直接影响特征融合的效果。同时,由于尺度和视角的差异,LiDAR和图像的特征融合很难达到1+1>2的效果。


图片


  • 决策层融合(Late Fusion)


相对前两种来说,是复杂度最低的一种融合方式。不在数据层或特征层融合,是一种目标级别的融合,不同传感器网络结构互不影响,可以独立训练和组合。
由于决策层融合的两类传感器和检测器相互独立,一旦某传感器发生故障,仍可进行传感器冗余处理,工程上鲁棒性更好。
图片


图片


针对目前车载激光雷达和图像传感器的特征,以及高速NOA、城市道路自动驾驶、自动泊车等应用场景,觉非的车端感知技术栈中采用了后融合为主的方式进行对点云和图像的融合
融合感知算法将视觉、点云和毫米波的原始数据进行融合计算,而后进行3D追踪,输出更加精准、完整的感知结果。同时借助高精地图和路端全局样本,对交通参与者的行为轨迹进行精准预测。


图片


觉非科技基于点云的融合感知算法架构


不仅是算法,觉非通过对于融合感知技术的深挖,也解决了在量产之中的许多工程问题:

  • 车端嵌入式异构算力平台的移植和优化

觉非自研多种点云和图像的深度学习算法,如稀疏点云卷积算法、单目尺寸还原算法等。同时对车载的嵌入式控制器平台进行了大量的性能优化加速,可使较大的模型部署在车端的嵌入式平台,实现精度更高的激光雷达+多路视觉的融合感知,形成量产的融合感知解决方案。


觉非科技点云与视觉融合感知-V2X端


图片
觉非科技点云与视觉融合感知-车端


  • 多传感器标定和时空同步技术


点云与图像的融合效果,高度依赖于高精度的传感器标定和时空同步。标定和时空同步也是上车量产中的重要一环。
觉非科技自研了基于高精地图的点云与图像传感器外参标定技术,同时依靠自研GNSS授时和传感器硬同步板卡,对激光雷达和图像传感器进行硬件同步,保证了融合算法需要的高精度时空同步。


  • 自动驾驶全栈融合计算解决方案


依托强大的融合感知技术能力,觉非已推出“全栈融合计算解决方案”。可针对不同场景和客户提供定制化的前装与后装定位算法、多传感器融合感知算法及动态交通信息服务,满足自动驾驶各个阶段的需求。
方案不但可为L2+提供以纯视觉为主的融合感知与融合定位服务,亦可整合高性能算力平台,并按照不同算力需求精细化部署融合感知、融合定位等服务。
目前,这套方案已应用于不同场景,包括车辆变道、长隧道、高架桥下,并已与多个主机厂达成合作,从精度、可靠性、成本等维度,为众多伙伴提供定制化、高规格、可量产落地的服务。



觉非科技LiDAR感知能力效果演示-高速公路场景

图片

觉非科技LiDAR感知能力效果演示-停车场


图片

觉非科技LiDAR感知能力效果演示-小区内道路


随着激光雷达与视觉融合感知技术的不断迭代,以及不断积累的知识场景与案例,觉非的全栈融合计算解决方案将会为自动驾驶带来更加安全与可靠的未来。


图片



文章来源:觉非科技JueFX



相关推荐
联合光电(300691):发力车载摄像头|毫米波雷达|激光雷达,切入智能驾驶领域
集微网消息,联合光电6月22日在互动平台表示,公司全资子公司联合汽车早期已开始布局智能驾驶领域,产品主要包含车载镜头和毫米波雷达(频段为76-81GHz),技术已相对成熟,且符合国家相关政策要求。目前,毫米波雷达产品主要客户是整车厂,并已凭借技术优势获得整车厂定点,定点企业为国内头部新势力企业;该领域现阶段正在展开洽谈合作的客户主要以国内企业为主。
0
0
38
蔚来搭载激光雷达SUV车型ES7惊艳亮相,激光雷达供应商Innovusion再下一城
​2022年6月15日,智能电动中大型SUV蔚来ES7全球首发。新款车型搭载蔚来智能系统Banyan·榕树,基于蔚来超感系统Aquila和超算平台Adam等打造而来,是蔚来首款搭载激光雷达的SUV车型。即日起于蔚来APP开放预订,预计2022年8月28日开启交付。
0
0
9
中国牵头成立 ISO 车载激光雷达工作组,禾赛专家担任组长
近日,由中国牵头、德国联合牵头的车载激光雷达ISO国际标准预研工作组(ISO/TC22/SC32/AHG1)1 启动会正式召开,该项目由禾赛科技的专家代表担任组长,来自中国、德国、法国、日本的近十位专家代表参加了启动会议。
0
0
8
激光雷达行业近期要闻:速腾聚创|集度汽车|炬光科技|Innoviz|Innovusion|东田微|亮道智能
激光雷达行业近期要闻:速腾聚创|集度汽车|炬光科技|Innoviz|Innovusion|东田微|亮道智能
0
0
14
速腾聚创与文远知行达成战略合作,推动自动驾驶技术规模化商业应用
2022年6月10日,全球领先的智能激光雷达系统科技企业RoboSense(速腾聚创)与全球领先的L4级自动驾驶科技公司文远知行WeRide宣布达成战略合作。
0
0
22
集度ROBO-01概念车正式发布,伸缩式激光雷达搭载方式会量产吗?
6月8日,集度汽车首场新品发布会ROBODAY正式举办,并发布了首款概念车型ROBO-01,承载了集度领先的设计和科技理念,并配备了双激光雷达方案,贯穿了“自由移动、自然交流、自我成长”三大产品理念。
0
0
12
东田微汽车激光雷达滤光片获IATF质量认证
新登陆创业板上市的湖北东田微科技股份有限公司5月31日宣布,湖北东田微东莞公司已正式获得ISO国际汽车工作组(IATF)16949:2016标准证书,标志着东莞工厂的激光雷达滤光片正式生产得到了许可及认证,目前生产激光雷达窄带滤光片包含905nm 、940nm、1550nm等规格。
0
0
11
RoboSense首次亮相LogiMAT,展示其领先的智能激光雷达传感器解决方案产品
​全球领先的智能激光雷达系统科技企业 RoboSense,于 2022 年 5 月 31 日至 6 月 2 日在德国斯图加特展览中心举办的 LogiMAT 2022 上展示其领先的智能激光雷达传感器解决方案产品。RS-Helios 和 RS-Bpearl 作为自动驾驶叉车 (AGV) 行业的明星产品,将在 2 号展厅/D39 展位展出。
0
0
15
亮道智能与Innoviz开展高层互访 战略合作稳步推进中
亮道智能与Innoviz分别在以色列特拉维夫和德国柏林就当前和未来合作事宜开展深入交流,这是双方自4月13日官宣战略合作后的首次高层互访。
0
0
9
补盲最佳选择?纯固态Flash激光雷达即将量产
Flash激光雷达即将落地,感知方案有望进一步完善。
0
0
13
4D成像雷达真的来了!成本仅为激光雷达1/10,明年搭载量或达100万颗
4D成像雷达真的来了!成本仅为激光雷达1/10,明年搭载量或达100万颗
0
0
15
阜时科技:激光雷达接收芯片产品介绍
今天给大家介绍一下激光雷达核心结构、以及激光雷达关键部件接收芯片
0
0
22
激光雷达公司Velodyne Lidar2022一季度营收620万美元
​5月6日,全球领先的激光雷达公司Velodyne Lidar宣布了其截至2022年3月31日的第一季度财务业绩。公司2022年第一季度收入为620万美元,交付账单达到1150万美元,2022年第二季度收入预计在950万至1200万美元,账单预计为1200万至1400万美元。
0
0
19
东吴证券:从美股看激光雷达市场报告
从美股看激光雷达市场报告
0
0
9
获24亿融资,比亚迪领投,速腾聚创凭什么?
获24亿融资,比亚迪领投,速腾聚创凭什么?
0
0
27
半固态激光雷达战事
半固态激光雷达战事
0
0
30
毫末智行发布可实现大规模量产的城市辅助驾驶系统“毫末城市NOH”
4月19日,在毫末智行2022 HAOMO AI DAY上,毫末智行发布了可实现大规模量产的城市辅助驾驶产品“毫末城市NOH”将于近日正式上市;在末端物流自动配送车领域,毫末小魔驼2.0正式发布,单车售价12.88万元。
0
0
18
2025年产业规模将达近300亿,Innovusion已完成年产10W台的全工业化车规级激光雷达产线
随着自动驾驶技术迅速发展,激光雷达的热度持续走高,部分造车新势力近期也开始首次交付搭载激光雷达的车型。针对激光雷达产业的最新动态,中央电视台财经节目中心特别策划综合报道进行关注,Innovusion作为全球领先的高性能激光雷达提供商接受CCTV采访。
0
0
22
集度推前向双激光雷达方案,首款量产车型将于2023年上市交付
​4 月 18 日,集度汽车正式发布了首款汽车机器人概念车车头部位的设计细节,车前灯和车前盖处激光雷达的设计清晰可见。至此,集度首创的车前盖、前向双激光雷达自动驾驶技术方案首次曝光。
0
0
15