全部 高分子 智能汽车 陶瓷 消费电子 弹性体 生物降解 5G材料 光伏 医用材料 锂电 汽车材料 新消费电子 会议列表 展会 半导体 LED 氢能源 艾邦人才网
自动驾驶系统之车载摄像头(干货分享)


推荐语


随着自动驾驶技术的进步以及政策法规的支持,ADAS系统的装车量正在快速增长。摄像头作为ADAS实现感知功能的主要传感器,其使用量将迎来一波大爆发。据了解,现有量产车型中,单车数量最多已达14颗(小鹏P7),而前两年大多才1~2个摄像头。


这里,小编将分享一篇详细介绍了车载摄像头类别、性能要求、技术特点的文章。


1、车载摄像头基础解析


1.1 工作原理


目标物体通过镜头(LENS)生成光学图像投射到图像传感器上,光信号转变为电信号,再经过A/D(模数转换)后变为数字图像信号,最后送到DSP(数字信号处理芯片)中进行加工处理,由DSP将信号处理成特定格式的图像传输到显示屏上进行显示。


1.2 摄像头主要硬件组件



1)镜头组(lens)- 镜头组由光学镜片、滤光片和保护膜等组成;


2)图像传感器 - CMOS感光元件

CMOS图像传感器是模拟电路和数字电路的集成。主要有四个组件构成:微透镜、彩色滤光片(CF)、光电二极管(PD)、像素设计;

图1、CIS结构和CIS成像原理
3) DSP(数字信号处理芯片)
图2.  摄像头基本构成


1.3 基本工作流程

工作流程:图像输入 — 预处理 — 特征提取 — 特征分类 — 匹配 — 完成识别
即输入摄像头的数据,以每帧信息为基础进行检测、分类、分割等计算,最后利用多帧信息进行目标跟踪,输出相关结果;


1)预处理包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作;

2)特征提取就是在预处理的基础上提取出图像中的特征点;

3)目标识别是基于特征数据的输出,对图像中的物体进行识别分类 —— 人 ,车 、交通标志等,运用到机器学习、神经网络等算法。


1.4  车载摄像头类别


1)按摄像头的安装位置不同,可分为前视、侧视、后视和内置四个部分:


图3. 基于安装位置的摄像头分类


2)按不同功能应用可分为行车辅助类、驻车辅助类与车内人驾驶员监控三大部分


a、行车辅助类


  • 智能前视(单目/双目/三目):动态物体检测(车辆、行人)、静态物体检测(交通信号灯、交通标志、车道线等)和 可通行空间划分等。
  • 侧视辅助(广角):用于行车过程中监测后视镜盲区内的动态目标;
  • 夜视辅助(夜视摄像头):用于夜间或其他光线较差的情况下更好的实现目标物体的检测;根据工作原理的不同,目前夜视系统主要分三类:微光夜视技术、被动热成像夜视技术、主动红外夜视技术。

图4.  行车辅助类摄像头


b、驻车辅助类


360环视(广角/鱼眼):主要用于低速近距离感知;系统同时采集车辆四周的影像,经过图像处理单元畸变还原→视角转化→图像拼接→图像增强,最终形成一幅车辆四周无缝隙的 360 度全景俯视图。



图5.  360环视系统框架及图象输出效果示意图


3)车内驾驶员监控(疲劳检测)

a、驾驶员监控系统功能定义

主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行预警,要求摄像头在全工况环境下(包含暗光、夜晚、逆光等)工作,且不受驾驶员衣着影响;
b、功能算法
DMS的视觉算法基于深度学习,以伟世通旗下的AllGoEmbedded系统为例,其DMS的基本流程如下:
图6. 驾驶员疲劳检测


脸部检测:将其归为物体识别与分类问题,通过训练深度神经网络设计一个鲁棒性好的脸部检测器。
头部特征:由三个姿态角构成,基于CNN设计头部跟踪系统,以图像中脸部区域为输入,以三维姿态角为输出。
眼神检测:综合眼神检测网络与头部姿态角度输出。
眨眼检测:包括眨眼信息(速率与时差)和眼部信息(开与合)。眼部信息为二分类问题,需要神经网络较小;眨眼信息需要分析过去数帧。

2、车规级摄像头性能要求


  • 耐高温 :车载摄像头需在-40℃~85℃范围内都能正常工作,且能适应温度的剧烈变化;

  • 抗震:车辆在不太平坦的路面行驶会产生较强的震动,因此车载摄像头必须能抗各种强度的震动;

  • 防磁 :车辆启动时会产生极高的电磁脉冲,需要极高的防磁性能;
  • 防水 :载摄像头密封要非常严实,满足在雨水中浸泡数日仍可正常使用;
  • 使用寿命 :使用寿命至少为8~10年才能满足要求;
  • 超广角:侧视环视摄像头必须是超广角的,水平视角达 135°;
  • 高动态:车辆行驶速度快,摄像头面对的光线环境变化剧烈且频繁,要求摄像头的CMOS 具有高动态特性;
  • 低噪点:在光线较暗时能有效抑制噪点,特别是要求侧视和后视摄像头即使在晚上也能清楚的捕捉影像。

3、车载摄像头的技术特点解析

3. 1  优势分析


1)相比于毫米波雷达,目前摄像头的主要优势在于:


  • 目标识别与分类 - 目前普通的3D毫米波雷达仅可以检测到前方是否有障碍物,而无法精准识别障碍物的大小和类别;例如:各类车道线识别、红绿灯识别以及交通标志识别等;
  • 可通行空间检测(FreeSpace) - 对车辆行驶的安全边界(可行驶区域)进行划分,主要对车辆、普通路边沿、侧石边沿、没有障碍物可见的边界、未知边界进行划分;
  • 对横向移动目标的探测能力 ,比如对十字路口横穿的行人以及车辆的探测和追踪;
  • 定位与地图创建 - 即视觉SLAM技术,虽然目前也有用毫米波雷达做SLAM的,不过视觉SLAM技术更加成熟,也更有应用前景;

2)在自动驾驶系统中,激光雷达与摄像头感知作用比较类似,但相比激光雷达,其优势为:


  • 红绿灯识别及交通标示识别
  • 成本优势,且算法及技术成熟度比较高
  • 物体识别率高


3.2   劣势分析


  • 受天气、光照变化影响大,极端恶劣天气下视觉传感器会失效;

  • 测距/测速性能不如激光雷达和毫米波雷达;


4、车载智能前视像头关键参数

  • 探测距离
  • 水平视场角
  • 垂直视场角
  • 分辨率 - 当摄像机摄取等间隔排列的黑白相间条纹时,在监视器(比摄像机的分辨率要高)上能够看到的最多线数,当超过这一线数时,屏幕上就只能看到灰蒙蒙的一片,而不再能分辨出黑白相间的线条。
  • 最低照度 - 即图像传感器对环境光线的敏感程度,或者说是图像传感器正常成像时所需要的最暗光线。它是当被摄物体的光照逐渐降低时,摄像机的视频信号电平低于标准信号最大幅值一半时的景物光照度值。
  • 信噪比 - 输出信号电压与同时输出的噪声电压的比值;
  • 动态范围 - 摄像机拍摄的同一个画面内,能正常显示细节的最亮和最暗物体的亮度值所包含的那个区间。动态范围越大,过亮或过暗的物体在同一个画面中都能正常显示的程度也就越大。

本文转载自公众号 筋斗云与自动驾驶,作者望天涯(知乎),原标题《自动驾驶系统入门(四) - 车载摄像头》

随着ADAS功能的普及,以及在DMS相关政策法规的推动下,接下来车内外将会包含越来越多的摄像头,据估计,单车可能在5-12个。市场利好将助推行业发展,那么在摄像头行业将会有哪些机遇与挑战呢?欢迎加入艾邦车载摄像头产业链交流群进行探讨。


推荐阅读


活动推荐





相关推荐
自动驾驶传感器之摄像头(五)车载摄像头重要器件镜头及光学参数讲解
自动驾驶传感器之摄像头(五)车载摄像头重要器件镜头及光学参数讲解
0
0
6
自动驾驶传感器之车载摄像头的系统架构基本介绍
自动驾驶传感器之车载摄像头的系统架构基本介绍
0
0
5
寅家科技斩获国际高端汽车品牌INDI EV项目独家定点
近日,寅家科技宣布与新兴国际高端汽车品牌INDI EV达成独家定点合作。作为寅家科技的首个海外Tier1项目定点,为后者旗舰车型INDI One提供全自动泊车功能,助力 INDI One HELLO HALO高级驾驶辅助系统的面世。
0
0
8
智能汽车中摄像头的8大热门应用
如今,我们驾驶智能联网汽车和使用智能手机有着异曲同工之妙,能够联网,还有熟悉的移动应用,背后的“超级计算机”充当汽车“大脑”。不同的是,车具备“动能”并且需要与人、车、道路交互,因此,感知系统在智能汽车中扮演重要角色。
0
0
7
车载镜头及模组增速迅猛,联创电子2021年营收首超百亿元
​4月25日晚间发布2021年年报。2021年,公司紧密围绕既定的发展战略和经营目标,坚持稳中求进,扎实细致地开展各项工作,不断提升规范运作水平,强化内部管理,始终坚持以客户为中心、以技术创新为驱动,持续推进公司的稳健发展。
0
0
15
富瀚微:公司已推出多款车规芯片,广泛应用于汽车环视、后视等
​4月24日,富瀚微在投资者互动平台回应投资者关于“公司现有汽车电子领域具体涉及在汽车电子领域的哪块芯片?公司的技术优势在哪”的问询时表示,在汽车电子领域,公司自2018年以来已推出多款通过AEC-Q100认证的车规芯片。
0
0
11
欧菲光环视3M车载镜头实现量产,8M前视ADAS镜头也即将面世
​近几年,随着汽车智能化的快速发展,全球自动驾驶市场有望迎来高速增长期。根据 IDC,全球具备自动驾驶乘用车的出货量有望从2020年的2774万辆增长到2024年的5425万辆。在《汽车产业中长期发展规划》中也有提出,到2025年,我国自动驾驶汽车渗透率达到80%,其中L2和L3的渗透率达到25%。
0
0
17
驾驶员监控系统DMS-完全自动驾驶之前的标配
在自动驾驶的技术发展中,一般认为只有当技术达到L4~L5的高级别自动驾驶,整个驾驶过程才能不需要驾驶员的干预。而当下的自动驾驶技术大多位于L2-L3,距离完全自动驾驶还有很长的路要走。
0
0
17
艾睿光电:用于ADAS的红外热成像显示画面可转换成真实色彩
为了保障行车安全,汽车ADAS功能需要尽量实现全天候运转。摄像头是通过感光与算法实现对周边环境感知,因此在光线不足如夜间行车、过隧道等场景下,需要增强摄像头的夜视能力。
0
0
23
视觉为王-小鹏以及特斯拉的自动驾驶方案
​小鹏在自动驾驶方面,赚够了眼球,也赢得了智能汽车的口号,从其小鹏P7对于泊车功能,记忆泊车以及分享停车路线各方面的一些应用创新,到现在P5基本上算市场上真的买得到带激光雷达,而且P5可以升级多层记忆泊车,未来还以升级城市NGP可谓立好了自动驾驶标杆的flage,让人不自觉竖起大拇指。
0
0
23
丰田加入特斯拉行列 使用低成本摄像头开发自动驾驶技术
北京时间4月7日早间消息,据报道,丰田汽车旗下的Woven Planet已加入特斯拉公司的行列,试图在不使用激光雷达等昂贵传感器的情况下推进自动驾驶技术。
0
0
27
经纬恒润将登陆科创板,车载摄像头等智能驾驶业务增长迅速
​4月7日,科创板即将迎来一家汽车电子领域的龙头公司。日前,经纬恒润(688326,SH待上市)发布公告称,公司将首次公开发行股票并在科创板上市。
0
0
26
红外热成像-响尾蛇导弹同款感知方案,广汽埃安即将搭载量产
2022年3月31日晚,广汽埃安在公众号表示:埃安将全球首创结合红外智能驾驶传感技术打造出全天候智驾感知方案-ADIGO智驾系统。 这一智驾系统将在不久之后实现搭载量产。
0
0
21
车载摄像头技术趋势简介
近年来,随着汽车智能化升级,各车企正在从低等级自动驾驶向高等级提升。而自动驾驶将对车辆安全、行人安全、驾驶员监控等主动安全功能提出更高的要求,ADAS 渗透必然加速。
0
0
37
闻泰科技(600745)入局车载摄像头产业:珠海得尔塔光电智能制造产业园项目进展
随着智能网联汽车的兴起,被称为自动驾驶之眼的车载摄像头行业快速发展,产业链厂家均获益匪浅。车载摄像头相较于手机等消费类电子,其入行门槛更高,对厂家实力有着一定的要求。车载摄像头相对来说毛利高,客户相对稳定,因此非常为市场所看好。
0
0
35
电装ADAS摄像头-小型立体图像传感器介绍
随着紧凑型轿车的保有量逐步递增,对其搭载的零部件的小型化和安全性能也提出了更高的要求。 电装秉承着普及车载安全产品,促进安全·安心的移动社会的研发理念,对小型立体图像传感器进行了性能改进和功能扩展。
0
0
39
水晶光电(002273)汽车电子布局:AR HUD|车载摄像头|智能像素大灯|激光雷达部件等
​3月9日晚,深耕光学赛道近二十年的细分龙头——水晶光电披露了2021年年报。年报显示,2021年水晶光电实现营收38.09亿元,同比增长18.18%;扣非归母净利润3.69亿元,同比增长3.94%。
0
0
51
车载摄像头应用新宠—流媒体后视镜
汽车流媒体后视镜便是摄像头+显示屏的电子产品组合取代传统光学内后视镜的一大神器。今天,小编就为大家分享一篇关于华阳前装流媒体后视镜的技术解读。
0
0
38
电子后视镜CMS摄像头生产设计指南(收藏)
随着自动驾驶与智能汽车技术的发展,车载摄像头在汽车上的应用正在不断变多。
0
0
34
福田戴姆勒奔驰CMS样车测试
福田戴姆勒奔驰CMS样车测试
0
0
32