全部 高分子 智能汽车 陶瓷 消费电子 弹性体 生物降解 5G材料 光伏 医用材料 锂电 汽车材料 新消费电子 会议列表 展会 半导体
自动驾驶系统之车载摄像头(干货分享)


推荐语


随着自动驾驶技术的进步以及政策法规的支持,ADAS系统的装车量正在快速增长。摄像头作为ADAS实现感知功能的主要传感器,其使用量将迎来一波大爆发。据了解,现有量产车型中,单车数量最多已达14颗(小鹏P7),而前两年大多才1~2个摄像头。


这里,小编将分享一篇详细介绍了车载摄像头类别、性能要求、技术特点的文章。


1、车载摄像头基础解析


1.1 工作原理


目标物体通过镜头(LENS)生成光学图像投射到图像传感器上,光信号转变为电信号,再经过A/D(模数转换)后变为数字图像信号,最后送到DSP(数字信号处理芯片)中进行加工处理,由DSP将信号处理成特定格式的图像传输到显示屏上进行显示。


1.2 摄像头主要硬件组件



1)镜头组(lens)- 镜头组由光学镜片、滤光片和保护膜等组成;


2)图像传感器 - CMOS感光元件

CMOS图像传感器是模拟电路和数字电路的集成。主要有四个组件构成:微透镜、彩色滤光片(CF)、光电二极管(PD)、像素设计;

图1、CIS结构和CIS成像原理
3) DSP(数字信号处理芯片)
图2.  摄像头基本构成


1.3 基本工作流程

工作流程:图像输入 — 预处理 — 特征提取 — 特征分类 — 匹配 — 完成识别
即输入摄像头的数据,以每帧信息为基础进行检测、分类、分割等计算,最后利用多帧信息进行目标跟踪,输出相关结果;


1)预处理包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作;

2)特征提取就是在预处理的基础上提取出图像中的特征点;

3)目标识别是基于特征数据的输出,对图像中的物体进行识别分类 —— 人 ,车 、交通标志等,运用到机器学习、神经网络等算法。


1.4  车载摄像头类别


1)按摄像头的安装位置不同,可分为前视、侧视、后视和内置四个部分:


图3. 基于安装位置的摄像头分类


2)按不同功能应用可分为行车辅助类、驻车辅助类与车内人驾驶员监控三大部分


a、行车辅助类


  • 智能前视(单目/双目/三目):动态物体检测(车辆、行人)、静态物体检测(交通信号灯、交通标志、车道线等)和 可通行空间划分等。
  • 侧视辅助(广角):用于行车过程中监测后视镜盲区内的动态目标;
  • 夜视辅助(夜视摄像头):用于夜间或其他光线较差的情况下更好的实现目标物体的检测;根据工作原理的不同,目前夜视系统主要分三类:微光夜视技术、被动热成像夜视技术、主动红外夜视技术。

图4.  行车辅助类摄像头


b、驻车辅助类


360环视(广角/鱼眼):主要用于低速近距离感知;系统同时采集车辆四周的影像,经过图像处理单元畸变还原→视角转化→图像拼接→图像增强,最终形成一幅车辆四周无缝隙的 360 度全景俯视图。



图5.  360环视系统框架及图象输出效果示意图


3)车内驾驶员监控(疲劳检测)

a、驾驶员监控系统功能定义

主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行预警,要求摄像头在全工况环境下(包含暗光、夜晚、逆光等)工作,且不受驾驶员衣着影响;
b、功能算法
DMS的视觉算法基于深度学习,以伟世通旗下的AllGoEmbedded系统为例,其DMS的基本流程如下:
图6. 驾驶员疲劳检测


脸部检测:将其归为物体识别与分类问题,通过训练深度神经网络设计一个鲁棒性好的脸部检测器。
头部特征:由三个姿态角构成,基于CNN设计头部跟踪系统,以图像中脸部区域为输入,以三维姿态角为输出。
眼神检测:综合眼神检测网络与头部姿态角度输出。
眨眼检测:包括眨眼信息(速率与时差)和眼部信息(开与合)。眼部信息为二分类问题,需要神经网络较小;眨眼信息需要分析过去数帧。

2、车规级摄像头性能要求


  • 耐高温 :车载摄像头需在-40℃~85℃范围内都能正常工作,且能适应温度的剧烈变化;

  • 抗震:车辆在不太平坦的路面行驶会产生较强的震动,因此车载摄像头必须能抗各种强度的震动;

  • 防磁 :车辆启动时会产生极高的电磁脉冲,需要极高的防磁性能;
  • 防水 :载摄像头密封要非常严实,满足在雨水中浸泡数日仍可正常使用;
  • 使用寿命 :使用寿命至少为8~10年才能满足要求;
  • 超广角:侧视环视摄像头必须是超广角的,水平视角达 135°;
  • 高动态:车辆行驶速度快,摄像头面对的光线环境变化剧烈且频繁,要求摄像头的CMOS 具有高动态特性;
  • 低噪点:在光线较暗时能有效抑制噪点,特别是要求侧视和后视摄像头即使在晚上也能清楚的捕捉影像。

3、车载摄像头的技术特点解析

3. 1  优势分析


1)相比于毫米波雷达,目前摄像头的主要优势在于:


  • 目标识别与分类 - 目前普通的3D毫米波雷达仅可以检测到前方是否有障碍物,而无法精准识别障碍物的大小和类别;例如:各类车道线识别、红绿灯识别以及交通标志识别等;
  • 可通行空间检测(FreeSpace) - 对车辆行驶的安全边界(可行驶区域)进行划分,主要对车辆、普通路边沿、侧石边沿、没有障碍物可见的边界、未知边界进行划分;
  • 对横向移动目标的探测能力 ,比如对十字路口横穿的行人以及车辆的探测和追踪;
  • 定位与地图创建 - 即视觉SLAM技术,虽然目前也有用毫米波雷达做SLAM的,不过视觉SLAM技术更加成熟,也更有应用前景;

2)在自动驾驶系统中,激光雷达与摄像头感知作用比较类似,但相比激光雷达,其优势为:


  • 红绿灯识别及交通标示识别
  • 成本优势,且算法及技术成熟度比较高
  • 物体识别率高


3.2   劣势分析


  • 受天气、光照变化影响大,极端恶劣天气下视觉传感器会失效;

  • 测距/测速性能不如激光雷达和毫米波雷达;


4、车载智能前视像头关键参数

  • 探测距离
  • 水平视场角
  • 垂直视场角
  • 分辨率 - 当摄像机摄取等间隔排列的黑白相间条纹时,在监视器(比摄像机的分辨率要高)上能够看到的最多线数,当超过这一线数时,屏幕上就只能看到灰蒙蒙的一片,而不再能分辨出黑白相间的线条。
  • 最低照度 - 即图像传感器对环境光线的敏感程度,或者说是图像传感器正常成像时所需要的最暗光线。它是当被摄物体的光照逐渐降低时,摄像机的视频信号电平低于标准信号最大幅值一半时的景物光照度值。
  • 信噪比 - 输出信号电压与同时输出的噪声电压的比值;
  • 动态范围 - 摄像机拍摄的同一个画面内,能正常显示细节的最亮和最暗物体的亮度值所包含的那个区间。动态范围越大,过亮或过暗的物体在同一个画面中都能正常显示的程度也就越大。

本文转载自公众号 筋斗云与自动驾驶,作者望天涯(知乎),原标题《自动驾驶系统入门(四) - 车载摄像头》

随着ADAS功能的普及,以及在DMS相关政策法规的推动下,接下来车内外将会包含越来越多的摄像头,据估计,单车可能在5-12个。市场利好将助推行业发展,那么在摄像头行业将会有哪些机遇与挑战呢?欢迎加入艾邦车载摄像头产业链交流群进行探讨。


推荐阅读


活动推荐





相关推荐
大陆DMS/OMS座舱感应:将摄像头集成至显示屏并整合毫米波雷达数据
据10 月 13 日大陆集团官网消息,大陆集团已开发出一种用于车内传感器技术的集成解决方案,该解决方案满足未来的安全标准,并进一步提高了车辆的舒适性。
0
0
3
汽车智能座舱感知核心——DMS/OMS摄像头
在自动驾驶的终极概念(L5级)中,是不需要人类驾驶员的参与便可以实现车辆运行。但目前的自动驾驶水平(L2-L3)明显还远未能实现最终愿景,因此,现有的驾驶系统中驾驶员的参与必不可少。
0
0
4
奔驰s级系列将搭载维宁尔双目摄像头和雷达产品,支持L3可脱手级别自动驾驶技术
维宁尔的第四代双目摄像头将由全集成硬件和感知软件组成,以应对高度自动化驾驶的挑战。维宁尔的1.2代77 GHz雷达提供了较高的角分辨率和距离精度信息。
0
0
21
推自动驾驶四目视觉系统,奇瑞、轩辕智驾与以色列Foresight签署合作备忘录
QuadSight 可以在恶劣的光照和天气条件下实现异常准确的障碍物检测,包括完全黑暗、雨、雾、和眩光。
0
0
45
东软睿驰推新一代自动驾驶中央计算平台
东软睿驰自动驾驶中央计算平台采用4颗征程5芯片,支持多路激光雷达、16路高清摄像头、毫米波雷达、超声波雷达接入,可实现整车360度的感知冗余,提供L3/L4级别(有条件)自动驾驶功能。
0
0
36
欧菲光重点开拓智能汽车业务,目前已取得20余国内外车企一级供应商资质
7月18日,欧菲光在互动平台表示,公司自2015年起开始布局智能汽车,目前已取得20余家国内外车企的一级供应商资质。
0
0
84
联创电子:2022年有望成为特斯拉车载镜头第一供应商
预见智能化推进将带来汽车制造行业对车载光学镜头的需求大幅增长,联创电子将加码汽车镜头业务
0
0
63
艾迈斯与欧司朗成功合并,在DMS领域可提供完整的3D传感光学解决方案
据艾迈斯公众号消息,艾迈斯与欧司朗已成功合并,共同构建光学解决方案的全球领导者。
0
0
66
扩大布局 安通林与纳恩成立合资公司
3月4日,安通林与上海纳恩汽车技术有限公司签署合作协议,双方将设立一家全新的合资公司,以面向宝马、通用、丰田、本田、沃尔沃、吉利等客户,共同开发高度集成的汽车电子产品。
0
0
40
欢迎加入车载摄像头资源微信群
车载摄像头产业上下游欢迎加入!
0
0
132
采埃孚经济型L2+自动驾驶搭载于东风汽车,成本低于1000美金
据采埃孚官网消息,其coASSIST Level2+ 的半自动系统已在2020年末上市的东风风神奕炫上进行了应用。这是coASSISTL2+级别的半自动系统在全球的首次发布,此系统提供高级安全性和便利性功能,是业内最实惠的L2+系统。
0
0
43
车载摄像头市场放量在即,舜宇光学|联创电子出货量大增
随着智能驾驶、自动驾驶等相关概念的爆火,技术方面的成熟正在快速推动ADAS市场的发展。而在ADAS辅助驾驶中,摄像头是其实现汽车感知功能的主要传感器(一般会辅以毫米波雷达、激光雷达、超声波雷达等),接下来的几年将会是其市场的爆发期。
0
0
77
驾驶员监控系统DMS即将成为汽车标配
有研究表明,超过六成交通事故是由于驾驶员注意力分散或疲劳驾驶所致,其中94%的追尾事故是由于驾驶员分心。因此,为了确保行车安全,驾驶员监控系统(DMS)应运而生。
0
0
142
采埃孚与初创公司天瞳威视签订战略合作协议,共同打造自动代客泊车系统
本次与天瞳威视合作是采埃孚首次投资入股中国本土初创技术型企业。
0
0
35
全国首个技术标准发布,“透明A柱”显示系统正在到来
通过舱内摄像头跟踪驾驶员双眼,计算出眉心位置,从而对A柱显示屏的显示透视角度确认,并进行实时显示,让驾驶者始终保持视野的清晰。
0
0
44
本周智能汽车相关新闻一览:采埃孚|百度|吉利|京东方
Mobileye与采埃孚合作为丰田开发ADAS;百度Apollo将定制禾赛科技全新架构激光雷达;吉利车载显示、半导体、电池相关新闻
0
0
31
车载摄像头-光学镜头镀膜介绍
我们需要通过镀膜来增加镜片表面光线的穿透量、减少眩光及鬼影、得到最佳的颜色平衡。
0
0
34
手机到车载摄像头,不仅仅隔着车规级
想要进入车载市场,镜头厂商在镜头类型、成本、工艺、车规级认证方面都需要逐个跨过门槛。
0
0
49
舜宇光学车载摄像头产业布局解析
舜宇光学,从光学镜片加工、镜头组装、及模组封装、自动驾驶系统的光学元件全产业链布局。
0
0
96