一、视觉传感器有关概念、原理、种类
1.传感器有关概念
最广义地来说，传感器是一种能把物理量或化学量转变成便于利用的电信号的器件。
1.1传感器（英文名称：transducer/sensor）
传感器是一种检测装置，他能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。
它是实现自动检测和自动控制的首要环节。传感器，根据其基本感知功能，分为热敏元件、光敏元件、气敏元件、力敏元件、磁敏元件、湿敏元件、声敏元件、放射线敏感元件、色敏元件和味敏元件等十大类，如图1所示。
图1 常见传感器产品
(a) 激光扫描器，如图2)所示，是一种光学距离传感器，它有单线扫描、光栅式扫描和全角度扫描三种方式。
(b)线阵和面阵CCD摄像机，如图3)所示。CCD是Charge Coupled Device（电荷耦合器件）的缩写，是一种半导体成像器件，其功能是进行光电转换，输出视频信号。
 |
 |
| 图2 激光扫描器 | 图3 CCD 摄像机 |
(b) TV摄像机，如图5所示，即电视摄像机（television camera），其功能是把光学图像，转换成便于传输的视频信号的设备。过去有黑白和彩色两类。新型的摄像机已用电荷耦合器件（CCD）阵列代替摄像管。
结构上有摄像机头（包括光学系统、摄像器件、扫描电路和预放器）与控制单元（包括同步、消隐、视频处理和控制电路等）组合成分装式和一体化两种。TV摄像机内部信号处理框图，如图6所示。
 |
 |
| 图5 TV摄像机 | 图6 TV摄像机内部信号处理框图 |
(d)数字摄像机如图7所示。数字摄像机摄取的图像信号经摄像器件(如CCD)转化为电信号后，其信号处理及记录全部使用数字信号完成的摄像机，如图7所示。
 |
| 图7 数字摄像机 |
2.视觉传感器的图像采集单元
视觉传感器的图像采集单元主要由CCD/CMOS像机、光学系统、照明系统和图像采集卡组成，将光学影像转换成数字图像，传递给图像处理单元。通常使用的图像传感器件主要有CCD图像传感器和CMOS图像传感器两种。
2.1电荷耦合器件（CCD）图像传感器基本原理
电荷耦合器件（Charge-Coupled Device，CCD），又称图像传感器，是一种大规模集成电路光学器件，是在MOS集成电路技术基础上发展起来的新型半导体传感器，如图8所示。
电荷耦合器件是以电荷作为信号，与其他大多数器件是以电流或者电压为信号是不同的。 所以CCD的基本功能是电荷的存储和电荷的转移。它存储由光或电激励产生的信号电荷，当对它施加特定时序的脉冲时，其存储的信号电荷便能在CCD内作定向传输。CCD工作过程，分为信号电荷的产生，存储，传输和检测等四个环节。
2.2 CMOS图像传感器图基本原理
CMOS图像传感器是一种典型的固体成像传感器，如图9所示。与CCD有着共同的历史渊源。CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常都被集成在同一块硅片上。其工作过程一般可分为复位、光电转换、积分、读出几部分。
 |
 |
| 图8 电荷耦合器件 | 图9 CMOS器件 |
2.3 CMOS图像传感器优缺点：
(a)随机窗口读取操作是CMOS图像传感器在功能上优于CCD。
(b))CMOS图像传感器潜在的抗辐射性能相对于CCD性能增强。
(c)采用CMOS图像传感器可以大大地简化系统硬件结构。
(d)非破坏性数据读出方式。
(e)CMOS图像传感器也存在着若干缺点，主要是噪声和填充率两个指标。
3.视觉传感器系统
(1)视觉传感器主要功能
视觉传感器具有从一整幅图像捕获光线的数以千计的像素的能力，其技能目的是让机器视觉系统获取原始图像，其清晰度细腻程度通常用分辨率来衡量，以像素数量表示。
(2)视觉传感器组成
视觉传感器是整个机器视觉系统中传递信息的主要部件，一般是由一个或者多个图像传感器组成的，而机器视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备，如图10所示。
 |
| 图10 智能视觉传感器系统结构 |
图像传感器可以使用激光扫描器、线阵和面阵CCD摄像机或者TV摄像机，也可以是最新出现的数字摄像机等。
视觉传感器系统指通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量（面积、重心、长度、位置等），并输出数据和判断结果的传感器系统，
(3)视觉传感器关键指标
传感器关键的要素：动态范围、速度和响应度。
(a)动态范围决定系统能够抓取的图像的质量，也被称作对细节的体现能。
(b)传感器的速度指的是每秒钟传感器能够产生多少张图像和系统能够接收到的图像的输出量。
(c)响应度指的是传感器将光子转换为电子的效率，它决定系统需要抓取有用的图像的亮度水平。
二、视觉传感器在智能网联汽车中技术路线
目前主流ADAS摄像头可以分为单目和双目两种技术路线。一是单目视觉传感器应用方案，二是双单目视觉传感器应用方案，还有一种红外线夜视觉传感器应用方案。
(一)单目视觉传感器技术路线
1.单目摄像头ADAS结构
单目摄像头的算法思路：
(a) 要识别各种车。就要建立车型(车尾部图片)数据库，想要识别人和动物，就要建立人和动物数据库，如图11所示。
 |
| 图11 车尾部（图片）及行人数据库 |
(b)通过图像匹配进行识别。然后根据图像大小和高度进一步估算障碍与本车时间，都需要与样本数据库进行比较。
(c)单目视觉测距原理。
第一步,准确识别。是先通过图像匹配进行目标识别（各种车型、行人、物体等），再通过目标在图像中的大小去估算目标距离。这就要求在估算距离之前首先对目标进行准确识别，是汽车还是行人，是货车、SUV还是小轿车。
第二步，测距。假设是相机光学中心即为图像中心，有偏差时，找出光学中心对应的像素位置替换即可。
(i)求Y轴方向的距离。假设为坐标点在图像中方向距离图像中心点的距离，为图像高的一半。（当Y位于图像上半部分时取+号，当Y位于图像下半部分时取-号）
(ii)求X轴方向的距离。x轴的计算示意图如上。由此可得，为(i)中计算出的y方向的地理坐标，为坐标点在图像中x方向距离图像中心点的距离，为图像宽的一半。
(iii)计算距离。根据(1)(2)中计算出的x、y的值可以计算地面距离。如图12所示。
 |
| 图12 计算距离 |
(iv)难点.采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体。
在测距的范围和距离方面，单目摄像头有，一个摄像头的视角越宽，探测到精准距离的长度越短；视角越窄，探测到的精准距离越长。
(b) 车载单目摄像头
车载单目摄像头规格比较多，一是车规级指标、二是便于安装。如图13所示。
 |
 |
| 图14 车载单目摄像头 | |
1.双目视觉测距的基本原理
通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量，而无需判断前方出现的是什么类型的障碍物。
双目摄像头的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，双目视觉测距的基本原理，如下图15所示。
 |
| 图15 双目视觉测距的基本原理 |
2.双目视觉测距具体算法
双目视觉（Stereo Vision）是利用双摄像头从两个不同角度对同一目标成像，从而获取视差信息，推算目标距离。双目视觉测距具体算法，如图16所示。
图14中A和B为左右两个相机，P为目标点，E和F分别为A和B成像点。则P点在两个相机中的视差为d=EC+DF。
 |
| 图16 双目视觉测距的基本原理 |
可以看出，三角形ACE与POA相似;同理，三角形BDF与POB相似。推导可得d=（fq）/z，其中f为相机焦距，q为两相机光轴的距离（两个镜头之间的距离是10-20cm之间），z为目标到相机平面的距离。则距离z=（fq）/d，而f和q可认为是固定参数，所以求出视差信号d即可求得距离z。
3.双目视觉测距算法步骤
为了实现测距（本车与前方障碍物距离），根据双目视觉的测距原理，通常将其实现过程分为五个步骤：
(a)相机标定。相机标定是为了得到相机的内外参数和畸变系数等。
(b)图像获取。主要难点是，如何保证左右相机图像获取的同步性，
(c)图像预处理。主要难点是，如何保证图像预处理的质量和一致性
(d)特征提取与立体匹配。主要难点是，立体匹配（获取视差信息）的实时性
(e)三维重构。主要难点是，三维重构（获取距离信息）算法的实时性。
4.双目视觉面临的挑战
双目视觉比单目视觉，增加了一个镜头，因此在标定工作上，双目要比单目更为复杂。最大的挑战是，对两路图像进行立体匹配和三维重构，所需要的巨大运算量。以FCW应用为例，既要求视差信号的提取具有足够的精度以保证测距精度，又要求处理帧频维持一定水平以保证预警的响应速度。
5. 车载双目摄像头
车载双目摄像头系统，必须总成件，如图17所示。
 |
| 图17 车载双目摄像头系统 |
（三）红外线夜视觉传感器原理及特点
1.红外线传感器(infrared transducer)
红外线传感器是利用红外线的物理性质来进行测量的传感器,如同18所示
 |
 |
| 同18 不同规格的红外线传感器 | |
物理学知识告诉大家，任何物质，只要它本身具有一定的温度（高于绝对零度），都能辐射红外线。红外线又称红外光，它具有反射、折射、散射、干涉、吸收等性质。人的眼睛能看到的可见光按波长从长到短排列，依次为红、橙、黄、绿、青、蓝、紫。其中红光的波长范围为0.62～0.76μm；紫光的波长范围为0.38～0.46μm。比紫光光波长更短的光叫紫外线，比红光波长更长的光叫红外线。
2.红外线传感器组成及分类
红外线传感器包括光学系统、检测元件和转换电路。有不同分类方法。
(1)光学系统按结构不同可分为透射式和反射式两类。
(2)检测元件按工作原理可分为热敏检测元件和光电检测元件。热敏元件应用最多的是热敏电阻。热敏电阻受到红外线辐射时温度升高，电阻发生变化，通过转换电路变成电信号输出。
3.红外线望远镜
红外线望远镜是一个特殊的镜片，可以看到红外线。其基本原理是指通过光电转换，把红外线转换成电子流，再使电子倍增，最后使电子打在荧光屏上，变成可见光的望远镜，如图19所示。
 |
 |
| 图19 数码红外线望远镜 | |
3.红外测距传感器
利用红外信号遇到障碍物距离的不同反射的强度也不同的原理，进行障碍物远近的检测。红外测距传感器具有一对红外信号发射与接收二极管，发射管（如图19所示）发射特定频率的红外信号，接收管（如图20所示）接收这种频率的红外信号，当红外的检测方向遇到障碍物时，红外信号反射回来被接收管接收。
 |
 |
| 图20 红外信号发射极管 | 图21 红外信号接收二极管 |
经过处理之后，通过数字传感器接口返回到中央处理器主机，中央处理器即可利用红外的返回信号来识别周围环境的变化。红外信号发射极管与芯片接线，如图22所示；红外信号接受管与芯片接线如图23 所示。
 |
 |
| 图22 发射极管与芯片接线 | 图23 接受管与芯片接线 |
4.车载红外测距仪
车载红外测距仪规格比较多，如图24所示。
 |
 |
| 图24车载红外测距仪 | |
（四）视觉传感器技术路线区别
智能网联汽车的视觉传感器技术路线基本是两条，一是白天条件下的摄像机技术，二夜晚条件的红外线技术。白天条件下的摄像机技术有单目摄像机和双目摄像机之分。视觉传感器技术路线要解决的测车障碍物之间的距离，但是不同技术路线，其测距原理是不同的。目前的实际情况是，单一技术路线，都不能满足智能网联汽车的要求，各有特长和不足，如何综合利用，有待进一步研究。
(a)单目摄像头需要对目标进行识别。测距前先识别障碍物是车、人还是别的什么？在此基础上再进行测距，还是估算，非准确到位。
(b)单目摄像头的缺点在于需要大量数据，并且不断更新和维护。数据收集、标签的难度确实有些大。
(c)双目摄像通过两幅图像的视差，来计算来确定车与目标对象的距离。
(d)双目摄像头最大的难点就在于计算量巨大,直接问题，小型化难度很大。
一句话，双目和单目的摄像头各有优劣势，双目摄像头的展前景可能会好一些，要克服的难题是硬件成本和计算量级任务。红外测距传感器主要是用于夜晚，效果也不是十分理想。如何综合不同技术路线的优点，是一步要继续努力方向。
三、视觉传感器在高级驾驶辅助系统(ADAS)实例介绍
高级驾驶辅助系统（Advanced Driver Assistance System，ADAS），是目前智能网联的比较落地的技术项目，已经有了比较广泛的应用，其技术相对比较成熟，下面介绍视觉传感器在高级驾驶辅助系统(ADAS)实例介绍。
1.车道保持系统(LKS)
车道保持系统（Lane Keeping System，LKS），基本功能是，通过摄像机对车道线进行检测，验证本车在车道内的位置，并可自动调整转向，使本车保持在车道内行驶。如图25所示。
 |
| 图25 车道保持系统(LKS) |
2.LDW-车道偏离报警系统
车道偏离报警系统（Lane Departure Warning，LDW），基本功能是，通过摄像机对车道线进行检测，验证本车在车道线上没有？可检测本车在车道内的位置，当预测到本车即将偏离车道行驶时，可向驾驶员发出警告。
3.前向碰撞报警系统(FCW)
前向碰撞预警系统（Forward Collision Warning，FCW），基本功能是，通过摄像机，可检测前车本与的运动状态，当有碰撞的危险时，可向驾驶员发出警告，如图26所示。
 |
| 图26 前向碰撞报警系统(FCW) |
驾驶员状态监控系统（Driver Condition Warning，DCW），可通过监控驾驶员的眼部或头部运动来判断驾驶员的疲劳状态，当发现驾驶员疲劳驾驶时，可向驾驶员发出警告，如图27所示。
 |
| 图27 监控驾驶员眼部或头部状态 |
(a)增加视距，（最近二百米，最远一千米，车灯照不到的地方）,超强夜视（能在雨、雪、雾等天气看清自己前方，如果用二百米的夜视仪，能看清前方一百六十米，恶劣天气距离衰减百分之十到二十）。
(b)拓宽视野（夜间看车，驾驶员只能看到车灯照到的地面，很窄，通过夜视仪视野更开阔，有效的防止潜在的危险）。可以在 10~ 200 m 范围内观察具有极高清晰度的目标，可以在主动红外条件下观察不少于 120 米距离，在星光和一般气象条件下观察10～70米。
(c)消除对面来车灯光干扰（会车时不受对方车灯干扰，看清自己的车道）。
（声明：任何媒体如需转载本文请与深圳市汽车电子行业协会沟通联系，本文是经由深圳市汽车电子产业专家委员会专家-雷洪钧本人授权于此发布，转载或内容合作请点击转载说明，违规转载法律必究。）
汽车电子网为您提供最新汽车电子产品信息,及最具权威行业资讯和最新的行业动态，汽车电子行业最前沿的技术资讯，为全球汽车电子行业人士搭建交流平台。