数智资源网
首页 首页 大数据 查看内容

揭秘3D深度传感器

木马童年 2020-10-30 14:46 67 0

感知距离和深度,对多数人的双眼来说都是轻松而自然的。但是让智能手机或者汽车上的摄像头也探测到环境深度特征,可并不容易。普通的摄像头无法单独完成这一任务,必须依靠深度传感器。目前市面上 3D 深度传感器大概 ...

感知距离和深度,对多数人的双眼来说都是轻松而自然的。但是让智能手机或者汽车上的摄像头也探测到环境深度特征,可并不容易。普通的摄像头无法单独完成这一任务,必须依靠深度传感器。目前市面上 3D 深度传感器大概有几种方案:

目前市面上 3D 深度传感器大概有几种:

双目方案(Stereo)结构光方案(Structure Light)飞光时间方案(Time of Flight)其他:毫米波,激光雷达(LiDAR)。


揭秘3D深度传感器

前 3 种都是消费级产品比较常用的方案,也有很多模组公司单独为开发者定制模组;第 4 种毫米波和激光雷达多应用在现在比较火的自动驾驶领域。以下主要介绍前 3 种方案。

双目方案

双目方案就是将两个摄像头固定在同一个模块上,并且调整它们的角度、固定它们之间的距离,来形成一个稳定的模块结构。


揭秘3D深度传感器

普通的单目的摄像头所捕捉的每一帧都只是 2D 画面,每一个像素也都是 RGB 像素,所以不包括深度信息,需要从另外一个维度补充进来。

双目摄像头其实就是利用了三角测距的算法。如果我们在平面上画一个三角形,左边一个角度、右边一个角度还有中间这两个顶点之间的线段长度已知的话,就可以从这三个信息计算出三角形第三个点的位置信息和三角形另外两条边的长度。

当我们把两个摄像头同时照向被测量物体的时候,每一个摄像头里都会出现被测量物体的影像。通过捕捉和提取两个摄像头影像里的同一个特征点,就可以知道这个特征点分别位于两个摄像头的哪个位置。

如果两个摄像头同时捕捉一张画面,左边捕捉一帧、右边捕捉一帧,这个点的像素在两个摄像头的坐标就会有一个距离差值,因为两个摄像头摆放中间是有距离的。

那么,根据左右两个摄像头摆放的角度和两个摄像头中间的固定距离,就可以用三角测量方法测量出来远处的被测量的物体距离两个摄像头基线的距离。如果加上了红外灯的光照,那么它就能够在黑暗的环境捕捉到深度信息。

结构光方案

结构光方案的基本原理跟双目一样,也是三角测量。不过,这个三角形已知的两个点中有一个点被替换成了投影仪,另一个点还是摄像头。


揭秘3D深度传感器

这个投影仪投射的就是一个结构光图案,也就是说它会投射一个已知的图案到被测量的物体上,然后通过摄像头来获得返回光照反射的图案,再跟已知的图案进行对比。同时已知这个摄像头和刚才的投影仪之间的固定距离,就能通过三角测量的方案比对出深度的信息。

这种三角测距的传感器都存在这样一个基线大的问题。大家可以想象到,如果两个已知点距离非常窄的话,它们和被测物体的被测点之间所形成的三角形就会非常尖锐,测量出来的误差就会非常大。

目前,有两个主流可量产的结构光方案:一个是散斑结构光,一个是编码结构光。

散斑结构光:

顾名思义,散斑结构光是指投影仪投出来的已知信息是一些随机的散斑,但它会在出厂之后做标的校准,记录下来散斑是什么样子。


揭秘3D深度传感器

散斑结构光是从激光源发射出来一条激光,通过 DOE 元件打成散斑照射到被测物体上。用散斑结构光比较有名的消费级产品包括 iPhoneX 的人脸识别和 OPPO Find X。

编码结构光:

编码结构光跟散斑结构光的区别是:光束投射出来之后用一个掩膜把光遮挡出来一些图案。


揭秘3D深度传感器

比如把光打成格子状,再投到物体上,格子和线条就会变形,再返回到摄像头,就能测量出来它的深度。或者通过彩色编码结构光。通过发射的光就知道哪个位置应该是什么颜色,返回的时候就知道这个颜色有多少偏离,从而知道深度信息。

这种结构光方案的比较出名的应用就是小米手机,它在第 8 代探索版上面应用了这个来做人脸识别。

飞光时间方案

飞光时间(Time of Flight, TOF)和前面两个方案的基本原理不太一样,它用的是光在空间中飞行的时间乘以光的速度,得到我们和被测物体之间的距离。


揭秘3D深度传感器

TOF 传感器上会有一个红外 LED 或 VCSEL 发射光源,高频发射一个亮光源。亮光源打到被测物体之后,先打到的部分就先反射回来,后打到的部分就后反射回来,这样反射回来的光就会形成被测物体表面形成的形状。

然后 TOF 传感器上面的 CCD(Charge Coupled Device)传感器,就会以极高的频率把变形的亮光源进行切割,每一帧画面都分时地切割。这样我们就会收集到每一帧画面和之前发射面光源的时间差,利用这个时间差就可以计算出每一张画面跟 TOF 传感器之间的距离,从而看出物体的深度信息。

其实 TOF 这个词包含了很多种传感器,有亮光源的、有光束的,之前提到的毫米波雷达其实也是一种。光就是电磁波,毫米波雷达就是一种电磁波,通过发射返回的时间来计算距离。

包括现在智能驾驶用比较多的激光雷达也是 TOF 的原理,它的激光发射器 360 度旋转,这样就可以取得 360 度的视野深度信息。

三种方案特点对比


揭秘3D深度传感器

双目方案和结构光方案算力需求比较高。因为它们是通过图像一帧一帧分析深度信息,就需要用算法处理大量的图像,处理图像的算力要求很高。

TOF 之所以抗光性较好,是因为它可以通过增加 TOF 传感器下面光源的强度,来让它与太阳光之间形成很高的对比度,使得每一帧画面都能和阳光区分开。但其他两种深度传感器的光照强度不足,难以获取高对比度图像。

但是,双目方案或结构光方案在阳光下的光强没办法达到这么高,也不是瞬时的结构光信息,所以没办法在强光下识别。如果用手机摄像头来对准强光,基本上全都过度曝光。

之前讲到,三角测量原理没办法把模组做小。所以,测量的距离越大,双目和结构光方案的摄像头之间基线就要越大;基线越大,传感器就会越大。

但是 TOF 不存在这个问题。TOF 的摄像头紧挨着一个光源,形成 TOF 的模组,因为它的测量原理不要求光源和摄像机之间的距离加大。

大家可以想象一下 TOF 在和光的速度做赛跑,那么它的 CCD 接收图像的速率,即帧率是非常高的。目前较大的 TOF 传感器可量产化的只能做到 VGA 分辨率,目前的生产水平还不能做更大规模的。


智能手机 摄像头 自动驾驶 人脸识别 智能驾驶
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教程下载

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教

课程目录01-学前须知01-为什么要学习数据结构与算法02-编程语言的选择03-课程大纲04-…...

阿里云大数据分析师ACP认证视频教程下载

阿里云大数据分析师ACP认证视频教程下载

课程介绍阿里云大数据行业认证-大数据分析师认证(ACP-Alibaba Cloud Certified Prof…...

恋上数据结构与算法(第二季),视频教程下载

恋上数据结构与算法(第二季),视频教程下载

课程介绍:课程由MJ老师和名企算法大咖共同研发,在保证易懂的同时确保课程的系统全面…...

社交网络分析与挖掘,视频教程下载

社交网络分析与挖掘,视频教程下载

课程介绍:社交网络和数据挖掘是计算机学科相关研究中的热点,其具体研究涵盖理论、关…...