更优化的ToF: 索尼 DepthSense (深度感知)3D传感器解疑释惑

索尼DepthSense™飞行时间 (ToF)传感器集各项先进技术于一体,提供快速、可靠的实时3D成像。通过利用电流辅助光电子解调器(CAPD)和其高性能背照式像素结构,以及LUCID的专业化的相机设计,索尼可在LUCID的Helios 3D系列相机中达到最大飞行时间性能。

汇集各种科技

飞行时间(ToF)技术已在工业行业应用多年,但索尼 IMX556 DepthSense ToF 传感器的发布将 3D 传感的精度和准度带到了行业的新水平。凭借其独特的 DepthSense 像素结构,索尼的 ToF 传感器能够更可靠地以 3D 格式、更详细、更快速的帧率重建被测物体。结合 LUCID 自身的相机研发技术力量,索尼的DepthSense传感器将为我们带来最大的工业应用潜力。

电流辅助光电子解调器(CAPD)

ToF技术的工作原理是测量光线从光源、场景反射后进入传感器的时间延迟。索尼IMX556 CMOS传感器所用特定类型的飞行时间被称为连续波(CW)调制,亦称CW信号相位移动或间接飞行时间。Helios相机并不测量单一光脉冲的时间延迟,而是不间断地发射调制光线,利用发射光与反射光之间的相位移位计算距离。 为了精确计算相位移动,IMX556采用电流辅助光电子解调器(CAPD)像素结构,对入射光与发射光调制同步采样。CAPD允许在每个像素的光电二极管中有一个交变电压(交流电压),从而产生漂移场,将电子分开并拉向交变检测结点。在下面的简化示例中,调制光线从垂直空腔表面发射激光器(VCSEL)二极管中发射出来。 该光线被反射回像素光电二极管中,在像素光电二极管中,光线被转换成电子并在交变检测结点之间被分割。光线收集效率因此提高了

索尼的 IMX556 深度感知 ToF 传感器,采用 CAPD 和背面照明(BSI)技术,与市场上现有的 ToF 解决方案相比

上图:电流辅助光电子解调器(CAPD)的交变电压产生一个可在两个检测结点(b1, b2)之间分离电子的交变漂移场。这种交变漂移场与VSCEL激光二极管的调制频率同步。为了充分捕捉反射光,两个结点的相位相差180°。这就是传感器可比较发射光和反射光并计算两者之间相移的方式。

旁注

索尼IMX556 DepthSense ToF 传感器规格:

  • 背照式互补型金属氧化物半导体(CMOS)
  • 640×480像素
  • 全局快门
  • 10.0µm 像素大小
  • 1/2″ 传感器尺寸
Sony DepthSense imx556 cmos

旁注

电流辅助光电子解调器(CAPD)飞行时间图像传感器技术于2006年由比利时Softkinetic公司的创始成员首次引入,该公司于2015年被索尼收购。下图:D. Van Nieuwenhove、W. Van der Tempel、R. Grootjans和M. Kuijk的”基于电流辅助光电子解调器的飞行时间光学测距传感器”的电流辅助光电子解调器(CAPD)图。

CAPD 图

分步解决

一旦光子在光电二极管内转换成电子,就被迅速拉向检测结点,以此确保相机准确计算相移。在每个检测结点中都有阳性区域(p+)和阴性区域(n+)。当引入电流产生漂移场时,电子空穴(h+)向电压最低的p+区域移动,而电子(e-)向电压最高的区域反方向移动(n+)。电流辅助光电子解调器(CAPD)极其快速有效。它能够让漂移电场极性快速交变产生非常高的解调对比度。高对比度意味着更多的电子根据其返回时间被导向正确结点,以此提高相移计算质量。深度感知传感器的准确度和精确度因此更高。此外,电流辅助光电子解调器(CAPD)的漂移电场能够深入到光电二极管内部,使尽可能多的电子加速移到检测结点。除此之外,还结合背面技术,有助于在850纳米时产生57%的高量子效率。因此,Helios相机在1米的相机距离下可以实现小于5毫米的准确度和小于2毫米的精度。

CAPD time-of-flight technology depthsense

左上方:电流辅助光电子解调器(CAPD)的横截面显示电子(e-)加速向最高电压区(n+)移动,而电子空穴(h+)向最低电压区(p+)移动。
右上方:电流辅助光电子解调器(CAPD)有助于产生高量子效率 (850纳米时为57%)和高解调对比度。

单帧,四相

电流辅助光电子解调器(CAPD)的速度可让IMX556抽样检查每个深度帧4个不同相位的入射光。每个样品(亦称微帧)按90°(0°、90°、180°、270°)进行相位分步,各有3个阶段:重置、集成化和读出。在重置阶段,像素电压重置为基线。当电流引入漂移场将电子引向检测结点时,集成化阶段就开始了。在读出阶段,传感器上读取所有像素数据。读出阶段后,传感器进入闲置时间,这样可以降低功率和热量水平。

parts of depth frame

只需有0°和90°的微帧即可计算深度。随着被摄体距离的变化,在0°和90°微帧中b1和b2的值也会发生变化。环境光也很容易通过从b1中减去b2的值消除。 然而,即使收集的光子对于b1和b2相同,也总会有轻微的波动(在光子到电子的转换和电子到电压的转换过程中所引起)。重要的是要消除这些波动及其对b1和b2值的影响。 通过增加两个从0°和90°偏移180°的微帧(这有效逆转了b1和b2的作用),并通过将b1和b2的值添加到其相对的180°微帧(反之亦然),相机抵消了每个像素的这些波动。

去除环境光

b1减去b2会抵消每一微帧中的环境光。

像素降噪

将0°微帧的b1加到180°微帧的b2(反之亦然)中,得到两个新量,这些量不存在b1和b2中的任何灵敏度差异(在转换阶段,如暗偏移、增益等引起的偏差)。

电流辅助光电子解调器(CAPD)+背照式CMOS

电流辅助光电子解调器(CAPD)提供了一种有效的方式来解调和收集光电二极管内部的电子,但是反射光必须首先畅通无阻地到达传感器的光电二极管。索尼的背照式(BSI)技术确保最大量的光线到达光电二极管。与传统的前照式CMOS传感器设计不同,背照式传感器将布线层置于光电二极管下方,提高了光敏度。这样安置移除了任何可能会挡住部分射入光线的电线或电路障碍。

背面照明CMOS传感器

减少无用图像伪影是IMX556的另一个优点。由于IMX556是CMOS传感器,它比CCD ToF(飞行时间)传感器具有更好的抗漏光和抗晕染性能。漏光和晕染会导致3D数据出错,当电荷溢出象素井容量,溢入相邻象素中,就会产生漏光和晕染。这种1情况通常由强光源或反射表面造成。在许多飞行时间(ToF)用例中,至关重要的是将这些因素减到最少。在减少这些图像伪影方面,在Helios相机中使用的IMX556 CMOS容错度高得多。

CCD晕染和漏光伪影

上图:CCD晕染和漏光伪影

CMOS图像无漏光且晕染少

上图:CMOS图像无漏光且晕染少

VCSELs:高性能光

用于计算距离的发射光对ToF(飞行时间)相机的性能至关重要。为了确保可靠的性能,Helios(太阳神)相机使用4个垂直空腔表面发射激光器(VCSEL)发射调制光。垂直空腔表面发射激光器在850纳米处发出窄波段的束状光,峰值功率高,升降速度快。除了产生高调制对比度外,850纳米的窄发射频带不发出任何可能干扰系统中其他2D相机的可见光谱(380至740纳米)光。与边缘发射激光器不同,VCSEL具有较低的相干性,从而产生无斑点图像。更高的峰值功率用更多的光子照亮场景,从而减少噪声和增强环境光抗干扰性,提高了距离计算的精度。

QE and VCSEL charts

上图: Helios VCSEL发射出波长为850纳米的光线足以充分利用IMX556 CMOS传感器56.6%的量子效率(850纳米)。

旁注

Helios ToF 相机所用的4个VCSEL安装在相机的前部。VCSEL是位于成像板各角附近的白色小方块。

索尼IMX556深度感知ToF(飞行时间)
VCSELs:高性能光

上图:与LED相比,VCSEL的升降速度更快,这使得VCSEL成为连续波相移ToF(飞行时间)传感器(如IMX556)的绝佳光源。VCSEL还可以产生高调制频率,因此获得的短射程准确度和精确度更高。

结语

索尼IMX556 深度感知3D ToF传感器可进行可靠而精准的三维测量。创新的电流辅助光电子解调器(CAPD)漂移场技术与索尼背照式CMOS专门技术相结合,使深度感知3D摄像头传感器成为工业相机集成的绝佳选择。此外,LUCID的太阳神(Helios)相机配备了IMX556传感器,为用户提供工业强度的相机,通过4个VCSEL发射器提供高对比度场景照明。虽然目前有其他飞行时间(ToF)解决方案,但最可行的工业用途是太阳神(Helios)相机,使IMX556在1米距离达到小于5毫米 (0.3米到1.5米相机到被摄体的距离)的准确度和小于2毫米的精确度。

Helios ToF 相机采用索尼DepthSense(深度感知)传感器

Helios 系列3D相机

Helios 是一款高精度3D ToF相机,配置4个850纳米 VCSEL激光二极管,集成了索尼全新的DepthSense™ IMX556PLR背照式飞行时间(ToF)图像传感器。该相机提供640 x 480的深度分辨率和高达6米的工作距离。镜头上处理过程可提供范围、强度和置信度数据,减少了对昂贵主机系统组件的需求。与M12以太网连接的强大设计使该相机成为工厂和仓库环境的理想选择。访问Helios产品页面 访问太阳神(Helios)产品页面