索尼 IMX490 CMOS:24 位 HDR 图像传感器

索尼 5.4 MP IMX490 CMOS 图像传感器基于亚像素架构,在传感器端实现 HDR 成像与 LED 频闪抑制。相较于传统 HDR 方案,该技术可在运动场景下输出无运动伪影的 HDR 图像。本技术简报将解析其实现原理。

介绍

为集成更多片上功能并提升低照度灵敏度,图像传感器持续演进。同时,应用工程师也面临将相机与传感器性能发挥到极限的系统设计压力,往往需要在主机端增加图像后处理来满足应用需求。针对高对比度场景(例如户外汽车视觉)的一项典型后处理就是高动态范围(HDR)合成。随着索尼 IMX490 CMOS 传感器的推出,HDR 合成被下沉到传感器内部实现,使视觉工程师能够简化 HDR 成像链路,同时还可结合 LUCID 相机的 24 位图像处理通道,进一步优化显示与调校。

高动态范围:传统方式

HDR 成像通常需要采集多张具有不同曝光时间的图像,并在后端将其融合为一张图像。不同曝光设置可在高光与暗部区域获得更完整的有效信息。例如,长曝光有利于暗部细节,但可能牺牲高光信息;短曝光可保留高光细节,但在暗部可能几乎无法获得可用数据。最终融合结果会从各次曝光中择优取值,得到一张 HDR 图像。

上图:传统 HDR 将多幅不同曝光时间的图像按序采集,并在主机端进行融合,生成一张 HDR 图像。

边注

传统 HDR 也可借助相机的序列器(Sequencer)实现。序列器允许对相机进行编程,按顺序采集多张图像。每张图像可设置不同的参数,包括分辨率、增益、曝光等,然后在主机端对这些图像进行处理与融合。

传统 HDR:不适合运动拍摄

传统 HDR 非常适合静态场景,但在高速运动场景(例如汽车应用)中容易产生运动伪影。当场景内目标在不同曝光之间发生位移时,由于各次曝光采集时间不同,后端融合得到的 HDR 图像可能出现形变或扭曲。

上图:传统 HDR 依赖曝光序列,在运动场景中并不理想。由于各次曝光采集存在时间差,融合结果容易出现运动伪影。

最终 HDR 结果,运动伪影:

传统 HDR:不适合运动拍摄

融合后的 HDR 图像出现明显运动伪影,汽车与建筑边缘形变尤为突出。

IMX490:同时曝光

与传统 HDR 不同,索尼 IMX490 CMOS 传感器可在同一时刻完成采集,实现无时间间隔的 HDR 成像。这得益于传感器的亚像素设计(也称分割像素结构),同一像素单元内包含大亚像素与小亚像素,不同尺寸对应不同灵敏度与饱和容量。此外,每个亚像素还会以高转换增益与低转换增益两路方式读出,使每个像素在一次采集中得到四路 12 位数据。四路数据在传感器内部进行线性组合,输出单一的 24 位 HDR 值。注意:虽然可在大亚像素与小亚像素之间设置不同曝光时间,但通常建议保持一致,以获得更稳定的成像一致性。

上图:IMX490 采用两种不同尺寸的亚像素(一大一小),且每个亚像素支持两路读出(高转换增益与低转换增益),因此可在单次采集中获得四路同步数据。

上图:四路通道数据在传感器内部完成线性组合,输出一张 24 位 HDR 图像。

IMX490:频闪抑制

IMX490 的另一项优势是对 LED 频闪具有更好的抑制能力。许多传统 HDR 相机为了在明亮区域获取低灵敏度通道数据,需要采用非常短的曝光时间以避免光电二极管过饱和。短曝光可能短到足以采样到 LED 供电引起的亮度波动,从而在图像中表现为频闪条纹。IMX490 由于采用亚像素设计,不必依赖极短曝光来覆盖明亮区域。针对高亮区域的低灵敏度亚像素可在更长曝光下工作,通过时间平均效应有效减轻频闪影响。

上图:极短曝光可能捕捉到 30、50 或 60 Hz 交流供电 LED 的亮度波动。IMX490 的低灵敏度亚像素可在更长曝光下工作,通过平均效应减轻频闪。

工作原理:像素结构

IMX490 的像素结构在提升整体灵敏度的同时兼顾低噪声设计。它是一款背照式(BSI)传感器,金属布线层位于光电二极管下方,使更多入射光能够到达光电二极管且不被电路遮挡,从而提升感光效率。每个亚像素还采用不同尺寸的微透镜,以更高效率将光聚焦到对应光电二极管。通过光屏蔽结构与深沟槽隔离(Deep Trench Isolation),可降低两个亚像素之间的光学串扰与电荷泄漏。综合这些设计,IMX490 可实现高量子效率、超过 120 dB 的动态范围,以及 120000 e- 的饱和容量。

IMX490两个亚像素的特写视图(模拟图像)

上图:放大后的传感器示意,可看到两种不同尺寸的亚像素结构。

两个亚像素的特写视图(模拟图像)

像素结构的截面示意。IMX490 为背照式 CMOS 传感器。

交互式曲线图:将鼠标悬停在曲线点位上,可查看量子效率(QE)百分比。

TRI054S-CC (彩色, Sony IMX490 CMOS)
彩色EVMA 1288结果
动态范围123.6 dB
SNR (最大值)50.8 dB
饱和容量120000 e-
绝对灵敏度阈值(测量在527.5nm)1.5 γ
颞暗噪声0.54 e-
增益9.83 DN24 / e-

emva-1288-logo

EMVA 1288 是机器视觉传感器与相机规格参数的测量与呈现标准。有关 EMVA 1288 标准的更多信息,请访问 http://www.emva.org/standards-technology/emva-1288/

如前所述,IMX490 通过同一像素单元内两种亚像素实现高动态范围,这些亚像素在灵敏度与饱和容量方面各不相同。每个亚像素又以高转换增益与低转换增益两路读出,为每个像素提供四个 12 位通道。四个通道在传感器内部线性组合为一个 24 位 HDR 值。需要注意的是,EMVA 1288 标准适用于单通道数据的测量与呈现,不直接适用于已组合的 24 位数据。因此,本页面的结果以各通道为单位进行测量,并在必要时进行缩放,以反映这些通道如何组合生成 24 位 HDR 图像。

像素电位截面和驱动时序

IMX490 的独特设计在亚像素 1(SP1)与亚像素 2(SP2)中采用多个浮动扩散结点(Floating Diffusion)。在同时曝光完成后,SP1 与 SP2 的信号按顺序串行输出。下方动画展示了像素电位在各阶段的变化,以及对应的像素驱动时序。

阶段:

8) SP1 与 SP2 的电荷复位。
1) 曝光:SP1 与 SP2 同步曝光。

SP1 读出:
2) 采样 SP1 的复位电平,分别对应低转换增益与高转换增益。
3) 采样 SP1 的高转换增益信号。
4) 采样 SP1 的低转换增益信号。
* SP1 的复位与信号电平均被采样,因此可执行相关双采样(CDS)以降低噪声。

SP2 读出:
5) 采样 SP2 的高转换增益信号。
6) 采样 SP2 的低转换增益信号。
7) 采样 SP2 的复位电平。
* SP2 的复位电平采样发生在信号采样之后,因此无法执行 CDS。SP2 采用增量复位采样(Incremental Reset Sampling)以抑制噪声。
8) SP1 与 SP2 的电荷复位。

在ArenaView中使用LUCID的TRI054S IMX490

如需了解如何在 ArenaView 中使用 LUCID 的 TRI054S-CC,请访问我们的知识库文章:在 ArenaView 中使用 LUCID 的 TRI054S IMX490

该文章介绍了 TRI054S-CC 的功能与选项,包括 HDR 调整、图像增强、数字钳位等。同时还包含位深显示设置、LUT 调整,以及色调映射 Gamma 切换的操作说明。

总结

将索尼 IMX490 与 LUCID Triton IP67 相机结合,可实现高达 120 dB 的高动态范围成像,适用于同时包含极暗与极亮区域的高对比度场景。IMX490 通过双亚像素加双转换增益读出,在同一时刻完成采集并在传感器内部输出 24 位线性 HDR 值,因此可获得清晰、无失真的图像并有效避免运动伪影。此外,IMX490 能在更长曝光下覆盖明亮区域,相比依赖短曝光的传统 HDR 方案,可进一步减轻 LED 频闪。LUCID Triton 相机内置 24 位 ISP,便于用户访问并精细调校 IMX490 的相关功能。Triton 5.4MP 相机采用 IP67 防护设计,适用于户外应用,例如高级驾驶辅助系统(ADAS)、自动驾驶,以及实时焊接检测等工业场景。

查看定价或在线订购,请访问我们的 Triton 5.4MP IMX490 产品页面。

Scroll Up