深入了解索尼 IMX636 与 IMX637 事件型传感器的基础原理,并学习如何优化 Triton2 EVS 相机。本章节将介绍偏置参数(bias)与滤波器(filter)的作用机制,并结合实际应用示例进行说明。掌握这些功能的使用方法,将有助于提升和优化您的事件型视觉数据表现。 优化事件相机视觉应用:Triton2 EVS 事件相机专题

差异化感知

事件驱动相机相较传统帧式相机具有独特优势。它在像素级检测亮度变化,仅当变化超过预设阈值时才输出数据。该机制带来更高动态范围与出色的低照度灵敏度,使用户能够以极高时间分辨率捕捉场景的细微变化,同时保持较低的数据输出量。Triton2 EVS 搭载 Sony IMX636 和 IMX637 传感器(与 Prophesee 协作开发),输出包含坐标、极性和时间戳的事件数据,并提供多种可调参数用于优化事件输出。这类传感器能够有效捕捉高速运动目标以及低光场景中的变化,非常适用于动态环境。与此同时,事件滤波与事件速率控制功能可帮助抑制无效事件,提升数据管理效率并优化整体系统性能。

通过偏置事件阈值(Bias Event Thresholds)、偏置滤波器截止(Bias Filter Cutoff)、偏置不应期(Bias Refractory Period)以及感兴趣区域(ROI)等参数,用户可精确控制传感器的灵敏度与响应行为。此外,抗闪烁滤波器(Anti-Flicker Filter)、事件突发滤波器(Event Burst Filter)与事件速率控制(Event Rate Control, ERC)在减少无效事件方面同样至关重要。通过合理配置这些功能,用户可以微调灵敏度、抑制冗余事件,并将输出聚焦在最相关的数据上。

在深入介绍这些功能之前,我们先概述传统面阵相机与 Triton2 EVS 事件驱动相机的差异,并解释事件驱动传感器的基本工作原理。

面阵相机

传感器上所有像素要么同步采集亮度信息(全局快门),要么按行依次采集(滚动快门)。相机随后处理这些数据,生成完整的图像帧。

事件驱动相机

每个像素独立工作并持续监测亮度变化。当变化超过预设阈值时,像素输出事件的坐标(x, y)、极性(p)和时间戳(t)。事件驱动传感器没有快门或帧的概念,只有发生变化的像素才会发送数据,从而降低整体数据输出量。

事件驱动像素与传感器的工作原理

在 IMX636/637 事件驱动视觉传感器中,像素阵列中的每个像素都会独立监测入射光的亮度,其处理流程如下:

光电转换:像素先将光信号转换为电压。

滤波处理:电压信号通过低通滤波器与高通滤波器,用于限定可响应的亮度变化频率(即时间尺度)。

差值计算:像素将电压与参考电压进行比较,计算亮度变化的差值(delta)。

阈值检测:将差值送入阈值比较,用于限定允许触发事件的亮度变化幅度。

    • 当亮度增加超过正阈值时,生成正事件(暗→亮);
    • 当亮度降低低于负阈值时,生成负事件(亮→暗)。
      事件数据的正负属性称为事件的极性(polarity)

参考电压更新:事件生成后,像素会将参考电压更新为当前亮度水平。

下方动画展示了像素处理的关键阶段,以及滤波器与阈值在链路中的位置,便于理解事件的生成机制。

附注:

在 IMX636/637 传感器中,一旦像素将入射光转换为电压信号,该信号会被送入读出与处理链路:

  1. 读出模块:为事件添加 X/Y 坐标与时间戳。
  2. 信号处理模块:对事件进行可选滤波处理。
  3. 事件编码与输出:将事件数据编码为 EVT 3.0 格式并输出。

Triton2 EVS 与 PC 软件的工作原理

在事件信号完成阈值处理后,事件数据还可进一步经过其他可选滤波器,包括抗闪烁滤波器(Anti-Flicker Filter)、事件突发滤波器(Event Burst Filter)以及事件速率控制(Event Rate Control, ERC)。本文后续将对这些滤波器进行详细说明。

完成滤波后,Triton2 EVS 相机会将事件数据编码为 EVT 3.0* 格式,这是 Prophesee 提出的 16 位压缩编码方式。随后,数据通过 GigE Vision 流传输协议(GVSP)发送到网络中。GVSP 是机器视觉相机以太网数据传输的标准协议。

当数据到达主机 PC 后,可使用 LUCID 的 Arena 软件开发工具包(SDK)进行处理。Arena SDK 提供多种工作流:用户既可以解码 XYPT 数据用于后续算法处理,也可以生成 CD 帧(并在 ArenaView 中进行可视化),或直接保留原始 EVT 3.0 数据格式。此外,用户也可以选择使用 Prophesee 的 Metavision SDK。使用 Metavision SDK 时,Triton2 EVS 的 HAL 插件会将控制命令转换为相机可理解的格式,因此 Metavision SDK 用户无需关注 Triton2 EVS 的具体控制细节,插件会自动完成相应操作。

最后,相机与传感器的控制基于 GenICam 节点实现。GenICam 是机器视觉领域的标准之一,可提供通用的编程接口,使控制方式保持一致,体验上与控制常规 GigE Vision 相机类似。
*详细 EVT 3.0 数据编码格式参考:https://docs.prophesee.ai/stable/data/encoding_formats/evt3.html

Triton2 EVS 相机可配合 LUCID 的 Arena SDK 或 Prophesee 的 Metavision SDK 使用。使用 Metavision SDK 时,LUCID 提供 HAL 插件以简化相机控制。

事件数据可视化:CD 帧

在上一节中我们提到,LUCID 的 Arena SDK 可将 EVT 3.0 事件数据转换为单独的图像帧,即 CD 帧(Contrast Detector Frame,对比检测帧),并可通过 LUCID 的 ArenaView GUI 进行查看。CD 帧会在设定的帧周期内,将正事件与负事件绘制到对应的 XY 坐标上。

CD 帧是可视化事件数据最简单、最快的方法,但也存在局限性:
• 无法表示同一像素在一个帧周期内的多次激活;
• 无法表示帧周期内的事件时间信息。

ArenaView(Arena SDK 的一部分)与 Metavision Studio(Metavision SDK 的一部分)都支持使用 CD 帧对事件数据进行可视化。

用户可以通过设置 Accumulation Time(累积时间)来定义 CD 帧的帧周期。同时,还可设置 Frame Generator 帧率、CD 帧位深(Bit Depth)以及 CD 帧颜色主题(Color Theme)。

在该视频示例中,通过 ArenaView 显示 CD 帧。由于目标静止且对比度变化极小,因此仅检测到少量事件。

在该视频示例中,由于 a) 人体运动以及 b) 黑色毛衣与白色墙面的高对比度,检测到了大量事件。

生成的事件(亮度变化)可分为正事件(暗→亮)或负事件(亮→暗),这称为事件的极性(polarity)

偏置与滤波概览

在以下章节中,我们将详细介绍 Triton2 EVS 相机的偏置(Bias)、滤波器(Filter)及其他功能。这些功能可用于对事件输出进行精细调节。下表总结了各项功能对相机输出的影响,您也可以点击偏置或滤波器名称,直接跳转到对应章节。

[table “225” not found /]

偏置低通滤波器截止(Bias Low Pass Filter Cutoff)
偏置高通滤波器截止(Bias High Pass Filter Cutoff)

为调节可检测对比度变化的时间尺度,每个像素都配备 偏置低通滤波器截止(Bias Low Pass Filter Cutoff)偏置高通滤波器截止(Bias High Pass Filter Cutoff) 两个参数。

偏置低通滤波器截止(Bias Low Pass Filter Cutoff)用于设置低通滤波器的截止频率,从而影响对快速对比度变化的响应:
• 降低截止频率:滤除高频变化,像素响应延迟增加,有助于降低背景事件率、噪声与总体事件率。
• 提高截止频率:保留高频变化,改善响应延迟,但可能增加背景事件率。

偏置高通滤波器截止(Bias High Pass Filter Cutoff)用于设置高通滤波器的截止频率,从而影响对低频对比度变化的抑制:
• 降低截止频率:保留低频变化与缓慢运动,事件率与噪声可能增加。
• 提高截止频率:滤除低频信号与缓慢运动,有助于降低事件率与噪声。

总体而言,降低偏置低通滤波器截止会增加事件延迟及其波动,而提高该值的影响通常较小。提高偏置高通滤波器截止可减少由缓慢对比度变化引起的事件。这些调节可帮助您根据应用需求在事件检测能力与噪声/事件率之间取得平衡。

偏置高通滤波器截止示例(点击图片放大)

负值

(将数值从默认值降低)
降低该值可减少噪声,但会增加事件延迟及其波动。

默认值(=0)

通常,该设置在效果上类似于传统面阵传感器的曝光时间,需要在捕捉快速运动与噪声增长之间做权衡。

正值

(将数值从默认值提高)
提高该值可改善延迟性能,测试显示相较默认值噪声并未显著增加。

偏置高通滤波器截止示例(点击图片放大)

默认值(=0)

点击图片可放大查看

正值

(将数值从默认值提高)

更高的正值

(将数值从默认值进一步提高)

提高该值可减少由缓慢对比度变化引起的事件数量。

偏置事件阈值(正)
偏置事件阈值(负)

这两个偏置事件阈值决定了对亮度变化的灵敏度,本质上定义了触发事件所需的变化幅度。偏置事件阈值分为正阈值(Positive)负阈值(Negative)两类。

偏置事件阈值(正,Bias Event Threshold Positive)控制 ON 事件的灵敏度(亮度增加到何种程度触发正事件),通常以白色像素显示。
• 降低阈值:正事件增多,显示更多白色像素。
• 提高阈值:灵敏度降低,显示的白色像素减少。

偏置事件阈值(负,Bias Event Threshold Negative)控制 OFF 事件的灵敏度(亮度下降到何种程度触发负事件),通常以黑色像素显示。
• 降低阈值:负事件增多,显示更多黑色像素。
• 提高阈值:灵敏度降低,显示的黑色像素减少。

对正、负偏置事件阈值而言,降低数值通常可改善像素延迟,但会提升事件率(灵敏度更高,可检测更小变化,同时噪声可能增加)。提高阈值则会降低灵敏度,有助于减少事件率(噪声与事件数量下降)。

偏置事件阈值(正)示例(点击图片放大)

负值

灵敏度更高,事件更多,噪声增加。

默认值(=0)

控制触发正事件所需的亮度增加幅度。

正值

灵敏度降低,事件减少,噪声减少。

偏置事件阈值(正)示例(点击图片放大)

负值

灵敏度更高,事件更多,噪声增加。

默认值(=0)

控制触发负事件所需的亮度下降幅度。

正值

灵敏度降低,事件减少,噪声减少。

偏置不应期(Bias Refractory Period)

偏置不应期(Bias Refractory Period)定义像素在生成一次事件后保持“非活跃”的时间窗口。这段“休眠”时间可防止像素在极短时间内重复触发,在对比度变化频繁或幅度较大的场景中特别有用。通过调节不应期,可控制由强烈对比度变化引起的事件数量:
• 延长不应期:降低事件触发频率。
• 缩短不应期:提高事件触发频率。

偏置不应期示例(点击图片放大)

负值

不应期(休眠时间)更长

默认值(=0)

用于设定事件之间的“休眠”时间长度。

正值

不应期(休眠时间)更短

感兴趣区域(Region of Interest, ROI)

Triton2 EVS 提供两种设置感兴趣区域(ROI, Region of Interest)的方法:
1. 单窗口 ROI:通过宽度(Width)、高度(Height)、X 偏移(Offset X)与 Y 偏移(Offset Y)定义窗口区域,方式与常规面阵相机类似,可精确指定单个 ROI 窗口。
2. 多 ROI 行/列(Multi ROI Rows/Columns):允许按行或列启用/禁用像素区域,在 ROI 定义上更灵活。

此外,系统还支持 ROI 反转(RONI, Region of Non-Interest),可作为掩码排除不需要分析的区域。在需要聚焦关键区域、忽略无关部分时尤其有用。

ROI-Examples-1

抗闪烁滤波器(Anti-Flicker Filter)

抗闪烁滤波器(Anti-Flicker Filter)用于抑制指定频段内的光源闪烁事件。闪烁的 LED 或荧光灯通常会产生大量无关事件,显著增加事件数据量。启用抗闪烁滤波器后,这类无效事件会被滤除,从而将输出聚焦在与应用相关的数据上。

该功能还提供反向启用选项(Invert Enable)。启用后,系统只保留由闪烁光源引起的事件,适用于需要专门跟踪特定闪烁光源的场景,可提升跟踪精度。

抗闪烁滤波器示例(点击图片放大)

LED 50Hz 闪烁

图中圈出的 LED 及其反光区域以 50Hz 频率闪烁。

抗闪烁滤波器:关闭

滤波器关闭时,相机会检测到闪烁光源,产生约 1.2 Mev/s 的事件。

抗闪烁滤波器:开启

滤波器开启(49–51Hz)时,相机会滤除闪烁光源,将事件量降至约 20 Kev/s。

事件突发滤波器(Event Burst Filter,TRAIL / STC)

该滤波器用于抑制事件突发中的冗余事件,或按需滤除突发中的首个事件。这里的“事件突发”指一段时间内在同一位置以相同极性(正或负)重复触发的一系列事件。事件突发滤波器包含两种类型:TRAIL 与 STC(时空对比,Spatio Temporal Contrast)。

事件突发滤波器 TRAIL 示例

TRAIL 滤波器仅输出事件突发中的第一个事件。此外,事件突发滤波器持续时间重置模式(Event Burst Filter Duration Reset Mode)用于指定“去除冗余事件”的计时起点:
• First Event of Burst:仅从突发的第一个事件开始计时。
• Every Event:对每个事件都重新计时(包括已被去除的事件)。

用户可自定义事件持续时间。通过消除冗余事件,TRAIL 滤波器可有效降低整体数据率,适用于处理能力或带宽受限的系统。

在下方动画视频中(TRAIL 与 STC 示例),事件持续时间设置为 200 µs。用户可自定义事件持续时间,范围为 21 µs 至 52486 µs(Event Burst Filter Duration)。

事件突发滤波器 STC 示例

STC(时空对比,Spatio Temporal Contrast)滤波器可配置为仅输出突发事件中的第二个事件(Second Event of Burst Only),或输出从第二个事件到突发结束的所有事件(Second Event of Burst to End)。这些设置适用于需要聚焦关键变化、同时抑制冗余事件的应用场景。

事件速率控制(Event Rate Control, ERC)

事件速率控制(Event Rate Control, ERC)用于管理输出事件速率:当事件速率可能超过目标上限时,系统会按需丢弃部分事件,使输出保持在设定值以下。该过程在每个参考周期内执行,参考周期最长可达 200 µs,并且会在抗闪烁滤波器与事件滤波器之后生效。ERC 执行完成后,事件数据将以 EVT 3.0 格式编码输出。由于事件速率与数据率会受场景与相机参数影响,两者之间的换算关系并非固定,因此通常难以将数据率精确调节到某个指定值。

Triton2 EVS 相机面向 2.5GigE 与主机 PC 的连接设计,该带宽可为系统提供更充分的事件处理能力。但在某些情况下,极端且持续的对比度变化可能导致事件数量激增,占满链路带宽。即使使用 2.5GigE 连接,设置 ERC 限值也可作为安全机制,避免事件突发引起的图像延迟、链路溢出或相机掉线。

如果 Triton2 EVS 通过 1GigE 连接,建议将 ERC 速率限制设置为每秒 4000 万事件(40 MEv/s)。
欲了解更多信息,请参阅知识库文章:在低于 2.5GigE 连接下控制 Triton2 EVS 相机的事件速率(事件速率控制 / ERC)

Event-Rate-Control-Example-ERC

结论

在本技术简介中,我们介绍了 Triton2 EVS 事件驱动相机的工作原理,并概述了多项用于精细调节事件输出的功能与选项。通过合理配置相机参数,用户可以控制传输到 PC 的数据量,从而降低主机端的 CPU 与内存负载。完成参数调优后,用户还可借助 Arena SDK 或 Metavision SDK 执行多种自定义处理与分析任务,以进一步提取与增强有效信息。欲了解更多信息,请访问 Triton2 EVS 产品页面。

Triton2 EVS IMX636 IMX637 基于事件工业相机

来源:
Sony: Event-based Vision Sensor(EVS)技术
Sony: Event-based Vision Sensor (EVS) | 产品与解决方案
Prophesee: Metavision SDK 文档
A 1280×720 背照堆叠时序对比事件驱动视觉传感器,像素尺寸 4.86µm,1.066GEPS 读出,可编程事件速率控制器与压缩数据格式管线
How Neuromorphic Image Sensors Steal Tricks From the Human Eye
Retinomorphic Event-Based Vision Sensors: 生物启发型相机及脉冲输出
Latency Asynchronous Temporal Contrast Vision Sensor

Scroll Up