香港理工大学：研究面向数据高效与高精度时空感知的增强视觉传感器

发布时间：2026-10-23来源：传感器专家网

研究背景介绍

机器视觉里“慢变的场景语义”和“快变的瞬态事件”天然异构：帧相机靠全帧采样保空间但时间分辨率被30–60 fps锁死，高帧率又把数据量推到存储与传输承受不了；事件相机只在亮度变化时发稀疏脉冲，微秒级响应但丢掉绝对强度，高层任务因缺语义而掉精度；DAVIS把两套通道塞进同一像素，却输出双数据流，后端融合重、硬件开销大。理想前端应在一个像素里自适应处理异构成信息：低频存背景、高频抓事件、硬件内融合、不冗余。本文把“传感器内计算”从卷积/特征提取进一步推进到时空模态原生融合。

前置/相关背景工作：

机器视觉数据瓶颈与异构时空感知：Yang等（Nature 2024，629，1027–1033，doi:10.1038/s41586-024-07474-z）提出互补通路视觉芯片；Gehrig与Scaramuzza（Nature 2024，629，1034–1040，doi:10.1038/s41586-024-07703-8）讨论事件相机低延迟汽车视觉；Wang等（Nat. Nanotechnol. 2024，19，919–930，doi:10.1038/s41565-024-01659-1）综述多维视觉传感器与信息处理。

帧相机与高帧率限制：Dudek等（Sci. Robot. 2022，7，eabl7755，doi:10.1126/scirobotics.abl7755）做像素级处理器阵列；Dodda等（Nat. Mater. 2021，21，1379–1387，doi:10.1038/s41563-022-01398-2）做MoS₂有源像素阵列；Xiong等（Nat. Commun. 2025，16，4728，doi:10.1038/s41467-025-59874-2）做门控硅探测器并行模拟视觉处理。

事件驱动视觉传感器：Lichtsteiner等（IEEE JSSC 2008，43，566–576，doi:10.1109/JSSC.2007.914337）早期128×128事件相机；Brandli等（IEEE JSSC 2014，49，2333–2341，doi:10.1109/JSSC.2014.2342718）DAVIS；Fernández-Peramo等（IEEE JSSC 2025，60，3355–3365，doi:10.1109/JSSC.2025.3502890）光伏动态视觉传感器；Zhou等（Nat. Electron. 2023，6，870–878，doi:10.1038/s41928-023-01037-0）计算事件驱动视觉与脉冲神经网络。

传感器内计算与光电存储：Ren等（Adv. Mater. 2025，37，2407476，doi:10.1002/adma.202407476）综述光电器件用于传感器内计算；Li等（IEEE TED 2015，62，1184–1188，doi:10.1109/TED.2015.2395138）IGZO浮栅存储；He等（J. Phys. D 2020，53，215106，doi:10.1088/1361-6463/ab7c94）IGZO突触晶体管；Li等（Adv. Mater. 2022，34，2107734，doi:10.1002/adma.202107734）vdW MISFET内存光电探测；Hong等（ACS Nano 2021，15，15362–15370，doi:10.1021/acsnano.1c04515）神经形态像素阵列。

本文定位：不同于DAVIS“双通道后端融合”或纯事件相机“丢绝对值”，本文在单个TransMIS像素内用浮栅非易失存语义、MIS差分抓事件，硬件级统一输出，直接破解“空间保真—时间分辨—数据量”三角权衡。

基于此，香港理工大学研究团队提出一种增强视觉传感器，用统一TransMIS像素单元把Sb₂Se₃光电浮栅的低频非易失空间语义存储与Si基MIS的事件驱动瞬态增强在像素内融合，34×34阵列以约30 fps刷新背景、~10 μs有效时间分辨抓取动态，数据量降低96%以上，同时保留信息熵7.08与交通违例识别准确率>90%。

研究方法

器件制备：p-Si片清洗→ALD 30 nm Al₂O₃阻挡层→热蒸发/ALD Sb₂Se₃浮栅→ALD 10 nm Al₂O₃隧穿层→RF溅射30 nm IGZO并盐酸湿刻→溅射50 nm ITO电极剥离→Cr/Au（10/100 nm）交叉互连→PVD SiO₂隔离层。

图文解析

图1 动机：a数据墙示意；b(i)多传感器后端融合，(ii)前端传感器内异构感知；c传统帧/事件/DAVIS在时空-数据-信息上的权衡三角。

图2 原理与结构：a增强传感器操作范式（低频存语义+事件增强）；b TransMIS等效电路；c像素布局；d Sb₂Se₃/Si/IGZO光谱互补；e吸收系数对比；f浮栅非易失存强度、MIS差分抓变化；g IGZO高透射；h ITO/IGZO波长响应。

图3 时序可视化：a–c能带与电荷走向（存储/增强/刷新）；d单像素完整周期电流：非易失基线+事件尖峰；e交通场景三段输出——存标线、抓车、刷新。

图4 器件物理：a,b光助隧穿的存储/擦除V_G依赖；c波长/强度多电平存储；d MIS瞬态事件电流；e多波长事件增强；f,g动态范围>120 dB、对称指数0.87；h,i响应3.8 μs、10 μs可分辨。

图5 阵列与系统对比：a 34×34阵列；b截面与交叉互连；c原型系统；d“P+U”成像；e交通场景组成；f–i四种传感器实时输出；j数据量对比（增强降>96%）；k信息熵；l CNN准确率（增强>90%）。

总结与展望

本研究提出了一种“增强视觉传感器”新范式：用TransMIS单像素把Sb₂Se₃浮栅的非易失空间语义存储与Si基MIS的事件驱动时间微分在IGZO透明通道内直接融合，突破帧相机、事件相机与DAVIS各自取舍。34×34阵列实测数据量降96%以上、时间分辨~10 μs、动态范围>120 dB、信息熵7.08、高层任务准确率>90%，证明“高保真语义+高速动态”可在前端硬件统一。相较已有传感器内计算工作，本文核心区别不是单纯做神经形态滤波，而是重构像素的信息论分工——慢变量存基线、快变量发事件。局限在阵列规模小（34×34）、栅压周期依赖外部时序、CNN仅二分类演示、未做复杂自然场景端到端训练、浮栅耐久性/循环次数未充分展开。后续可朝大阵列晶圆级集成、无栅压自时钟事件触发、与后端脉冲神经网络直连、近红外/红外扩展、存算一体的事件关联记忆、以及自动驾驶与具身智能前端闭环推进；物理层面还可探索二维材料浮栅、光控隧穿进一步降低刷新功耗，把“数据墙”真正从采集端消解。

所有作者: Qinqi Ren，Zhiyuan Li，Zhaoqing Wang，Chao Zhang，Sijie Ma，Guang Zeng，Yifei Wang，Jialiang Wang，Jianghong Wu，Yang Chai.

第一作者: Qinqi Ren(任沁琦).

通讯作者: Yang Chai(柴扬).

主要单位: 香港理工大学物理与材料学系，香港理工大学人工智能物联网研究院，香港理工大学微电子联合研究中心.

文章链接:

https://doi.org/10.1038/s44460-026-00146-9

星标的内容=你在乎的内容，根据微信公众号推荐原则，没有在传感器专家网公众号主页【设为星标】，将无法及时获得传感器行业最新资讯！

来源：步捋时空

如有投稿爆料采访需求，请发邮箱：sensorexpert@sensorexpert.com.cn。