Adv. Photon. | 扔掉“导星”拐杖!NeOTF神经网络让宽带动态散射成像原位自校准


Advanced Photonics 2026年第3期文章:

Yunong Sun, Fei Xia, "NeOTF: guidestar-free neural representation for broadband dynamic imaging through scattering," Adv. Photon. 8(3), 036007 (2026)
引言
在实际环境中,透过随时间变化的动态散射介质(如生物组织、大气湍流等)进行高保真动态成像,一直是光学与计算成像领域的核心难点。标准的成像重建算法通常极度依赖高信噪比(SNR)的散斑图样,而散射介质快速的时空涨落往往会使传统的校准和重建方案彻底失效。
现有的解决手段主要分为两类:一是基于有导星(Guidestar)的方法,这类方法需要物理导星来提前获取系统的点扩散函数(PSF)或传输函数,但在动态介质中散斑去相关极快,导致标定结果迅速失效;二是无导星的方法,通常从散斑统计学中推导信息并结合迭代相位检索,但在极低信噪比或介质快速变换时极易陷入局部最优解,导致相位检索失败。为攻克这一长期存在的科学难题,加利福尼亚大学欧文分校(UC Irvine)的研究团队,提出了一种基于隐式神经网络表征的无导星光学传输函数(OTF)检索方法——NeOTF。该方法仅需利用未知物体的少量散斑图像进行自监督优化,即可鲁棒地检索出系统的OTF,在时空记忆效应范围内实现了高保真的无导星动态视频重建。该成果以“NeOTF: guidestar-free neural representation for broadband dynamic imaging through scattering”为题,发表于Advanced Photonics 2026年第3期。
突破传统技术瓶颈:无导星神经网络表征重塑宽带动态散射成像
在纳米光子学与计算成像交叉领域,利用散斑相关性进行透过散射成像在近年来备受瞩目,因为它无需复杂的波前塑形硬件,即可非侵入式地获取视觉信息。然而,基于散斑自相关的传统迭代相位检索算法(如HIO-ER)属于典型的不适定问题,在面对非稀疏、低信噪比的动态场景时收敛缓慢且鲁棒性极差。虽然MORE等先进的多帧OTF检索方法在静态散射介质中表现出了一定优势,但在面对时间受限的动态散射系统时,其非线性优化算法极易受到散斑退化和背景噪声的严重干扰。
为了从根本上打破这一瓶颈,研究团队将隐式神经网络表征(INR)引入线性成像系统的传输函数建模中。NeOTF将OTF的相位建模为坐标输入的连续函数,利用多帧未知动态物体的散斑光谱多样性作为冗余约束,大大缩小了相位检索的解空间。NeOTF管道在完全自监督的模式下运行,在训练阶段将几帧散斑图像输入物理前向模型,通过最小化测量散斑与重建图像在傅里叶域的L1损失函数,利用Adam优化器不断更新网络权重。这种无视离散尺寸限制、具备极强噪声容忍度的隐式网络架构,使系统能够在不需要外部物理导星的情况下,实现原位自再校准,从而在高度挑战性的强散射环境中提供高保真度的实时视频重建。三种典型成像方法的对比如图1所示,其中(c)图为本文提出的NeOTF框架。

图1 透过散射介质成像的主要方法示意图。(a) 传统单帧散斑相关成像方法。(b) 基于导星的成像方法。通过点源标定点扩散函数(PSF),利用解卷积直接恢复物体,该点源即为导星。(c) 本文提出的基于图像引导的 NeOTF 成像方法。通过迭代优化从未知散斑中提取光学传递函数相位,进而利用逆滤波直接从散斑恢复图像
在系统制备与验证阶段,团队搭建了无透镜计算成像测试平台,利用数字微镜器件(DMD)展示动态模式物体,并使用多色/宽带光源照亮旋转的毛玻璃 diffuser 以模拟真实低信噪比环境。通过数字预处理管道对 CMOS 相机捕捉到的散斑进行频域与高斯滤波,并将散斑自相关作为评估有效信息信噪比的代理指标。仿真与实验结果表明,NeOTF 成功地在高达 300 nm 谱宽的极端宽带非相干光照明下重建出高质量的目标物体图像,证明了其出色的噪声抗性。
性能飞跃:活体胚胎动态验证,稀疏采样下计算量减半而保真无损
动态透散射成像根据介质特性可细分为时不变散射与时变动态散射。为了全方位验证 NeOTF 的优异性能,研究团队首先在时不变静态散射介质下,针对线虫(C. elegans)胚胎发育晚期的手性旋转运动(速度达数十帧每秒)进行了 450 帧显微成像模拟。具体的时不变介质动态成像表现如图2所示。

图2 线虫胚胎发育手性旋转透过静态散射介质的动态成像结果。(a) 静态介质动态成像原理图。利用前5帧散斑训练出的 NeOTF,即可通过一步逆滤波重建后续所有动态帧。(b) 45秒视频内不同时间点的真值、低信噪比散斑图、基于导星校准重建结果与本文提出的无导星 NeOTF 重建效果对比
紧接着,面对极具挑战性的时变动态散射介质,NeOTF 展现出了极强的稳定性。在短时间窗口内,尽管散射介质的相位不断发生微小的横向平移与旋转,但其在时间域仍保持高度相关(即处于时间记忆效应范围内)。NeOTF 管道利用这一特性,先在初始时间段进行高轮次基础训练,随后在后续的每个短时间窗口内,直接加载上一阶段的权重进行微调。由于相邻时间点的传输函数高度相关,微调阶段仅需原训练轮次的 10% 即可快速收敛。测试表明,在散斑完全被噪声淹没且散斑自相关过度平滑的极端恶劣条件下,NeOTF 依然保持了极高的视频重建质量,在主观视觉质量和客观PSNR数值上,均显著优于传统的基于导星的单次标定法以及传统的非线性MORE算法。
为了进一步评估 NeOTF 在边缘计算设备或实时端侧部署的潜力,团队深入探讨了其在空间频域的稀疏采样效率。由于系统的散斑图样具有Hermitian对称性且自然图像在频域具备固有的稀疏性,NeOTF只需对低频核心区域进行圆形稀疏采样即可完成高质量检索。测试结果如图3所示。

图3 频域不同采样率下NeOTF 重建质量与计算资源的量化表征。(a) 不同采样率(100% 至 0.7%)下 NeOTF 收敛得到的 OTF 相位图与数字物体重建视觉对比。(b) 重建图像峰值信噪比(PSNR)随空间频域采样率变化的量化曲线
量化数据显示,当采样率降低至7.0%时,计算量(GFLOPs)和显存占用大幅度缩减,训练速度直接翻倍,且对于最终重建图像的峰值信噪比(PSNR)几乎没有降低(针对本实验中的数字目标,主观视觉质量几乎无损)。这使得 NeOTF 成为资源受限硬件(如便携式医疗影像仪)中实现散射抑制的强有力候选方案。
此外,在针对各向异性散射介质的泛化性测试中,团队深入对比了仅使用光学传输函数相位(PTF)与使用完整光学传输函数(OTF)的重建效果。测试表明,在强散射环境(各向异性因子α = 0.8)下,PTF重建表现出极高的保真度;但在极弱散射(如α = 0.99)下,由于调制传输函数(MTF)极不均匀并严重扭曲了物体的振幅,导致仅相位检索失效。这指明了NeOTF在弱散射环境下的边界限制,也为未来进一步引入振幅修正的自适应网络架构提供了明确的研究方向。
总结与展望
综上所述,隐式神经网络表征框架能够高效且连续地拟合光学传输函数的高频统计特性,NeOTF的科学意义不仅在于摆脱了物理导星的束缚,更在于其完美融合了波动光学前向物理约束与深度学习的泛化特征。尽管系统目前在极弱散射场景下仍存在由于MTF畸变导致仅相位检索失效的限制,但在常见的生物组织成像窗口(α ≤ 0.95)内表现极其优异。这一开创性工作为无透镜宽带多色动态成像、实时深层组织活体显微镜以及恶劣环境大范围遥感探测解锁了全新的智能计算路径。
期
刊
介
绍
Advanced Photonics(AP) 创刊于2019年,是一本重点关注新兴光学领域的基础与应用研究成果、聚焦最新及快速发展的光学与光子学学科的国际OA期刊。期刊入选中国科协高起点新刊计划,2021年被SCI收录,最新影响因子19.5,在全球JCR光学期刊中位列第7 (Q1区),中国科学院一区(2025),入选中国科技期刊卓越行动计划 (二期) 。创刊以来AP发表了众多国际顶尖学者的高水平学术论文,并以采访、新闻、评论等丰富的形式,展现了光学与光子学领域的最新进展。姊妹刊Advanced Photonics Nexus (APN) 接收AP的快速转投和自然来稿,致力于成为既发表基础研究类又发表工程应用类文章的综合性大刊,最新影响因子6.3,2024年入选中国科技期刊卓越行动计划高起点新刊项目。
科学编辑 | 佚名


END

点在看联系更紧密
