Photonics Res. | 给深度学习加上物理先验：南京理工大学提出时空条纹分析新范式

Photonics Research 2026年第5期推荐论文：

Xinran Zhou, Yiheng Liu, Jie Tang, Yutong Xiao, Yifan Liu, Shijie Feng, Qian Chen, Chao Zuo, "Spatiotemporal fringe pattern analysis using physics-informed deep learning," Photonics Res. 14, 1893 (2026)

三维形貌测量是先进制造、机器人感知、生物医学成像和动态过程分析中的关键技术。相比接触式测量，光学三维测量具有非接触、高精度、全场成像等优势，已成为精密检测和智能感知的重要技术路线。其中，条纹投影轮廓术通过向物体表面投射结构化条纹，并从相机采集到的变形条纹中恢复相位信息，进而重建物体三维形貌，是目前广泛应用的光学三维测量方法之一。

然而，在高速动态场景中，同时实现高测量精度和高时间分辨率仍然是一项长期挑战。传统傅里叶变换法只需单幅条纹图像即可完成测量，采集速度高，但在复杂表面、边缘不连续或频谱混叠情况下容易出现相位误差和细节丢失。近年来，深度学习为单帧条纹分析提供了新的思路，但在高速成像中，为了抑制高速运动带来的模糊，系统往往需要采用微秒级短曝光，导致图像亮度和条纹调制度显著下降，使噪声影响更加突出。此时，单帧图像中可用于相位恢复的有效信息十分有限，单纯依赖单帧空间特征的深度学习方法仍容易受到噪声干扰，难以稳定获得高质量三维重建结果。事实上，高速相机连续采集的相邻帧并非彼此孤立，而是包含丰富的时间冗余和运动相关信息。因此，如何在利用深度学习强大表征能力的同时，引入光学成像和物体运动的物理先验，实现多帧条纹序列的时空联合分析，成为突破高速动态三维测量瓶颈的关键问题。

针对这一问题，南京理工大学智能计算成像实验室的研究人员提出了一种融合物理先验的时空条纹分析方法，该方法不再孤立处理单帧条纹图像，而是在短时间窗口内联合分析连续条纹序列，通过背景光估计、光流运动补偿和时空相位解调等模块，充分挖掘相邻帧之间的冗余信息，并将物理先验融入深度学习模型之中。该思路能够在短曝光、低亮度、低信噪比的高速动态场景下，有效提升相位恢复的精度、鲁棒性和时序一致性，为新一代高速、高精度智能光学三维测量提供了新的技术路径。相关成果以“Spatiotemporal fringe pattern analysis using physics-informed deep learning”为题发Photonics Research 2026年第5期。南京理工大学硕士生周昕然和刘逸恒为论文共同第一作者，南京理工大学冯世杰教授和左超教授与中北大学陈钱教授为共同通讯作者。

物理信息引导的时空条纹分析方法（PIST-FPA）如图1所示，其基本流程是从高速采集得到的多帧条纹序列出发，在物理先验约束下完成运动补偿和时空相位解调。首先，系统由投影仪向运动物体表面投射条纹，相机连续采集得到以目标帧为中心的多帧条纹图像序列。由于物体在采集过程中持续运动，相邻帧之间存在像素位置偏移，如果直接进行多帧融合，运动信息会与表面形貌信息相互耦合，进而影响相位恢复精度。为此，该方法第一步利用背景估计网络CNN1（Convolutional Neural Network）从原始条纹序列中分离背景光强信息，削弱条纹调制对运动估计的干扰；第二步将背景强度序列与原始条纹序列共同送入物理引导的光流对齐模块，根据帧间像素位移将相邻帧统一对齐到中心帧，从而在同一参考坐标下组织时序信息；随后，第三步采用时空相位解调网络CNN2联合分析对齐后的多帧条纹序列，预测相位计算所需的分子和分母分量，并通过反正切运算得到目标帧的包裹相位；最后，结合辅助相位展开和系统标定参数，将相位结果映射为物体的三维坐标，完成动态三维重建。通过这一流程，PIST-FPA将相邻帧中的时间冗余信息与光流运动先验相结合，在抑制噪声干扰的同时，实现物体运动与表面形貌的有效解耦，从而提升高速动态场景下三维重建的精度、鲁棒性和时序一致性。

图1 物理先验引导的深度学习时空条纹分析方法原理图

为验证PIST-FPA在真实低信噪比条件下的三维重建能力，研究团队搭建了高速条纹投影三维成像实验系统。实验中，相机采集帧率为10,000帧每秒（FPS），曝光时间设置为95 μs。由于曝光时间短，采集到的条纹图像亮度较低、噪声影响明显。图2展示了真实实验数据下的重建结果。图2(a)给出了95 μs短曝光条件下采集的低信噪比条纹图像，以及PIST-FPA恢复得到的包裹相位和绝对相位。可以看出，即使原始条纹图像存在明显噪声干扰，PIST-FPA仍能够恢复出连续的相位分布。图2(b)进一步对比了传统傅里叶变换法、单帧深度学习方法（SF-FPA）、物理先验单帧方法（PI-FPA）、PIST-FPA以及12步相移法真值的三维重建结果。结果表明，传统傅里叶变换法受噪声影响明显，重建表面存在较多伪影和细节丢失。单帧深度学习方法能够改善整体结果，但在局部细节区域仍存在模糊和形貌偏差。物理先验单帧方法进一步提高了噪声抑制能力，但在复杂细节和边缘区域仍与真值存在一定差异。

图2 利用真实实验数据对重建精度与细节恢复能力进行验证。(a) 曝光时间95微秒采集的条纹图像，以及本文所提方法恢复的包裹相位与绝对相位。(b)傅里叶变换轮廓术、SF-FPA、PI-FPA、本文所提PIST-FPA算法及12步相移法的三维重建结果，同时给出ROI A与ROI B的放大视图。(c)、(d) 分别为ROI A、ROI B重建结果的水平（X−Z方向）轮廓曲线。

相比之下，PIST-FPA的重建结果与12步相移法真值更加接近，局部区域的表面细节也更加清晰。定量结果显示，PIST-FPA的PSNR达到55.09 dB，高于FTP、SF-FPA 和PI-FPA，说明其在真实低信噪比条件下具有更好的重建质量。图2(c)和图2(d)分别给出了两个局部区域的截面轮廓对比及误差分布。结果表明，PIST-FPA的轮廓曲线与真值曲线吻合度更高，误差整体更小，尤其在表面起伏和细节变化区域仍能保持较好的形貌恢复能力。这说明该方法通过引入多帧时空信息和物理先验，有效缓解了单帧低信噪比图像中的信息不足问题，提升了真实实验条件下三维重建的精度、鲁棒性和细节保持能力。

随后，为了进一步验证PIST-FPA在真实高速动态场景中的应用潜力，研究团队对高速旋转风扇进行了动态三维重建实验，结果如图3所示。实验图像以8位灰度格式采集，其灰度上限为255，而采集到的条纹序列平均灰度仅约为8.3，中位灰度约为8。这表明图像处于极低亮度、低信噪比状态，条纹结构受到明显噪声干扰。

图3 PIST-FPA在极低信噪比高速动态场景下的三维重建结果。(a) 基于低信噪比条纹序列恢复的五个连续时刻三维形貌；(b) 五个连续时刻下风扇叶片截面轮廓对比；(c) 所提方法PIST-FPA与单帧基线方法SF-FPA的三维重建结果对比

在这种极端成像条件下，单帧深度学习方法由于缺乏时间信息约束，重建出的风扇叶片表面容易出现起伏伪影、不规则噪声以及边缘几何畸变。相比之下，PIST-FPA通过联合利用相邻帧中的时空冗余信息和光流运动先验，能够恢复出更加平滑、连续的风扇叶片三维形貌。多个时刻的重建结果和截面曲线进一步表明，该方法在动态过程中保持了较好的轮廓一致性和时序稳定性，说明PIST-FPA不仅能够提升低信噪比条件下的单帧重建质量，也具备面向高速动态三维测量的实际应用潜力。

研究团队简介

南京理工大学智能计算成像实验室（SCILab）隶属于“光学工程”国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队与首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会/美国光学学会/英国物理学会会士（SPIE/Optica/IOP Fellow）。依托“极限环境光电动态测试技术与仪器”全国重点实验室、“先进光电成像技术与仪器”教育部工程研究中心、“计算光学成像与测量”科技部国家示范型国际科技合作基地等8个高层次科研创新平台，在国家重大需求牵引及重点项目支持下开展新型“智能计算成像”的机理探索、工程实践以及先进仪器的研制工作，推动信息光学、精密测量、先进材料与人工智能的深度交叉融合，并开拓其在生命科学、生物医药、智能制造、遥感监测以及国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文300余篇，其中50余篇论文被选作Optica、Advanced Photonics、PhotoniX 等期刊封面论文，30篇ESI高被引/热点论文，论文被引逾2.4万次。培养研究生6人获全国光学工程优秀博士论文/提名奖，6人获中国光学学会王大珩光学奖，4人获SPIE光学与光子学教育奖学金，获“挑战杯”、“创青春”等全国金奖16次，“互联网+”全国总冠军。获评“江苏青年五四奖章”集体、“中国大学生自强之星”科创团体等荣誉称号。人才培养事迹受到央视《焦点访谈》、人民日报、美国光学学会会刊Optics & Photonics News 等百余家媒体专题报道。

撰稿 | 南京理工大学电子工程与光电技术学院 刘逸恒