OEA封面 | “破”镜而出：偏振与生成模型耦合的眼镜反光消除【清华大学曹良才教授研究团队】

随着网络通信技术的快速发展，高分辨率实时移动视频传输技术取得了重要突破，人们的线上互动方式发生了显著变化。视频会议、远程办公以及在线社交平台的使用呈现爆发式增长，Zoom、Microsoft Teams、腾讯会议和飞书等国际知名平台迅速发展并广泛应用。同时，得益于深度学习算法的进步，基于人脸识别的生物特征验证成为政府、金融等关键领域身份认证的主流方式。然而，在视频会议、人脸识别及多人合影等场景中，佩戴眼镜的用户常常会遇到反光问题：眼镜表面的反射光会遮挡关键面部特征，影响视觉感知，干扰会议体验，并增加人脸识别的错误率。

眼镜反光通常包括镜面高光和周边环境反射光。拍摄到的图像可视为透射层和反射层的叠加。反光消除技术的目标便是将这两种光成分有效分离，从而恢复清晰的面部信息。现有反光消除方法可以分为单幅图像与多幅图像两类。单幅图像方法缺乏额外信息，因此通常依赖图像统计特性或数据驱动的深度学习模型进行预测。相比之下，多幅图像方法利用光照、视角或偏振信息的变化，更容易将反射层和透射层分离。

现有单幅反光消除方法高度依赖大规模、成对的训练数据，在复杂多变且未知的光照条件下泛化能力有限，制约了其实际应用。由于反射光与透射光在偏振特性上存在差异，通过偏振滤波可在一定程度上分离透射层与反射层。近年来，便携式偏振相机，例如分焦平面偏振传感器以及新兴的超表面偏振成像器件，使得在实际场景中采集偏振信息成为可能，进一步推动了偏振反光消除技术的研究与应用。然而，传统偏振滤波反光消除方法在实际应用中仍存在局限，其反光抑制效果有限，仅在理想条件下（如入射角接近布儒斯特角，反射过程为单次折反射时）才能发挥最佳性能。

围绕上述关键挑战，清华大学曹良才教授团队提出了一种基于偏振-生成耦合机制的眼镜反光消除方法。该方法是一种无需训练数据和真值图像的偏振引导无训练扩散先验模型—PDPrior，可实现无伪影的眼镜反光消除。

PDPrior的核心思想是挖掘扩散生成模型本身所蕴含的先验能力，并将偏振物理信息引入生成过程作为约束与引导。不同于传统监督学习框架，该方法仅依赖采集到的偏振观测数据，无需训练或额外标注数据，显著降低了数据获取与模型训练的成本。具体而言，本文基于物理成像模型构建自监督损失函数，冻结U-Net模型参数。在逆向生成过程中，交替优化反射变量与透射变量，使得生成结果不仅在视觉上逼真，而且在物理意义上具有可解释性。这种将生成模型与成像物理机制耦合的设计，使PDPrior能够在未知光照条件下工作。实验结果表明，PDPrior能够在室内、室外偏振光或非偏振光照条件下，对不同人脸和各类眼镜的反光进行有效消除，同时不引入伪影，并在CR-FIQA和CLIB-FIQA人脸质量评估中获得更高分数，进一步验证了其在提升下游人脸相关任务的有效性。

未来的研究将聚焦于将PDPrior部署于边缘端等算力受限的平台，以实现高效、实时的反光消除。在保证视觉质量的前提下，对模型进行规模压缩，实现一步扩散的快速推理。此外，在夜间成像场景中，探索利用红外偏振数据源的PDPrior进行全天候反光消除，也是亟待突破的方向。

PDPrior技术未来可应用于视频会议系统、人脸识别与身份认证、智能安防、移动终端拍照及增强现实等领域。在视频会议中，清晰、无反射的人脸画面有助于提升交流体验和沉浸感；在金融、政务等依赖人脸识别的高安全性场景中，可靠的反光消除技术能够有效降低识别误差，提高系统的安全性与可信度。由此，该技术对人们的日常工作、远程协作及社会数字化运行具有积极影响。

代码已公开发布，点击下面链接查看：https://github.com/THUHoloLab/PDPrior

测试数据集下载链接在：

https://cloud.tsinghua.edu.cn/f/a49e0f59a8a54c4eb14d/?dl=1

该工作以“Polarization-guided diffusion prior for eyeglass reflection removal”为题，作为封面文章发表于 Opto-Electronic Advances 2026 年第 9 卷第 4 期。