北京大学团队提出LargePNet网络，以大视野统计信息提升荧光图像复原精度

　　北京大学未来技术学院席鹏教授团队近日在荧光成像技术领域取得重要进展，提出了一种名为LargePNet的新型通用荧光成像复原网络。相关研究成果于2026年4月7日发表于国际学术期刊《自然·通讯》(Nature Communications)。
 

　　近年来，深度学习技术在荧光显微镜成像增强方面取得了显著进展。UNet、RCAN和SwinIR等广泛应用于自然图像处理的网络架构被迁移至荧光成像领域，通过学习从低质量图像到高质量图像的映射关系，有效降低了显微成像所需的光子剂量。
 

　　然而，研究团队指出，现有方法大多沿用自然图像的处理方式——通过随机裁剪将大图分割成小图块(通常为128×128像素)进行训练。这一做法在荧光成像中存在问题：荧光图像中大视野范围内的生物结构具有长程关联性，例如一根微管蛋白纤维可能蜿蜒贯穿整张图像。将图像切碎后训练，会导致关键的全局结构上下文信息丢失，进而影响网络在大图复原时的保真度和抗噪性能。
 

　　针对上述问题，研究团队开发了LargePNet网络。其核心思路是直接使用大于512×512像素的大视野图像进行训练，使模型在训练阶段即可学习细胞结构的完整上下文关联和全局统计信息。
 

　　在技术实现上，团队面临两个挑战：一是建立足够大的有效感受野以理解全局结构，二是控制大视野图像的计算量。为此，研究者采用重参数化大核卷积(RepLKConv)作为长程建模的主要方式，同时通过金字塔结构设计引入传统深度网络的低频分支来弥补大核卷积非线性表达能力不足的问题，并引入实例归一化提高大图训练时的稳定性。消融实验验证了两个分支的互补作用。
 

　　在此基础上，团队还开发了多个拓展版本以适应不同任务需求，包括生成式复原架构LargeP-GAN、视频超分架构LargeP-TISR、三维数据复原架构3D-LargePNet以及自监督降噪架构LargeP-SN2N。
 

　　研究团队在涉及不同显微模态的降噪、去模糊、单图和视频超分、采样恢复和背景去除等八项典型荧光图像任务上验证了LargePNet的性能。结果显示，LargePNet的峰值信噪比(PSNR)较当前最优的小图块网络提升0.5至2分贝。在大图推理方面，其计算效率约为先进卷积网络的4倍、Transformer网络的20倍。
 

　　依托LargePNet的性能优势，研究团队在活细胞成像领域取得了两项重要应用突破：其一，实现了长达30小时、分辨率200纳米的活细胞亚细胞器动态成像，能够稳定监测细胞骨架的动态变化过程。其二，完成了小时量级的三色STED超分辨成像，能够清晰解析内质网、线粒体和微管三种细胞器之间的相互作用细节。
 

　　研究团队还基于灰度共生矩阵(GLCM)统计量对LargePNet的适用条件进行了分析：当小图块与大视图的统计信息偏差越大时，LargePNet相较于传统小图训练网络的复原优势就越显著。这为研究人员根据自身数据特点判断是否适用该模型提供了参考。
 

　　目前，研究团队已将全部Python源码、训练数据集与训练模型在GitHub平台开源，以供全球同行使用和进一步开发。