【ICML 2026】刷新高光谱图像恢复任务SOTA!DAMP：面向高光谱影像恢复的退化感知度量提示框架

论文引言

高光谱图像能够捕捉数百个连续波段的光谱信息，是精准农业、环境监测、地物分类、变化检测等空天领域应用的重要数据基础。但受到成像硬件条件和物理环境的双重干扰，实际采集到的高光谱图像往往存在低信噪比、运动模糊、波段缺失等多种退化问题，会大幅降低光谱特征的判别能力，对下游任务的性能发挥造成不利影响。

早期的高光谱恢复方法大多是针对特定任务设计的，只能处理单一类型的退化，很难应对真实场景里混合、未知的退化模式。受自然图像恢复领域提示学习思路的启发，近些年已有研究尝试搭建统一的恢复模型，但依旧存在两方面明显的局限：一类依赖显式的退化先验，比如预设好退化类型、用文本做提示，都需要提前掌握准确的退化信息，这在真实场景里通常很难实现；另一类则采用黑盒式的隐式表征，很容易对训练数据的退化分布过拟合，面对未见退化时泛化效果不佳，同时也缺少对光谱相关性的显式建模，光谱恢复的精度普遍不高。针对这些问题，文中提出了





退化感知度量提示（





DAMP





）框架





，不需要用到显式退化先验和黑盒隐式向量，而是通过具备可解释性的空间





-





光谱度量来量化退化程度，生成连续的退化提示，以此捕捉不同任务之间退化特征的共性。在此基础上还设计了退化自适应专家混合结构，把退化提示作为门控路由，动态激活对应不同退化程度的空间





-





光谱自适应专家模块，最终实现多种、混合甚至未见退化条件下的自适应统一恢复。该方法与现有主流一体化方法的





PSNR





对比结果如图





1





所示。

图





1





与现有最先进的一体化方法的





PSNR





对比：修复、超分辨率、高斯去模糊和高斯去噪结果在统一训练后于





ARAD





数据集上评估，泊松去噪和运动去模糊为





CAVE





数据集上的零样本结果，





[





・





]





表示不同方法的





PSNR





取值范围

本文




主要围绕以下三方面展开：

核心痛点





：真实场景里的高光谱图像退化往往是多种类型混合出现的，很难提前预判具体形式；现有的统一恢复方法要么离不开难以获取的显式退化标签，要么用黑盒隐式表征容易过拟合，没法同时保证对多样退化的适配性和对未见退化的泛化能力，光谱保真度也普遍达不到理想水平。

目前局限





：依赖显式先验的方法默认退化集合是封闭的，没办法适配真实场景里未知的混合退化模式；而黑盒隐式方法本身缺乏可解释性，遇到训练分布外的退化时，容易将其错误映射到已知类型的特征空间里，导致恢复精度下降，同时这类方法大多也没有对光谱维度的相关性做显式建模。

解决路径





：本文通过设计





DAMP





框架，先用具备物理可解释性的空间





-





光谱统计度量，生成连续的退化提示向量，既能从多个维度刻画退化的严重程度，也能捕捉不同恢复任务之间退化特征的共通之处；再搭配退化自适应混合专家结构，把退化提示当作路由信号，动态调用对应的空间





-





光谱自适应专家模块，仅用单个模型就能够应对多种、混合甚至从未见过的退化场景，完成高光谱图像的自适应恢复。

核心创新

DAMP





的整体网络采用层级化的





U





型架构（结构见图





3





（





a





）），完整的处理流程可以拆成三步：第一步先从输入图像中计算提取空间





-





光谱维度的退化度量，经过投影变换后得到退化提示向量





DP





；与此同时，输入图像会经过一层





3





×





3





卷积提取浅层特征，随后进入四级编码





-





解码结构；解码器的每一层都嵌入了





DAMoE





模块，以





DP





作为全局调控条件，动态调整特征恢复的权重和方向，最后通过残差融合得到最终的恢复结果。整个框架的核心设计主要包含三块：退化提示、退化自适应专家混合、空间





-





光谱自适应模块。

1.



退化提示（



DP



）：可解释的多维退化表征

在传统的统一恢复方法里，对退化的表征无非两种：要么用离散的类型标签，要么用不可解释的隐式特征向量，二者在灵活性和泛化能力上始终难以兼顾。本文的核心思路不一样，不用标签也不用黑盒向量，而是选用有明确物理意义的统计度量，来连续刻画退化的状态，这样既能保证表征的可解释性，也能灵活适配未知的混合退化场景。

为了验证这种度量表征是否可行，研究团队先选了高频能量比、空间纹理均匀性、光谱曲率均值三个有代表性的度量，在包含五类退化的上千张高光谱样本上做了分析。结果发现，只靠这三个度量就能让不同退化类型形成清晰的聚类，搭配随机森林分类器也能达到不错的区分精度；同时不同退化类型在部分度量上存在分布重叠，这也说明不同退化之间存在内在共性，为跨任务泛化提供了基础。不同方法的设计思路对比、度量对退化的区分能力以及分布特性见图





2





。

在这个基础上，研究团队还设计了三阶段的度量筛选流程，从





25





个覆盖熵、梯度、频率、相关性的候选度量里，依次通过可解释性筛选、空间





-





光谱覆盖性筛选、区分度筛选，最终确定了





6





个核心度量：高频能量比、空间纹理均匀性、光谱曲率均值、光谱曲率标准差、梯度标准差、空间相关系数，由它们共同组成





6





维的退化提示向量。这个向量完全基于图像本身的物理统计特征计算，具备稳健、轻量、透明的特点。

图





2 (a)





基于显式退化先验的方法、基于隐式黑盒表征的方法与退化感知度量提示方法的对比





(b)





基于





HFER





、





STU





和





SCM





的五类退化分类混淆矩阵





(c)





不同退化类型在





HFER





、





STU





和





SCM





上的分布

2.



退化自适应专家混合（



DAMoE



）：度量驱动的动态路由

为了把退化度量转化成自适应的恢复策略，文中设计了





DAMoE





结构。和传统





MoE





用视觉特征或者隐式提示做路由的方式不同，





DAMoE





把显式的





DP





向量作为路由先验来指导专家的选择，让路由的逻辑完全建立在退化的物理属性之上。

具体的实现过程里，输入特征会先经过全局平均池化，再和





DP





向量拼接在一起，经过投影和激活后计算出每个专家的门控得分，再通过





softmax





和





top-k





稀疏化筛选出最优的专家子集，最后对选中专家的输出特征做加权融合。训练阶段会在门控





logits





里加入高斯噪声，以此促进专家之间的负载均衡，也能让模型探索更多可能性。举个例子，当输入的





HFER





值很高（也就是噪声较强）时，模型会更倾向于激活光谱滤波能力更强的专家，哪怕视觉特征比较模糊，也能做出准确的路由判断。





DAMP





的整体网络架构和





DAMoE





模块的内部结构如图





3





所示。

图





3 (a)





所提





DAMP





框架的整体架构





(b)





退化自适应混合专家





DAMoE

3.





空间



-



光谱自适应模块（



SSAM



）：专业化的专家算子

高光谱图像的退化在空间和光谱两个维度通常存在异质性：比如模糊主要破坏的是空间纹理结构，对光谱曲线的形状影响不大；而噪声则会同时对两个维度造成干扰。常规的卷积或者注意力模块，空间和光谱的建模权重一般是固定的，没办法灵活根据不同退化调整恢复的侧重点。

针对这一点，文中提出





SSAM





作为专家的基础算子，每个模块都包含并行的空间分支和光谱分支：空间分支用窗口多头自注意力来捕捉空间结构的依赖关系，光谱分支则用





1D





卷积建模不同波段之间的相关性。两个分支的输出会通过可学习的权重做加权融合，而且这些权重是每个专家独有的参数，满足空间权重与光谱权重之和为





1





的约束条件。

在训练过程中，不同的专家会自然出现功能分化：一部分专家的空间分支权重更高，更偏向于恢复纹理细节；另一部分专家的光谱分支权重更高，更侧重保证光谱的保真度。路由机制可以根据退化提示动态组合不同的专家，从而为当前输入匹配到最优的空间





-





光谱恢复平衡。

实验结果

实验一共用到了





8





个高光谱数据集，覆盖自然场景和遥感两大领域。其中自然场景数据集中，





ARAD





和





ICVL





用于统一训练和常规任务测试，





CAVE





则专门用来做零样本泛化测试；遥感数据集包括雄安、





Chikusei





、





PaviaC





、





PaviaU





以及





HyRank





，所有遥感数据集都按照





8:2





的比例划分成了训练集和测试集。考虑到自然场景和遥感数据之间存在明显的领域差异，研究团队针对两个领域分别训练了模型。

实验设置了两类主要的评估方案：第一类是统一训练评估，在高斯去噪、高斯去模糊、超分辨率、图像修复、波段补全这





5





类任务上进行联合训练和测试；第二类是零样本泛化测试，把训练好的模型直接用在运动去模糊、泊松去噪这两类训练中没见过的退化上，不做任何微调。整个模型基于





PyTorch





实现，在单张





RTX 4090 GPU





上完成训练，优化器选用





AdamW





，损失函数采用





L1





损失；评价指标方面，用





PSNR





、





SSIM





衡量空间保真度，用





SAM





衡量光谱精度。

1.





定性实验

图





4





已知退化类型任务上高光谱图像恢复性能的视觉对比：从上到下依次为





ARAD





数据集上的超分辨率、





ICVL





数据集上的去噪、





PaviaU





数据集上的去模糊、雄安数据集上的修复，每幅图像中红色小框内的内容被放大，左侧为与真值的误差图，右侧为放大的结果图像

图





5 CAVE





数据集上泊松去噪的视觉对比：第一行为恢复结果，第二行为误差图

四类已知退化任务的恢复视觉效果和误差对比可以参考图





4





。从可视化结果能看出，





DAMP





的重建误差是最低的，恢复出的纹理细节更清晰，边缘产生的伪影也更少。

图





5





展示了在





CAVE





数据集上，针对未见退化类型做高光谱图像恢复的定性结果，





DAMP





方法产生的误差明显低于所有基线方法，体现出它对没见过的恢复任务有很强的泛化能力。

图





6





自然数据集各类任务的跨波段归一化数值误差：





(a)





高斯去噪





(b)





高斯去模糊





(c)





超分辨率





(d)





图像修复





(e)





波段补全





(f)





平均

各任务跨波段的归一化数值误差分布如图





6





所示。从跨波段的误差曲线可以看出，





SSAM





有效平衡了空间和光谱信息的利用，更好地保留了高光谱图像本身的光谱特征，对应的





SAM





指标表现也更优。

2.





定量实验结果

表





1





在自然与遥感数据集上五类高光谱恢复任务的定量对比

定量对比结果如表





1





所示。从整体数据来看，





DAMP





在





5





类退化任务的几乎所有数据集和指标上，表现都优于现有的一体化方法，同时性能也超过了大多数任务专属方法。从整体平均指标来看，





ICVL





自然数据集上的平均





PSNR





可达





51.97dB





，





ARAD





自然数据集平均





PSNR





为





51.43dB





，遥感数据集的整体平均





PSNR





也有





39.42dB





，各项结果都达到了目前的最优水平。

3.





消融实验结果

核心组件有效性验证：

表





2





核心组件的有效性

从表





2





的消融结果可以看出，在





ARAD





数据集上测试时，仅加入





DP





模块就能让平均





PSNR





提升





4.20dB





，





SSIM





提升





0.010





，这也说明退化表征对多任务适配的提升作用非常关键；在此基础上再加入





SSAM





模块，





PSNR





还能再提升





1.41dB





，足以证明空间





-





光谱自适应的调制方式能有效提升恢复结果的保真度。完整模型最终能达到





51.43dB





的





PSNR





和





0.989





的





SSIM





。

路由策略对比：

表





3





路由策略对比

从表





3





的数据可以看出，如果把文中的





DP





路由分别换成频率路由、退化类型路由、隐式提示路由，模型性能都会出现明显下降。其中





DP





路由比频率路由的性能高出





3.71dB PSNR





和





0.006 SSIM





，比退化类型路由高出





5.16dB PSNR





和





0.007 SSIM





，充分证明了基于物理度量的退化感知路由的优势。

计算效率分析：

表





4





效率对比

如表





4





所示，尽管引入了自适应机制，





DAMP





的计算开销还是低于大多数同类方法：它的





FLOPs





为





313.8G





，低于





PromptIR





的





573.4G





和





MoCE-IR





的





365.5G





；度量计算和路由带来的额外耗时还不到





0.2ms





，整体的推理效率完全可以满足实际落地的需求。

度量与退化严重度的相关性验证：

图





7





退化度量与退化严重度的相关性趋势

图





7





的结果显示，实验验证了大多数度量都会随着退化严重度呈现单调变化的趋势，





9





组分析中有





7





组的皮尔逊相关系数超过了





0.4





，说明多个度量联合起来可以稳定、连续地量化图像的退化程度，为精准的专家路由提供了可靠的基础。

4.





零样本泛化性能

表





5





未见任务上的零样本性能

零




样本泛化的测试结果如表





5





所示。在





CAVE





数据集的零样本测试中，





DAMP





表现出了明显的泛化优势：运动去模糊任务上达到了





31.05dB





的





PSNR





和





0.899





的





SSIM





，比性能最优的基线方法





PromptIR





高出





0.52dB





；泊松去噪任务上达到了





24.08dB





的





PSNR





，比最优基线方法高出





2.10dB





。这主要是因为





DP





捕捉到了退化带来的内在统计偏差，哪怕训练过程中没见过这种退化类型，路由机制也能根据退化的严重程度匹配到对应的专家。

结论

文中提出





DAMP





框架，为解决统一的高光谱图像恢复问题提供了一条既具备可解释性又具有泛化能力的技术路线，用带有强烈物理含义的空间





-





光谱度量代替传统的显式退化标签和黑盒隐式嵌入，再通过退化提示驱动的混合专家架构，在单个模型内完成多种类型退化的自适应恢复。

实验结果表明，这种方法在





5





类标准恢复任务上是当前的最优方法，对运动模糊、泊松噪声等训练中没有出现过退化的情况也具备了非常好的零样本泛化能力，并且计算量较小。

还有两个不足：一是目前只在





7





类退化上验证了方法的有效性，如果遇到更罕见、或者物理机制差异很大的退化，可能还需要补充对应的度量；二是目前自然场景和遥感数据还是需要分领域进行训练，真正跨域通用的恢复模型研究还有待进一步探索。后续的工作可以从扩充退化基准，设计动态度量权重，探索域自适应技术这些方向继续深入研究。

?




实




际应用与意




义

在空天视觉领域的工程化落地场景中，



DAMP



框架具很高的实际应用价值：

1.






适配复杂真实成像退化






：





卫星和机载高光谱成像经常会遇到大气扰动、传感器噪声、平台运动模糊、条带缺失等多种退化叠加的情况，以往的单任务模型都必须先判断退化类型再切换对应的模型，部署的复杂性很高。





DAMP





统一框架不需要提前输入退化先验，其根据输入图像的统计特征调整恢复策略，简化了遥感数据预处理的实际流程，降低了多模型维护成本。

2.






提升少见退化场景的泛化能力






：





遥感数据的退化模式受到传感器型号、成像高度、天气条件等多种因素影响很大，很多罕见退化很难收集到足够的标注样本来训练模型。





DAMP





的度量式提示完全遵循图像内在的物理统计特性，能稳定地刻画训练分布外的退化，可以为少样本、零样本场景下的高光谱数据质量提升提供参考。

参




考




文献




：

Wang B, Wang D, Guo H, Fu Y, Zhang J. Degradation-Aware Metric Prompting for Hyperspectral Image Restoration. International Conference on Machine Learning (ICML), 2026.

原文作者：公众号“空天视觉智能”

原文链接：

雷峰网

(公众号：雷峰网)

转载