科研成果 | 网络信息体系技术重点实验室 2 篇论文被多媒体与人工智能领域顶会 ACM MM 2026 接收

原文链接：https://mp.weixin.qq.com/s/6beKkoxnLeyz-RxUsWeCPA

无人机视角下，大范围背景容易干扰图文对齐，不同目标又常具有相似的俯视几何结构，仅在颜色、材质和纹理等细粒度属性上存在差异，导致跨模态关注错位和视觉同构问题。

本文提出细粒度跨模态理解框架




GRASP




。




区域聚焦对齐机制




在全局场景和局部目标两个粒度建立图文对应关系，通过区域级对比学习与跨模态排序约束抑制背景干扰；




语义扰动增强匹配策略




通过属性词替换和语义原型码本，分别构造文本与视觉困难负样本，增强模型对结构相似目标细微属性差异的判别能力。两项机制均仅用于训练，不增加推理开销。

实验结果表明，GRASP 在 GeoText-1652 和 ERA 数据集上均取得领先的细粒度图文检索性能，并具有较好的跨数据集泛化能力。

本文第一作者是博士生崔嘉辉，2024年保送至中国科学院空天信息创新研究院，导师为王磊研究员。通讯作者为指导导师汪奕汝助理研究员。

现有遥感变化检测方法主要面向固定类别的像素级判别，多模态大语言模型则缺少显式的跨时相比较与精确空间定位能力，难以统一完成变化检测和变化理解。

本文构建多时相遥感变化问答数据集




Delta-QA




，包含约18万条双时相和三时相样本，支持文本、点和边界框等交互形式，并将变化问答与像素级掩膜统一组织；进一步提出多模态大语言模型




Delta-LLaVA




，通过




变化增强注意力




强化跨时相差异，利用




变化先验嵌入




形成显式变化表征，并以




局部因果注意力




减少跨时相特征混淆，实现变化理解与像素级定位的统一。

实验结果表明，Delta-LLaVA 在双时相与三时相变化检测、变化理解及跨数据集泛化方面均取得领先性能。

本文第一作者是李肖赫助理研究员。学生一作为硕士生李佳浩，2024年保送至中国科学院空天信息创新研究院，导师为王洪副研究员。通讯作者为樊子德副研究员。