论文解读 | arXiv 2025 | 2026-06-01

📄 论文信息

🎯 解决的核心问题

问题背景

在遥感图像分析中，我们经常需要根据自然语言描述来定位和分割特定的物体或区域。例如，给定一句话"图像左上角的红色建筑物"，系统需要自动找到并分割出对应的建筑物。这种任务被称为引用式遥感图像分割（Referring Remote Sensing Image Segmentation, RRSIS）。

现有方法的局限

当前主流方法通常采用以下流程：

1. 使用预训练语言模型（如BERT）编码文本描述
2. 使用视觉编码器（如ResNet）提取图像特征
3. 通过简单的拼接或注意力机制进行多模态融合
4. 使用分割头生成最终掩膜

核心问题：这些方法在细粒度语义对齐上存在严重缺陷：

• 文本编码器和视觉编码器是独立训练的，缺乏内在的跨模态关联
• 简单的特征拼接难以捕捉细粒度语义概念（如颜色、形状、位置等）
• 导致文本和视觉信息之间的表示不一致，影响分割精度

核心问题提炼

如何利用现有的视觉-语言基础模型（CLIP）和图像分割基础模型（SAM），构建一个能够精确理解自然语言描述并进行细粒度分割的遥感图像分析系统？

💡 解决方案

核心创新点1：基于CLIP的语义编码与对齐

设计动机：CLIP是一个经过大规模图文对比学习训练的视觉-语言模型，天然具备强大的跨模态对齐能力。与其从头训练一个跨模态融合模块，不如直接利用CLIP的语义空间。

具体实现：