RSRefSeg：用CLIP+SAM双剑合璧，让遥感图像"听懂"自然语言描述

论文解读 | arXiv 2025 | 2026-06-01

📄 论文信息

🎯 解决的核心问题

问题背景

在遥感图像分析中，我们经常需要根据自然语言描述来定位和分割特定的物体或区域。例如，给定一句话"图像左上角的红色建筑物"，系统需要自动找到并分割出对应的建筑物。这种任务被称为引用式遥感图像分割（Referring Remote Sensing Image Segmentation, RRSIS）。

现有方法的局限

当前主流方法通常采用以下流程：

1. 使用预训练语言模型（如BERT）编码文本描述
2. 使用视觉编码器（如ResNet）提取图像特征
3. 通过简单的拼接或注意力机制进行多模态融合
4. 使用分割头生成最终掩膜

核心问题：这些方法在细粒度语义对齐上存在严重缺陷：

• 文本编码器和视觉编码器是独立训练的，缺乏内在的跨模态关联
• 简单的特征拼接难以捕捉细粒度语义概念（如颜色、形状、位置等）
• 导致文本和视觉信息之间的表示不一致，影响分割精度

核心问题提炼

如何利用现有的视觉-语言基础模型（CLIP）和图像分割基础模型（SAM），构建一个能够精确理解自然语言描述并进行细粒度分割的遥感图像分析系统？

💡 解决方案

核心创新点1：基于CLIP的语义编码与对齐

设计动机：CLIP是一个经过大规模图文对比学习训练的视觉-语言模型，天然具备强大的跨模态对齐能力。与其从头训练一个跨模态融合模块，不如直接利用CLIP的语义空间。

具体实现：

输入：
  - 文本描述 T = "图像左上角的红色建筑物"
  - 遥感图像 I ∈ R^{H×W×3}

步骤1：文本编码
  T_global = CLIP_text_encoder(T)  # 全局文本特征
  T_local = CLIP_text_encoder(T_tokens)  # 局部token级特征

步骤2：视觉编码
  V = CLIP_visual_encoder(I)  # 视觉特征图 V ∈ R^{h×w×d}

步骤3：语义激活
  # 使用全局文本特征计算注意力权重
  A_global = softmax(T_global · V^T / √d)
  
  # 使用局部文本特征进行细粒度匹配
  A_local = softmax(T_local · V^T / √d)
  
  # 融合全局和局部注意力
  A = α · A_global + (1-α) · A_local
  
  # 生成激活特征
  V_activated = A ⊙ V

关键细节：

• 全局特征捕捉整体语义（如"建筑物"）
• 局部特征捕捉细粒度属性（如"红色"、“左上角”）
• 注意力权重A作为"语义过滤器"，激活与文本描述相关的视觉区域

核心创新点2：基于SAM的提示驱动分割

设计动机：SAM（Segment Anything Model）是一个强大的通用分割模型，但需要适当的提示（prompt）才能进行精确分割。RSRefSeg巧妙地将CLIP生成的激活特征转化为SAM的提示。

具体实现：

输入：
  - 激活特征 V_activated ∈ R^{h×w×d}
  - 原始图像 I

步骤1：特征转换
  # 使用轻量级投影层将CLIP特征映射到SAM的提示空间
  P = Projection(V_activated)  # P ∈ R^{h×w×d_sam}

步骤2：提示生成
  # 将投影后的特征作为SAM的dense prompt
  mask_prompt = P.reshape(1, h, w, d_sam)

步骤3：SAM分割
  # 使用SAM的mask decoder进行分割
  mask_logits = SAM_decoder(
      image_embedding=SAM_encoder(I),
      mask_prompt=mask_prompt
  )
  
  # 生成最终二值掩膜
  mask = sigmoid(mask_logits) > 0.5

关键细节：

• 投影层将CLIP的语义空间映射到SAM的提示空间
• Dense prompt提供像素级的语义指导
• SAM的强大泛化能力确保分割质量

整体架构图

输入图像 I                    输入文本 T
     │                            │
     ▼                            ▼
┌─────────────┐            ┌─────────────┐
│ CLIP视觉编码器 │            │ CLIP文本编码器 │
└─────────────┘            └─────────────┘
     │                            │
     ▼                            ▼
视觉特征图 V                文本特征 (全局+局部)
     │                            │
     └──────────┬─────────────────┘
                │
                ▼
        ┌───────────────┐
        │  语义激活模块   │
        │ (注意力融合)    │
        └───────────────┘
                │
                ▼
          激活特征 V_activated
                │
                ▼
        ┌───────────────┐
        │  特征投影层     │
        └───────────────┘
                │
                ▼
           SAM提示 P
                │
                ▼
        ┌───────────────┐
        │  SAM解码器     │
        └───────────────┘
                │
                ▼
          分割掩膜 Mask

🔬 实验验证

实验设置

数据集：

• RRSIS-D：引用式遥感图像分割数据集，包含多种场景和描述

基线方法：

• 传统方法：LSTM+CNN、BERT+ResNet等
• 基础模型方法：CLIP-based、SAM-based等

评估指标：

• IoU（Intersection over Union）
• Precision
• Recall
• F1-Score

核心结果

关键发现：

• RSRefSeg在所有指标上都显著优于现有方法
• 相比CLIP-based方法，IoU提升7.4个百分点
• 证明了CLIP+SAM组合的有效性

消融实验

关键发现：

• 全局和局部特征的融合带来2.2%的提升
• SAM的引入带来5.9%的显著提升
• 证明了两个核心创新点的有效性

可视化分析

案例1：颜色属性识别

• 文本描述：“红色屋顶的建筑物”
• RSRefSeg能够准确识别红色屋顶区域，而非整个建筑物
• 证明了细粒度语义理解能力

案例2：空间位置定位

• 文本描述：“图像右下角的车辆”
• RSRefSeg能够准确定位右下角区域的车辆
• 证明了空间关系理解能力

案例3：复杂描述处理

• 文本描述：“靠近河流的绿色植被”
• RSRefSeg能够同时理解"靠近河流"和"绿色植被"两个语义
• 证明了复杂语义组合能力

💭 深度评价

核心洞察

1. 基础模型组合的力量：RSRefSeg的核心洞察是，与其从头训练一个复杂的多模态融合模型，不如将两个强大的基础模型（CLIP和SAM）巧妙地组合起来。CLIP提供语义理解，SAM提供分割能力，两者各司其职，协同工作。

2. 语义激活机制的精妙设计：通过将文本特征作为"语义过滤器"来激活视觉特征，RSRefSeg实现了真正的细粒度跨模态对齐。这种设计比简单的特征拼接或注意力机制更加有效。

3. 提示工程的创新应用：将CLIP的激活特征转化为SAM的提示，这是一种创新的"模型间通信"方式。它展示了如何利用不同基础模型的优势，构建更强大的复合系统。

技术贡献层次

第一层：工程贡献

• 提出了一个完整、可运行的引用式遥感分割系统
• 代码开源，易于复现和扩展

第二层：方法贡献

• 设计了语义激活机制，实现细粒度跨模态对齐
• 提出了CLIP-to-SAM的特征转换方法

第三层：理念贡献

• 展示了基础模型组合的范式
• 为遥感领域的多模态任务提供了新思路

优点（2-3个）

1. 简洁而有效：架构设计简洁，没有复杂的模块堆砌，但效果显著。两个基础模型的组合既利用了预训练知识，又避免了从头训练的高成本。

2. 泛化能力强：由于CLIP和SAM都是在大规模数据上预训练的，RSRefSeg天然具备较强的泛化能力，能够处理各种场景和描述。

3. 易于扩展：该框架具有良好的模块化设计，可以轻松替换或升级各个组件（如使用更强大的CLIP或SAM变体）。

局限性（2-3个）

1. 依赖基础模型质量：RSRefSeg的性能高度依赖于CLIP和SAM的质量。如果基础模型在遥感领域表现不佳，RSRefSeg也会受到影响。

2. 计算开销较大：需要同时运行CLIP和SAM两个大模型，推理速度较慢，可能不适合实时应用场景。

3. 缺乏遥感领域特化：CLIP和SAM都是在自然图像上预训练的，可能无法充分利用遥感图像的特殊性（如多光谱、高分辨率等）。

未来方向

1. 遥感领域适配：可以考虑在遥感数据上对CLIP和SAM进行微调，提升领域特化能力。

2. 轻量化设计：探索模型压缩、知识蒸馏等技术，降低计算开销，提升推理速度。

3. 多任务扩展：将RSRefSeg扩展到其他遥感任务，如目标检测、场景分类等。

4. 时序分析：结合时序信息，实现变化检测等动态分析任务。

📝 总结

RSRefSeg是遥感领域引用式分割任务的一次重要探索。它巧妙地将CLIP的语义理解能力与SAM的分割能力相结合，构建了一个强大而简洁的系统。通过语义激活机制和提示驱动分割，RSRefSeg实现了细粒度的跨模态对齐，在多个评估指标上显著优于现有方法。

这项工作的核心价值在于展示了基础模型组合的范式。与其从头训练复杂的多模态融合模型，不如充分利用现有的强大基础模型，通过巧妙的设计实现"1+1>2"的效果。这种思路不仅适用于遥感领域，也为其他领域的多模态任务提供了有益的启示。

当然，RSRefSeg也有其局限性，如对基础模型的依赖、计算开销较大等。但这些问题也为未来的研究指明了方向。随着基础模型技术的不断进步和遥感数据的积累，我们有理由相信，类似的组合范式将在遥感智能分析中发挥越来越重要的作用。

参考文献

1. Radford, A., et al. “Learning transferable visual models from natural language supervision.” ICML 2021.
2. Kirillov, A., et al. “Segment anything.” ICCV 2023.
3. Chen, K., et al. “RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models.” arXiv:2501.06809, 2025.