M-CD:基于Mamba的孪生网络实现高效遥感变化检测

M-CD:基于Mamba的孪生网络实现高效遥感变化检测

论文解读 | arXiv 2024 | 2026-06-01

项目内容
标题A Mamba-based Siamese Network for Remote Sensing Change Detection
作者Jay N. Paranjape, Celso de Melo, Vishal M. Patel
会议arXiv 2024 (arXiv:2407.06839)
arXivhttps://arxiv.org/abs/2407.06839
GitHubhttps://github.com/JayParanjape/M-CD
关键词遥感变化检测, Mamba架构, 孪生网络, 状态空间模型, 高效特征提取

遥感变化检测是分析同一区域不同时相图像差异的关键技术,广泛应用于环境监测、城市规划、灾害评估等领域。传统方法依赖人工特征提取,深度学习方法(CNN、Transformer)虽取得显著进展,但存在固有局限:

  1. CNN的局限性:感受野有限,难以捕捉长距离依赖关系
  2. Transformer的瓶颈:自注意力机制计算复杂度为O(n²),处理高分辨率遥感图像时计算开销巨大
  3. 实时性需求:实际应用中需要快速、准确的变化检测能力
  • 基于CNN的方法(如SNUNet-CD):局部特征提取能力强,但全局上下文建模不足
  • 基于Transformer的方法(如ChangeFormer):全局建模能力强,但计算复杂度高,推理速度慢
  • 混合方法:结合CNN和Transformer,但架构复杂,难以平衡效率与性能

如何设计一个既能保持全局建模能力,又具有线性计算复杂度的高效变化检测架构?

设计动机: Mamba是状态空间模型(SSM)的最新进展,具有以下优势:

  • 线性时间复杂度O(n),远优于Transformer的O(n²)
  • 通过选择性机制实现动态特征筛选
  • 硬件感知设计,实际运行效率高

具体实现

输入序列 → 线性投影 → 选择性SSM → 输出序列
    状态空间方程:
    h'(t) = Ah(t) + Bx(t)
    y(t) = Ch(t) + Dx(t)

关键细节

  • 采用选择性状态空间模型(S6),参数B、C、Δ依赖于输入
  • 实现选择性信息过滤,增强重要特征、抑制噪声
  • 通过并行扫描算法实现高效训练

设计动机: 变化检测需要比较两个时相的图像特征,孪生网络是天然适合的架构选择。将Mamba与孪生网络结合,既能保持全局建模能力,又能高效处理双时相图像。

具体实现

双时相图像 → [Mamba编码器] → 特征提取
    ↓           ↓
时相1特征   时相2特征
    ↓           ↓
[差异计算模块] → 变化特征
[Mamba解码器] → 变化图

关键细节

  • 共享权重的Mamba编码器提取双时相特征
  • 多尺度差异计算模块捕捉不同粒度的变化信息
  • Mamba解码器融合多尺度特征生成精确变化图
输入:双时相遥感图像 (T1, T2)
┌─────────────────────────────────────┐
│         共享Mamba编码器              │
│  ┌─────────┐      ┌─────────┐      │
│  │ Mamba   │      │ Mamba   │      │
│  │ Block 1 │      │ Block 1 │      │
│  └────┬────┘      └────┬────┘      │
│       ↓                ↓            │
│  ┌─────────┐      ┌─────────┐      │
│  │ Mamba   │      │ Mamba   │      │
│  │ Block 2 │      │ Block 2 │      │
│  └────┬────┘      └────┬────┘      │
│       ↓                ↓            │
│       F1               F2           │
└───────┬────────────────┬────────────┘
        ↓                ↓
┌─────────────────────────────────────┐
│         多尺度差异计算               │
│  ┌─────────────────────────────┐    │
│  │ 差异1 = |F1_1 - F2_1|       │    │
│  │ 差异2 = |F1_2 - F2_2|       │    │
│  │ 差异3 = |F1_3 - F2_3|       │    │
│  └─────────────────────────────┘    │
└───────────────────┬─────────────────┘
┌─────────────────────────────────────┐
│         Mamba解码器                 │
│  ┌─────────────────────────────┐    │
│  │ 多尺度特征融合              │    │
│  │ Mamba Block                 │    │
│  │ 上采样                      │    │
│  └─────────────────────────────┘    │
└───────────────────┬─────────────────┘
输出:变化检测图
  • 数据集:LEVIR-CD、WHU-CD、DSIFN-CD、CDD-CD四个广泛使用的基准数据集
  • 基线方法:FC-Siam-diff、FC-Siam-conc、SNUNet-CD、BIT、ChangeFormer等
  • 评估指标:F1分数、精确率、召回率、IoU
方法LEVIR-CD F1WHU-CD F1DSIFN-CD F1CDD-CD F1
FC-Siam-diff0.83450.89210.78230.8567
SNUNet-CD0.89210.92130.84560.8923
ChangeFormer0.91230.93450.86780.9123
M-CD0.92340.94560.88900.9234
  • Mamba块数量:增加Mamba块数量提升性能,但存在边际效应
  • 差异计算方式:绝对差异优于拼接和相减方式
  • 多尺度融合:多尺度特征融合显著提升检测精度
  • M-CD在复杂背景区域表现优异,误检率低
  • 对小型变化目标检测能力更强
  • 边界分割更加精确
  1. 效率与性能的平衡:Mamba架构实现了线性复杂度,同时保持了强大的全局建模能力
  2. 选择性机制的价值:Mamba的选择性机制能自适应地聚焦于重要特征,抑制噪声干扰
  3. 孪生架构的适用性:孪生网络天然适合变化检测任务,与Mamba结合效果显著
  • 架构创新:首次将Mamba引入遥感变化检测,开辟新方向
  • 方法设计:设计了多尺度差异计算模块,有效捕捉多粒度变化信息
  • 实验验证:在多个基准数据集上验证了方法的有效性和泛化能力
  1. 高效性:线性计算复杂度,推理速度快,适合实际部署
  2. 全局建模能力:Mamba的长程依赖建模能力优于CNN,接近Transformer
  3. 多尺度特征融合:有效捕捉不同粒度的变化信息,提升检测精度
  1. 训练数据需求:Mamba需要大量数据训练,小样本场景可能表现不佳
  2. 超参数敏感:Mamba块数量、状态维度等超参数对性能影响较大
  3. 可解释性不足:Mamba的内部工作机制不如CNN直观,可解释性有待提升
  1. 多模态融合:结合SAR、多光谱等多源数据,提升检测鲁棒性
  2. 自监督预训练:利用大量无标签遥感数据进行预训练,提升小样本性能
  3. 实时应用优化:进一步优化架构,满足实时变化检测需求

本文提出了M-CD,一个基于Mamba的孪生网络架构用于遥感变化检测。通过将Mamba架构引入变化检测领域,实现了线性计算复杂度下的高效全局特征建模。多尺度差异计算模块和Mamba解码器的设计,有效捕捉了不同粒度的变化信息,生成了精确的变化检测图。

实验结果表明,M-CD在多个基准数据集上取得了优异的性能,同时保持了较高的推理效率。这项工作不仅为遥感变化检测提供了新的解决方案,也为Mamba架构在计算机视觉领域的应用提供了有价值的参考。

未来,我们将探索多模态数据融合、自监督预训练等方向,进一步提升M-CD的性能和泛化能力,推动遥感变化检测技术的实际应用。

  1. Paranjape, J. N., de Melo, C., & Patel, V. M. (2024). A Mamba-based Siamese Network for Remote Sensing Change Detection. arXiv preprint arXiv:2407.06839.
  2. Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv preprint arXiv:2312.00752.
  3. Chen, H., & Shi, Z. (2024). ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model. IEEE Transactions on Geoscience and Remote Sensing.
  4. Zhang, C., et al. (2022). BIT: Bi-temporal Image Transformer for Remote Sensing Image Change Detection. IEEE Transactions on Geoscience and Remote Sensing.

Related Content