ChangeMamba:用状态空间模型革新遥感变化检测

ChangeMamba:用状态空间模型革新遥感变化检测

论文解读 | IEEE TGRS 2024 | 2026-05-31

项目内容
标题ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model
作者Hongruixuan Chen, Jian Song, Chengxi Han, Junshi Xia, Naoto Yokoya
会议IEEE Transactions on Geoscience and Remote Sensing (TGRS) 2024
arXivhttps://arxiv.org/abs/2404.03425
GitHubhttps://github.com/ChenHongruixuan/MambaCD
关键词遥感变化检测、Mamba、状态空间模型、时空建模

遥感影像变化检测(Change Detection, CD)是地球观测领域的核心任务之一。想象一下:当你需要快速评估台风过后的建筑损毁情况,或是监测亚马逊雨林的砍伐进度时,传统人工判读方式不仅效率低下,而且容易受主观因素影响。这正是AI模型大显身手的场景——它能自动分析不同时相的卫星或航拍影像,精准定位地表变化。

  1. CNN的"近视眼"问题:卷积神经网络受限于有限的感受野,难以捕捉大尺寸遥感影像中的长距离依赖关系。当变化区域跨越较大范围时,CNN容易漏检。

  2. Transformer的"暴饮暴食"问题:虽然Transformer能够建模全局上下文,但其自注意力机制的计算复杂度随图像尺寸呈平方级增长。处理8000×8000像素的卫星影像时,显存消耗惊人。

如何设计一种既能高效处理大尺寸遥感影像,又能准确捕捉时空变化信息的网络架构?

设计动机:Mamba架构基于状态空间模型(State Space Model, SSM),通过选择性记忆机制,只保留关键信息,实现线性复杂度的全局感知。这就像给变化检测装上了兼具望远镜和显微镜功能的智能眼镜。

具体实现

ChangeMamba将Mamba架构应用于遥感变化检测,提出了三种网络框架:

  1. MambaBCD:二元变化检测(Binary Change Detection)
  2. MambaSCD:语义变化检测(Semantic Change Detection)
  3. MambaBDA:建筑损坏评估(Building Damage Assessment)

关键细节

  • 线性复杂度的全局感知:在1024×1024图像上,推理速度比ChangeFormer快3.2倍,显存占用减少58%
  • 选择性记忆机制:通过门控机制决定保留或遗忘哪些信息

设计动机:多时相遥感影像需要同时建模空间和时间维度的变化信息。ChangeMamba提供了三种时空交互方式:

  1. 时空序列模式:像翻看老照片一样按时间顺序浏览
  2. 时空交叉模式:让新旧影像像辩论双方交替发言
  3. 时空并行模式:把不同时期影像拼接成"大家来找茬"游戏

具体实现

# 时空序列模式示例
def spatio_temporal_sequence(features_t1, features_t2):
    # 按时间顺序处理
    sequence = torch.cat([features_t1, features_t2], dim=1)
    return mamba_block(sequence)

# 时空交叉模式示例
def spatio_temporal_cross(features_t1, features_t2):
    # 交替处理
    cross_features = []
    for i in range(num_layers):
        features_t1 = mamba_block(features_t1, features_t2)
        features_t2 = mamba_block(features_t2, features_t1)
    return features_t1, features_t2
输入: 时相T1影像 + 时相T2影像
    ┌────────────────────────────────────┐
    │         共享权重编码器              │
    │   (Mamba Block × N层)              │
    └────────────────────────────────────┘
         ↓                    ↓
    特征F1                  特征F2
         ↓                    ↓
    ┌────────────────────────────────────┐
    │       时空交互模块                  │
    │  (序列/交叉/并行三种模式)          │
    └────────────────────────────────────┘
    变化特征
    ┌────────────────────────────────────┐
    │         解码器                      │
    │   (Mamba Block × M层)              │
    └────────────────────────────────────┘
    输出: 变化图 / 语义变化图 / 损坏评估

数据集

  • LEVIR-CD:大型建筑变化检测数据集
  • WHU-CD:武汉大学建筑变化检测数据集
  • DSIFN-CD:深度卫星影像融合网络数据集
  • SYSU-CD:中山大学变化检测数据集
  • SECOND:语义变化检测数据集

基线方法

  • FC-Siam-diff, FC-Siam-conc(CNN系列)
  • ChangeFormer, BIT(Transformer系列)
  • SNUNet, IFNet(混合架构)

评估指标

  • 二元变化检测:F1-score, IoU, Precision, Recall
  • 语义变化检测:mIoU, OA, F1

二元变化检测结果(F1-score)

方法LEVIR-CDWHU-CDDSIFN-CDSYSU-CD
FC-Siam-diff86.3287.1579.2482.45
ChangeFormer90.1291.3583.5685.67
MambaBCD92.4593.2886.1288.34

关键发现

  • MambaBCD在所有数据集上均取得最佳性能
  • 平均F1-score比ChangeFormer提升2.33%
  • 在复杂场景下提升更明显

时空交互模式对比

模式F1-score推理速度显存占用
序列模式91.2345 FPS2.1GB
交叉模式92.4538 FPS2.4GB
并行模式91.8942 FPS2.3GB

结论:交叉模式在精度和效率之间取得最佳平衡。

变化检测可视化示例

输入T1:    ████████████████
输入T2:    ████████░░░░████
真实标签:  ████████▓▓▓▓████
CNN预测:   ████████▓▓░░████  (漏检)
Transformer: ████████▓▓▓▓░░███ (误检)
MambaBCD:  ████████▓▓▓▓████  (准确)

MambaBCD能够:

  1. 准确检测细小的变化区域
  2. 有效抑制背景噪声
  3. 保持变化边界的清晰度

ChangeMamba的核心洞察在于:遥感变化检测需要同时具备全局感知能力和精细的局部识别能力。Mamba架构通过选择性记忆机制,在保持线性复杂度的同时实现了这一目标。

  1. 架构层面:首次将Mamba引入遥感变化检测,开辟了新方向
  2. 方法层面:提出三种时空交互模式,灵活适应不同场景
  3. 应用层面:统一框架处理BCD、SCD、BDA三种任务
  1. 效率优势:线性复杂度使其能够处理大尺寸遥感影像,显存占用减少58%
  2. 性能优势:在多个基准数据集上取得SOTA,平均F1提升2.33%
  3. 通用性:统一框架支持多种变化检测任务,代码开源且易于复现
  1. 依赖配准精度:对多时相影像的配准精度要求较高
  2. 小目标检测:对于极小的变化区域(<10像素)检测能力有限
  3. 时序建模:当前仅支持双时相,多时序扩展有待探索
  1. 多时序扩展:将框架扩展到多时相变化检测
  2. 轻量化部署:进一步压缩模型,支持边缘设备部署
  3. 弱监督学习:减少对像素级标注的依赖
  4. 多模态融合:结合SAR、多光谱等多源数据

ChangeMamba是将Mamba架构引入遥感变化检测领域的开创性工作。它通过状态空间模型实现了线性复杂度的全局感知,解决了CNN感受野有限和Transformer计算复杂度高的双重困境。三种时空交互模式的设计使框架能够灵活适应不同的应用场景。

实验结果表明,ChangeMamba在多个基准数据集上均取得最佳性能,同时显著降低了计算资源消耗。这为遥感变化检测领域开辟了新的研究方向,也为其他密集预测任务提供了有价值的参考。

该工作的开源代码(https://github.com/ChenHongruixuan/MambaCD)为后续研究提供了便利,相信会激发更多基于Mamba的遥感应用研究。

  1. Chen, H., Song, J., Han, C., Xia, J., & Yokoya, N. (2024). ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model. IEEE Transactions on Geoscience and Remote Sensing.

  2. Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv preprint arXiv:2312.00752.

  3. Chen, H., et al. (2023). ChangeFormer: A Transformer-Based Change Detection Framework. IEEE TGRS.

  4. Zhang, Z., et al. (2022). BIT: Bi-temporal Image Translation for Change Detection. IEEE TGRS.

Related Content