关键词：语义分割、全景遥感影像、端到端学习、空间并行交互机制、大规模图像处理

1. 论文信息

• 标题：REST: Holistic Learning for End-to-End Semantic Segmentation of Whole-Scene Remote Sensing Imagery
• 作者：Wei Chen, Lorenzo Bruzzone, Bo Dang, Yuan Gao, Youming Deng, Jin-Gang Yu, Liangqi Yuan, Yansheng Li
• 机构：武汉大学、特伦托大学、康奈尔大学、华南理工大学、普渡大学
• 发表：IEEE TPAMI 2025
• 代码：https://github.com/weichenrs/REST_code

2. 问题：全景遥感影像分割的GPU内存瓶颈

2.1 核心挑战

全景遥感影像（Whole-scene Remote Sensing Imagery, WRI）通常具有极大的尺寸（如10000×10000像素以上），这给深度学习方法带来了严峻的挑战：

1. GPU内存限制：标准深度学习模型无法一次性处理如此大的影像
2. 现有解决方案的缺陷：
   • 裁剪策略：将大影像切割成小块处理，但损失了全局上下文信息
   • 融合策略：分别处理后融合结果，但引入了边界伪影和不一致性
3. 性能下降：这两种策略都会导致分割精度显著下降

2.2 现有方法的局限

裁剪-based方法：

• 优点：实现简单，内存需求低
• 缺点：丢失全局上下文，边界区域分割质量差
• 性能损失：通常下降3-5% mIoU

融合-based方法：

• 优点：保留了部分全局信息
• 缺点：计算开销大，边界处理复杂
• 性能损失：通常下降1-3% mIoU

基础模型（如SkySense）：

• 通常只能处理2048×2048的裁剪块
• 无法直接处理全景影像
• 需要额外的后处理步骤

3. 解决方案：REST的空间并行交互机制

3.1 核心思想

REST的核心创新在于：首次提出真正的端到端框架，通过空间并行交互机制（SPIM），在GPU内存限制下实现全景遥感影像的整体分割。

3.2 关键技术细节

3.2.1 空间并行交互机制（SPIM）

SPIM结合了并行计算和分治策略：

传统并行方法的局限：