论文解读 | arXiv 2025 | 2026-06-01

📄 论文信息

🎯 解决的核心问题

问题背景

遥感领域存在一个有趣的现象：MAE（掩码自编码器）几乎垄断了自监督预训练的天下。从SatMAE到Scale-MAE，几乎所有主流的遥感基础模型都采用MAE范式——遮住图像的一部分，让模型去重建。

但这里有个根本性的问题被忽视了：

遥感图像天生就是多尺度的。

同一场景在不同传感器下，GSD（地面采样距离）可以从0.3米到几十米不等。一个建筑物在高分辨率下是清晰的矩形，在低分辨率下可能只是一个模糊的像素点。

现有方法的局限

MAE的核心思路是重建被遮挡的像素。这个任务本质上是"填补缺失"，而不是"理解尺度"。具体来说：

1. MAE的尺度感知是被动的：Scale-MAE虽然引入了GSD信息作为位置编码，但这只是在输入端"告诉"模型当前图像的尺度，模型并没有主动学习尺度的能力
2. MAE对GSD元数据有依赖：如果推理时没有GSD信息，性能会显著下降
3. MAE的多尺度利用不充分：虽然可以处理不同分辨率的图像，但训练时并没有显式地利用多尺度信息

核心问题提炼

能否用对比学习（DINO）替代MAE，让模型在预训练阶段就主动学习多尺度表示，而不依赖外部GSD元数据？

💡 解决方案

核心洞察：DINO天然适合多尺度

作者的核心洞察非常精妙：

DINO在训练时会生成多个不同尺度的视图（global views + local views），这些视图本身就是多尺度的。这与遥感图像的多尺度特性完美契合。

具体来说，DINO的标准训练流程是：

• Global views：覆盖图像25%-100%的区域
• Local views：覆盖图像5%-25%的区域

这意味着模型在训练过程中，天然就会看到同一场景在不同"缩放级别"下的样子——这不正是遥感图像多尺度特性的完美模拟吗？

创新点1：GSD编码（Ground Sample Distance Encoding）

设计动机：

现有的GSD编码方法（如Scale-MAE）将GSD作为位置编码的一部分注入模型。但这种方法有两个致命缺陷：

1. 训练时必须有GSD元数据
2. 推理时如果GSD信息缺失，性能会崩溃

具体实现：

SatDINO提出了一种从图像本身学习GSD的优雅方案：