论文解读 | CVPR 2026 | 2026-06-01

📄 论文信息

🎯 解决的核心问题

问题背景

遥感领域近年来涌现了大量基础模型（Foundation Models），包括SatMAE、CROMA、SpectralGPT、DOFA、SkySense、Prithvi等。这些模型通过在大规模遥感数据上进行自监督预训练，学习到了强大的特征表示能力。

然而，一个根本性的问题始终存在：我们能否不依赖训练数据，直接从这些已有的模型中学习？

现有方法的局限

1. 数据依赖性强：传统基础模型需要大量遥感数据进行预训练，数据收集和处理成本高昂
2. 计算资源消耗大：训练一个大规模基础模型需要大量GPU资源和时间
3. 模型孤立性：现有模型各自独立训练，缺乏模型间的知识共享机制
4. 组合困难：如何将多个模型的优势整合到一个新模型中是一个开放问题

核心问题提炼

能否直接在模型权重空间中学习一个通用表示，从而生成针对特定任务优化的新模型？

💡 解决方案

核心创新点1：模型权重空间学习（Weight Space Learning）

设计动机：

传统方法从数据中学习表示，而GeoSANE提出了一个全新的范式：从模型权重中学习表示。

具体实现：

1. 模型集合构建：收集103个预训练的遥感基础模型，总计约380亿参数
2. 权重空间编码：使用Sequential Autoencoder学习这些模型权重的共享潜在表示
3. 模型生成：从学习到的潜在空间中采样，生成新的模型候选

关键细节：