多模态 - Tag - 堂堂一跑堂https://spacetop.win/tags/%E5%A4%9A%E6%A8%A1%E6%80%81/多模态 - Tag - 堂堂一跑堂Hugo -- gohugo.iozh-CNkingcopper@whu.edu.cn (WangTong)kingcopper@whu.edu.cn (WangTong)Mon, 01 Jun 2026 12:00:00 +0800AnySat：一个模型搞定所有分辨率、尺度和模态的遥感数据https://spacetop.win/2026/06/20260601_220000_anysat_multi_resolution/Mon, 01 Jun 2026 12:00:00 +0800WangTonghttps://spacetop.win/2026/06/20260601_220000_anysat_multi_resolution/ AnySat：一个模型搞定所有分辨率、尺度和模态的遥感数据

论文解读 | CVPR 2025 Highlight | 2026-06-01

📄 论文信息

项目 内容
标题 AnySat: One Earth Observation Model for Many Resolutions, Scales, and Modalities
作者 Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu
会议 CVPR 2025 (Highlight)
arXiv https://arxiv.org/abs/2412.14123
GitHub https://github.com/gastruc/AnySat (190 stars)
关键词 遥感基础模型、多模态、多分辨率、JEPA架构、自监督学习

🎯 解决的核心问题

遥感数据天然具有多源异构的特点：

  • 分辨率差异：从0.3米的无人机影像到30米的Sentinel-2，跨越100倍
  • 通道数量不同：RGB（3通道）、多光谱（4-13通道）、SAR（2通道）
  • 覆盖范围多样：小区域精细观测 vs 大范围宏观监测
  • 传感器类型繁多：光学、SAR、高光谱等11种以上传感器
  1. 单模型单数据：每个数据集需要单独训练模型，无法共享知识
  2. 分辨率不兼容：不同分辨率的数据需要不同的网络架构
  3. 模态隔离：光学和SAR数据通常分开处理
  4. 扩展性差：新增传感器需要重新设计模型

如何用一个统一的模型处理任意分辨率、任意尺度、任意模态组合的遥感数据？

💡 解决方案

设计动机：传统MAE需要固定输入尺寸，无法处理不同分辨率的图像。

具体实现：

  • 采用Joint Embedding Predictive Architecture (JEPA)，不依赖像素级重建
  • 引入尺度自适应机制，根据输入数据的GSD自动调整
  • 使用分块嵌入策略，将不同分辨率的图像映射到统一的特征空间

关键细节：

]]>