地理空间AI基础模型：从掩码自编码器到多任务微调的实践指南

1. 项目概述：从“一事一议”到“一通百通”的地理空间AI新范式

如果你在地球科学、遥感或者农业、灾害监测领域工作过，大概率对这样的场景不陌生：为了监测洪水，你需要收集特定区域、特定时间的卫星影像，然后费尽心思标注出被水淹没的像素，最后训练一个专门用于洪水识别的卷积神经网络（CNN）。过几个月，森林大火频发，你又得从头再来一遍——找火灾前后的影像，标注火烧迹地，再训练一个全新的模型。每个任务都像在造一个独立的“轮子”，不仅耗时费力，标注成本高昂，而且这个“轮子”换个地方（空间泛化）或者换个时间（时间泛化），性能就可能大打折扣。

这正是当前地理空间AI面临的典型困境：高度依赖标注数据、模型专用性强、泛化能力弱。与此同时，我们正处在一个遥感数据爆炸的时代。以NASA的HLS（Harmonized Landsat Sentinel-2）数据集为例，其存档已超过3.61PB，覆盖全球，更新频率高达每2-3天一次。这些海量的、多时相、多光谱的数据蕴含着地球表面动态变化的丰富信息，但其中绝大部分都是无标签的。如何从这片数据的“海洋”中高效地提炼出通用知识，而不是为每一滴“水”（特定任务）去定制工具，成为了一个核心挑战。

地理空间基础模型的提出，正是为了应对这一挑战。其核心思路借鉴了自然语言处理（NLP）和计算机视觉（CV）领域的成功经验：首先，利用自监督学习方法，在海量无标签的遥感数据上进行预训练，让模型学会理解数据本身的内在结构和通用模式，比如不同地物的光谱特征、季节变化规律、云与地表的光谱差异等。这个过程不依赖于任何人工标注。然后，这个预训练好的、具备通用知识的“基础模型”，可以通过相对少量的标注数据，快速微调适配到各种具体的下游任务上，如洪水制图、火灾疤痕分割、作物分类等。

本文将深入解析我们构建的一个具体实践——Prithvi-100M模型。这是一个基于掩码自编码器架构，在HLS数据集上预训练的地理空间基础模型。我将从设计思路、数据处理、模型架构、预训练技巧，一直讲到在多任务上的微调应用与效果分析。我的目标是，不仅让你明白这个模型“是什么”和“怎么用”，更要讲清楚背后每一个技术决策的“为什么”，并分享我们在构建这个大规模AI系统过程中踩过的坑和积累的经验。无论你是地球科学领域的研究者，还是希望将AI应用于遥感业务的工程师，这篇文章都将为你提供一个从理论到实践的完整路线图。

2. 核心架构解析：为什么是掩码自编码器与Vision Transformer？

当我们决定要构建一个地理空间基础模型时，第一个问题就是：用什么架构？在NLP领域，Transformer及其变体（如BERT、GPT）已成为基础模型的事实标准。在CV领域，Vision Transformer（ViT）和基于它的掩码自编码器（MAE）也证明了其强大的表征学习能力。对于地理空间数据——本质上是具有时空维度的图像序列——我们的选择也需要兼顾对空间上下文、时间序列以及多光谱通道的强大建模能力。

2.1 掩码自编码器：高效的自监督学习引擎

掩码自编码器的核心思想极其巧妙且高效：随机“抹去”输入图像的一部分（比如75%的图像块），然后让模型根据剩余可见的部分，去预测被抹去部分的内容。这个过程就像让一个孩子通过拼图的一小部分去想象整幅画面。

为什么MAE特别适合遥感数据预训练？

1. 消除冗余，聚焦学习：卫星影像相邻像素间存在高度空间冗余。MAE通过高比例随机掩码（我们实验中常用75%），强制模型不能只靠简单插值来“猜”，而必须从全局上下文和剩余片段中学习高级语义和物理规律（如水体边界的光滑性、植被指数的连续性）。
2. 计算高效：MAE采用非对称编码器-解码器设计。编码器（ViT）只处理未被掩码的少量图像块（如25%），这大大减少了计算和内存开销。解码器则是一个轻量级网络，负责将编码器的输出和代表被掩码位置的“掩码令牌”一起，重构出完整图像。这种设计使得我们能够用更大的批次尺寸和更长的序列来训练模型。
3. 通用代理任务：重建像素值是一个与下游任务（分类、分割）形式不同但内在相关的任务。为了准确重建，模型必须理解地物的光谱特征、纹理、形状及其在时空中的变化模式。这种理解是通用的，为下游任务提供了强大的特征基础。

2.2 Vision Transformer：从处理“词语”到处理“图像块”

ViT是MAE的骨干编码器。它将图像分割成固定大小的非重叠图像块（如16x16像素），并将每个图像块线性投影为一个向量，称为“块嵌入”。这些块嵌入加上位置编码后，就形成了一系列“视觉词语”序列，可以像处理文本句子一样，送入Transformer编码器进行建模。

针对地理空间数据的核心改造：3D化标准的ViT和MAE是为2D RGB图像设计的。而我们的输入数据是(时间步长T, 高度H, 宽度W, 光谱通道C)的4D张量。为此，我们进行了两项关键改造：

1. 3D块嵌入：我们不再生成2D的图像块，而是生成3D的“立方体块”。具体来说，我们使用一个3D卷积层，在时间、空间维度上同时进行切割和投影。例如，设置块大小为(1, 16, 16)，意味着在时间维度上不切割（每个时间步独立处理），在空间上切割成16x16的块。这允许模型从一开始就耦合时空信息。
2. 3D位置编码：Transformer本身不具备空间位置感知能力，需要额外添加位置编码。我们扩展了ViT中经典的2D正弦余弦位置编码。分别为高度、宽度、时间三个维度生成独立的1D正弦余弦编码向量，然后将它们相加，融合成一个统一的3D位置编码。这种方法简单有效，能让模型明确感知每个数据“立方体”在时空网格中的绝对位置。

注意：时间维度的特殊处理。与高帧率视频不同，卫星影像的时间频率很低（几天甚至几周一景）。因此，我们将时间维度的“管状体”大小设为1，即不在时间维度上进行块合并，以保留每个时间步的独立性。模型通过3D位置编码和自注意力机制来学习时间上的依赖关系。

2.3 整体预训练流程

结合MAE和改造后的ViT，我们的预训练流程如下：

1. 输入：一个多时相多光谱图像立方体（如3个时间步，6个波段，224x224像素）。
2. 分块与掩码：将输入立方体划分为3D块。随机选择高比例（如75%）的块进行掩码，将其替换为一个可学习的“掩码令牌”向量。
3. 编码：仅将未被掩码的块（25%）输入ViT编码器，进行特征提取。
4. 解码：将编码器输出的特征与“掩码令牌”按原始空间顺序拼接，送入一个轻量级的Transformer解码器。
5. 重建与损失：解码器的目标是在像素空间重建被掩码的块。损失函数是原始像素值与重建像素值之间的均方误差（MSE）。模型通过最小化这个损失，学习到数据的内在表征。

这个过程完全自监督，不需要任何人工标注标签。模型在数亿甚至数十亿个这样的图像立方体上训练后，其编码器部分就成为了一个强大的、通用的地理空间特征提取器。

3. 数据工程：从PB级原始数据到高效训练样本

模型架构是骨架，数据才是血液。对于基础模型而言，数据的规模、质量和多样性直接决定了其“基础”的牢固程度。处理PB级的原始HLS GeoTiff文件，并将其转化为适合深度学习框架高效读取的训练样本，是整个项目中最具工程挑战性的环节之一。

3.1 数据源与分层采样：避免“偏见”的数据集构建

我们使用NASA的HLS数据，它融合了Landsat和Sentinel-2的数据，提供了近乎全球覆盖、每2-3天重访、30米分辨率的多光谱观测。直接使用所有数据是不现实且低效的，因为相邻时间和空间的影像存在大量冗余。

关键问题：如何从海量数据中采样出一个既具有代表性又无偏的训练集？随机采样看似公平，实则可能导致模型过度学习常见地貌（如温带森林、农田），而对稀有但重要的地貌（如冰川、沙漠、湿地）学习不足。

我们的解决方案：基于地理空间统计的分层采样。

1. 计算统计量：在目标区域（如美国本土）的低分辨率网格上，计算长期（如42年）的地理气候统计量，例如年平均温度、年降水量的第99百分位数等。这些统计量是不同生态系统和景观类型的有效代理指标。
2. 聚类分层：利用这些统计量，将整个区域划分为多个不同的“生态-气候”类别（例如，我们划分了20类）。图2展示了基于温度和降水对美国本土的分类结果，可以看到清晰的地理分带。
3. 均匀采样：从每一个类别中均匀地采样地理瓦片。这确保了我们的训练集涵盖了从寒冷湿润到炎热干燥的各种环境条件，从而强制模型学习更普适的特征，而非特定区域的偏见。

3.2 预处理流水线：云端原生与质量过滤

原始HLS数据存在两大问题：云层遮挡和无效值（如传感器故障）。直接将含云数据输入模型，会严重干扰学习过程。

离线预处理与索引构建： 我们的策略是在训练开始前，完成所有耗时的质量筛选工作，而不是在训练时动态过滤。流程如下：

1. 分块：将每个巨大的HLS瓦片（3660x3660像素）划分为模型需要的尺寸（如224x224）的非重叠子区域。
2. 云与无效值检测：利用HLS自带的云掩膜（FMask）文件，计算每个子区域内被云、云影覆盖或无效数据的像素比例。
3. 阈值过滤：设定一个严格的质量阈值（例如，云覆盖率<1%，无效值比例=0%）。只有完全通过筛选的子区域才会被保留。
4. 生成索引文件：将每个合格子区域的信息（瓦片ID、时间戳、左上角像素坐标）记录在一个索引文件中。这个文件就是后续数据加载的“地图”。

为什么选择Zarr格式？最初，我们尝试在训练时直接从成千上万个GeoTiff文件中读取数据。这引发了灾难性的I/O瓶颈。每个训练批次可能需要打开上千个文件，即使使用高速网络存储，数据加载速度也远远跟不上GPU的计算速度，导致GPU利用率长期低于20%。

我们转向了Zarr格式。Zarr是一种为大规模数值数据设计的存储格式，支持高效的并行读写。

• 高效读取：我们将所有通过筛选的子区域数据从GeoTiff中提取出来，重新组织并存储为Zarr数组。Zarr允许我们以“块”为单位进行随机读取，非常适合深度学习中的小批量随机梯度下降。
• 减少I/O：训练时，数据加载器只需读取一个或几个大的Zarr文件，而不是打开无数个小文件，极大减少了文件系统操作的开销。
• 云端友好：Zarr与对象存储（如AWS S3）兼容性好，支持流式读取，非常适合云上训练。

如表1所示，切换到Zarr加载器后，在8块GPU上，每个训练周期的平均时间从690秒降至381秒，效率提升了约45%，并且使用的数据加载工作线程数更少。这证明了数据管道优化对于大规模预训练至关重要。

3.3 数据加载优化实战

在PyTorch中，我们结合xarray（擅长处理多维网格数据）和dask（用于并行计算）来构建高效的数据加载器。

import torch from torch.utils.data import Dataset, DataLoader import xarray as xr import zarr class HLSZarrDataset(Dataset): def __init__(self, zarr_path, index_df, transform=None): """ zarr_path: Zarr存储的路径（可以是本地或S3路径） index_df: 包含样本索引的DataFrame（tile_id, time_idx, x, y） """ self.store = zarr.open_array(zarr_path, mode='r') self.indices = index_df self.transform = transform # 预计算数据均值和标准差用于标准化 self.mean = ... self.std = ... def __len__(self): return len(self.indices) def __getitem__(self, idx): # 根据索引获取数据在Zarr数组中的位置并读取 tile_info = self.indices.iloc[idx] # 示例：读取一个 (T, C, H, W) 的数据块 data_cube = self.store[tile_info.time_slice, :, tile_info.y: tile_info.y+224, tile_info.x: tile_info.x+224] # 转换为PyTorch Tensor并标准化 data_tensor = torch.from_numpy(data_cube.values).float() data_tensor = (data_tensor - self.mean) / self.std # MAE预训练：生成随机掩码 if self.transform: data_tensor, mask = self.transform(data_tensor) # 自定义的掩码生成函数 return data_tensor, mask # 返回带掩码的输入和原始数据（或掩码图）作为重建目标 return data_tensor # 创建DataLoader，使用多进程预取数据 dataset = HLSZarrDataset(zarr_path, index_df, transform=generate_mask) dataloader = DataLoader(dataset, batch_size=128, shuffle=True, num_workers=4, pin_memory=True, prefetch_factor=2)

实操心得：num_workers（数据加载工作进程数）的设置需要谨慎。设置太少，数据加载跟不上；设置太多，进程间通信开销可能成为新瓶颈，甚至导致内存溢出。我们的经验是，从GPU数量的1-2倍开始测试，并监控每个epoch的数据加载时间。使用prefetch_factor可以让工作进程提前准备好下一批数据，进一步隐藏I/O延迟。

4. 预训练实战：超参数、技巧与规模化训练

有了高效的模型架构和数据管道，我们就可以开始大规模预训练了。这个过程是在IBM的watsonx.ai平台上，使用多达64块NVIDIA A100 GPU完成的。

4.1 关键超参数配置与思考

• 优化器：AdamW。这是当前训练Transformer类模型的标准选择，它修正了Adam的权重衰减方式，通常能带来更好的泛化性能。我们使用β1=0.9, β2=0.999的默认动量参数。
• 学习率调度：One-cycle余弦退火。这是一种先线性增加学习率，再根据余弦函数下降的策略。它能帮助模型在训练初期快速收敛，后期精细调整。我们将最大学习率设置为5e-4，这是一个经过实验验证的、对ViT-base/large架构比较友好的起点。
• 批次大小：1024（全局）。这是在所有GPU上累计的批次大小。大批次训练有助于稳定梯度估计，但需要相应的学习率调整。我们使用线性缩放规则（linear scaling rule）：当批次大小乘以k时，学习率也大致乘以k。
• 训练周期：1000个epoch。是的，你没看错。基础模型的预训练需要极大的耐心和算力。模型需要在海量数据上充分遍历，才能学习到稳健的通用特征。每个epoch都会看到整个采样数据集一次。
• 输入与块大小：输入图像尺寸为224x224像素，块大小为1x16x16（时间x高度x宽度）。我们使用了HLS L30产品的6个波段（B02蓝, B03绿, B04红, B05植被红边, B06短波红外1, B07短波红外2），这些波段对植被、水体、火烧等地表特性非常敏感。

4.2 掩码策略与重建目标

我们采用了MAE原论文中提出的高掩码比例（75%）。对于地理空间数据，这个比例尤其有效：

• 高掩码率迫使模型进行“全局推理”：模型不能只依靠局部相邻像素，必须整合整个场景的上下文信息来预测被掩码的部分。这有助于学习宏观的地理结构和模式。
• 光谱通道的掩码：我们是对整个3D块（包含所有光谱通道）进行掩码，而不是对单个通道或像素进行掩码。这意味着模型需要同时重建被掩码区域的所有波段值，这鼓励了模型学习不同光谱通道之间的关联性（例如，近红外和红光波段对于计算植被指数的紧密关系）。

损失函数：简单的像素空间均方误差（MSE）。虽然也有研究使用在特征空间的损失或更复杂的损失，但我们发现MSE在遥感图像重建上已经足够，且计算高效。目标是最小化原始像素值与重建像素值之间的差异。

4.3 多GPU分布式训练技巧

在64块A100上训练一个100M参数的模型，需要高效的分布式并行策略。

1. 数据并行：这是最常用的方式。每块GPU拥有完整的模型副本，处理不同的数据子批次。梯度在GPU间进行同步平均。PyTorch的DistributedDataParallel(DDP) 模块可以很好地实现这一点。
2. 梯度累积：当物理GPU内存无法容纳理想的全局批次大小时，可以使用梯度累积。在多个小前向-反向传播周期内累积梯度，然后再进行一次参数更新，模拟大批次训练的效果。
3. 混合精度训练：使用torch.cuda.amp进行自动混合精度训练。大部分计算使用FP16（半精度）以提升速度和减少显存占用，但保留部分关键操作（如权重更新）使用FP32（单精度）以保证数值稳定性。这通常能带来1.5-2倍的训练加速。

# 分布式训练简化示例 import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def main_worker(gpu, ngpus_per_node, args): # 初始化进程组 dist.init_process_group(backend='nccl', init_method='tcp://...', world_size=args.world_size, rank=gpu) torch.cuda.set_device(gpu) # 创建模型，移至GPU，并用DDP包装 model = MaskedAutoencoderViT(...).cuda(gpu) model = DDP(model, device_ids=[gpu]) # 创建优化器、损失函数、数据加载器（需使用DistributedSampler） optimizer = torch.optim.AdamW(model.parameters(), lr=args.lr) criterion = nn.MSELoss() train_sampler = DistributedSampler(train_dataset) train_loader = DataLoader(..., sampler=train_sampler, ...) # 混合精度训练上下文管理器 scaler = torch.cuda.amp.GradScaler() for epoch in range(args.epochs): train_sampler.set_epoch(epoch) # 确保每个epoch数据洗牌不同 for images, _ in train_loader: # MAE目标图像就是输入图像本身 images = images.cuda(gpu) # 前向传播（混合精度） with torch.cuda.amp.autocast(): loss, pred, mask = model(images) # 模型内部完成掩码和重建 # 反向传播与优化 optimizer.zero_grad() scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

踩坑记录：数据加载的最后一个瓶颈。即使使用了Zarr和DDP，我们最初发现当num_workers设置较高时，某些GPU会偶尔卡住等待数据。原因是每个工作进程都在竞争读取同一个Zarr文件。解决方案是使用Zarr的“分块存储”和“多进程读取”特性。我们将数据预先按样本索引顺序存储，每个工作进程负责读取一个连续的数据块范围，避免了随机读取冲突。此外，确保数据存储（如NVMe SSD或高性能对象存储）的IOPS足够高，是支撑大规模训练的基础。

5. 下游任务微调：从通用特征到专用利器

预训练好的Prithvi模型编码器，就像一个精通了“地理视觉语言”的大脑，它见过山川湖海、四季更迭、城市农田。现在，我们要教会它完成具体的任务。微调的精髓在于复用预训练获得的知识，并用少量任务特定的标注数据对其进行定向精炼。

5.1 微调策略概览

如图4所示，对于不同的下游任务，我们采用不同的微调“头部”和策略：

• 语义分割任务（如洪水、火灾疤痕、作物分类）：我们丢弃MAE的解码器，在编码器（ViT）输出的特征基础上，接一个轻量级的分割头。这个头通常由几个转置卷积层或上采样层组成，负责将编码器输出的低分辨率特征图，上采样到原始图像尺寸，并为每个像素预测一个类别标签。
• 回归任务（如云缺失值填充）：对于需要生成连续值（如反射率）的任务，我们使用一个回归头，其结构与分割头类似，但最后一层使用线性激活函数，输出每个像素的预测值。

微调时，通常我们会解冻整个编码器（或仅解冻最后几层）和头部网络的参数，用下游任务的数据和损失函数（如交叉熵损失用于分割，L1损失用于回归）进行端到端的训练。学习率通常设置得比预训练时小一个数量级（例如5e-5），以避免破坏预训练好的通用特征。

5.2 多任务应用详解

我们选取了四个具有代表性的下游任务来验证Prithvi的泛化能力。

5.2.1 多时相云隙填充

任务目标：给定一个有多时相观测但部分被云遮挡的影像序列，预测被云覆盖区域的清晰地表反射率值。数据：使用HLS数据，我们自己合成了一个数据集。从无云影像中，利用真实的HLS云掩膜（FMask）作为模板，模拟云遮挡，生成“有云-无云”的配对数据。微调与评估：我们将任务构建为一个回归问题。输入是被云部分遮挡的多时相影像，目标是完整的无云影像。我们使用L1损失（平均绝对误差）进行训练，因为它对异常值不如MSE敏感。评估指标包括在测试集上的PSNR（峰值信噪比）和SSIM（结构相似性指数）。结果与洞察：Prithvi微调后的模型，在云隙填充任务上表现出色。它不仅能够根据相邻无云像素进行空间插值，更能利用不同时相的观测进行时间序列外推。例如，如果某个像素在时间点T1和T3是晴朗的，但在T2被云遮挡，模型能够结合T1和T3的光谱信息以及周围像素在T2的信息，智能地“补全”T2的缺失值。这证明了预训练模型对时空关联的强大建模能力。

5.2.2 洪水范围制图

任务目标：从哨兵1号（SAR）和/或哨兵2号（光学）影像中，自动识别被洪水淹没的区域。数据：使用公开的Sen1Floods11数据集。它包含了全球11次洪水事件的光学与SAR影像，以及人工标注的水体标签（永久水体、洪水水体、非水体）。微调策略：这是一个二元语义分割任务（水体 vs 非水体）。我们探索了两种输入方式：1) 仅用光学影像（Sentinel-2），2) 融合光学与SAR影像。对于融合输入，我们将SAR的VV、VH波段与光学波段在通道维度拼接。Prithvi的编码器可以处理任意通道数的输入，这得益于其块嵌入层的设计。性能对比：如表2所示，仅使用光学影像微调的Prithvi，在IoU和F1分数上已经超越了该数据集基准测试中许多专门训练的模型。当融合SAR数据后，性能进一步提升，尤其是在多云天气下（SAR不受云层影响），展现了模型的鲁棒性和多源数据融合能力。

表2：Prithvi在Sen1Floods11洪水数据集上的性能示例（简化）

关键发现：数据效率。最令人振奋的结果是，Prithvi在仅使用10%甚至1%的标注数据进行微调后，就能达到或超越那些用100%标注数据从头训练的专用模型（如U-Net）的性能。这极大地降低了获取昂贵标注数据的成本，是基础模型核心价值的体现。

5.2.3 野火疤痕分割

任务目标：从火灾后的单时相光学影像中，分割出过火区域。数据：我们基于美国MTBS火灾数据库和HLS数据构建了数据集。选取火灾发生1-3个月后的无云影像，并对应MTBS的火烧迹地矢量范围生成标签。挑战与应对：火烧迹地在不同生态系统和燃烧强度下，光谱特征差异很大（从完全炭化的黑色到部分灼烧的棕色）。我们将其处理为二元分割任务。微调时，我们发现由于正负样本极不平衡（火烧区域通常只占图像一小部分），需要使用带权重的交叉熵损失或Dice损失来缓解类别不平衡问题。效果：Prithvi能够准确识别出各种形态的火烧迹地，包括低烈度的灌丛火和高烈度的森林火。模型学到了火灾后典型的光谱特征（如短波红外波段的显著变化），并且对同谱异物现象（如阴影、深色土壤）有一定的区分能力，这得益于预训练中对大量自然场景光谱变化的学习。

5.2.4 多时相作物分类

任务目标：利用一个生长季内多个关键时间点的影像，对农田中的作物类型进行像素级分类（如玉米、大豆、小麦）。数据：结合HLS多时相影像和美国农业部CDL作物数据层标签。我们选取了早、中、晚三个生长季的影像，堆叠成18个通道的输入。任务特点：这是一个多类别语义分割任务，且高度依赖时间序列信息。作物在不同生长阶段的光谱特征（物候曲线）是区分它们的关键。微调设计：我们直接使用预训练好的3D ViT编码器来处理堆叠的多时相影像。模型能够同时利用空间上下文和时序变化信息。在分割头之后，我们输出每个像素在所有作物类别上的概率分布。优势：相比于为每个时间点单独提取特征再融合的方法，Prithvi的3D架构能更自然地建模时空依赖。实验表明，其分类精度（以平均IoU和类别F1分数衡量）优于许多专门设计的多时相作物分类模型，并且对缺失某个时间点数据的情况表现出更强的鲁棒性。

6. 常见问题、挑战与未来方向

在开发和部署Prithvi模型的过程中，我们遇到了诸多挑战，也积累了一些宝贵的经验。

6.1 预训练阶段的挑战与解决方案

1. 数据不平衡与偏见：

   • 问题：即使进行了分层采样，某些罕见地貌或极端天气事件的数据量仍然远少于常见地貌。
   • 解决：除了气候分层，未来可以引入更多元的分层维度，如土地覆盖类型、海拔、坡度等。也可以在损失函数中为罕见样本赋予更高权重。

2. 计算资源与成本：

   • 问题：1000个epoch的预训练在64块A100上仍需数周时间，成本高昂。
   • 解决：a)模型缩放：探索更高效的架构（如Swin Transformer、ConvNeXt）或知识蒸馏，在保持性能的同时减小模型尺寸。b)课程学习：先从较容易的数据子集开始训练，再逐步加入更复杂的数据，可能加速收敛。c)持续预训练：在现有模型基础上，用新数据持续学习，而非每次都从头开始。

3. 评估预训练模型的质量：

   • 问题：自监督学习没有明确的验证集精度指标。如何判断预训练何时“足够好”？
   • 解决：我们采用下游任务探针。定期（如每50个epoch）保存检查点，并在一个小的、多样的下游任务数据集（如包含分类、分割的小型集合）上快速微调并评估其性能。下游任务性能的收敛趋势是衡量预训练效果的良好指标。

6.2 微调阶段的最佳实践与陷阱

1. 过拟合到小数据集：

   • 问题：下游任务标注数据很少时，微调容易过拟合。
   • 解决：a)强数据增强：对遥感影像使用旋转、翻转、裁剪、色彩抖动、混合等增强。b)早停法：密切监控验证集性能。c)只微调部分层：冻结编码器的浅层（学习通用边缘纹理），只微调深层（学习任务特定语义）和头部网络。d)使用更小的学习率。

2. 领域差异：

   • 问题：预训练数据（如全球HLS）与下游任务数据（如某个特定区域的高分影像）在空间分辨率、光谱波段、辐射特性上存在差异。
   • 解决：a)输入标准化：确保微调数据的预处理（如归一化）与预训练一致。b)波段匹配与插值：如果波段不一致，需进行光谱响应函数匹配或重采样。c)渐进式微调：先在与下游任务相似的大规模无标签数据上做“领域适应”预训练，再进行有监督微调。

3. 任务头设计：

   • 问题：简单的上采样分割头可能无法充分利用Transformer输出的序列化特征。
   • 解决：可以借鉴SETR、Segmenter等视觉Transformer分割模型，使用更复杂的解码器，如引入金字塔特征或使用可学习的查询向量。

6.3 未来发展方向

1. 多模态融合：将遥感影像与文本报告、气象数据、社交媒体数据等多模态信息结合，构建更强大的“地球多模态基础模型”，实现“看图说话”（自动生成灾害报告）或“以文搜图”（用自然语言查询地理现象）。
2. 时空预测：扩展模型能力，从静态分析走向动态预测，如预测作物产量、洪水演进、城市扩张等。
3. 可解释性与可信AI：开发工具来解释模型决策（例如，哪些图像块对预测洪水最关键？），提高模型在关键决策应用中的可信度。
4. 边缘部署与实时应用：对模型进行压缩和量化，使其能够在卫星或无人机等边缘设备上实时运行，实现“在轨智能”。
5. 开放协作与生态建设：通过开源模型、代码和构建易用的微调平台（如在Hugging Face上），降低社区使用门槛，加速地理空间AI的创新应用。

构建Prithvi这样的地理空间基础模型，绝非一蹴而就。它需要跨越AI算法、大规模数据工程、高性能计算和领域知识的深度结合。然而，其回报是巨大的：一个模型，通过一次大规模预训练，就能为无数个地球科学应用提供强大的起点。这不仅仅是技术的进步，更是我们以更高效、更普惠的方式理解和守护我们星球的新范式开端。我们开源了Prithvi-100M的模型权重和代码，希望它能成为社区的一块基石，吸引更多研究者与开发者共同推动这个充满潜力的领域向前发展。