简介：面向卫星图像分割入门与实战的 Python 代码包，适合遥感、计算机视觉方向的学生和开发者，也适合刚接触遥感影像处理的初学者，可应用于土地利用分析、建筑物提取、灾害监测等常见场景。压缩包内共 3 个 py 文件，整体仅 3KB，结构简明：三个脚本分别承担数据准备、主流程控制和屋顶检测专项演示，方便对照理解图像预处理、特征提取、阈值分割及深度学习模型调用等关键环节。目前已有 250 人学习使用。这份资源的最大价值是用最小代码量串联起卫星图像分割的完整链路，读者既能快速跑通现有流程，也能在此基础上替换自己的遥感影像做验证；对于希望学习 GDAL、OpenCV、Scikit-image 等库的初步集成，或进一步尝试 U-Net、SegNet 等深度学习模型的人来说，是一份轻量而直接的参考，无论是课程设计、课题研究，还是工程预研，都能从中获得直观的启发。
1. 卫星图像分割到底在做什么：从一张卫片到一张"地物映射图"
很多人做惯了常规图像分割项目，第一次接触卫星图像分割时会有点懵。同样都是语义分割，输入同样是一张图、输出同样是一张逐像素标签图，但换到遥感场景后，原本跑得挺好的模型要么精度上不去，要么推理时直接爆显存。这不是模型出了问题，而是你把任务定义错了。
卫星图像分割的本质，是把一张覆盖大面积地表的高分辨率遥感影像，映射成一张逐像素语义标注的"地物分布图"。每个像素被归类到对应的语义类别，比如建筑物、道路、水体、耕地、林地、裸地等。这里的关键词是"大范围""小目标""多类别""光照与尺度变化剧烈"，这也是它和自动驾驶街景分割、医学图像分割最大的不同：目标尺度从几米的车辆、道路标线到数百米的农田连片地块，动态范围极宽，而裁剪出来的一个切片里，不同类别像素占比往往极度不均衡。
在民用领域，最常见的落地任务大概有四类：第一类是土地覆盖与土地利用分类，服务于自然资源调查和城市规划，像区分耕地、林地、草地、建设用地、水体，这是最经典的任务；第二类是目标物提取，比如建筑物轮廓提取、道路网提取、水体边界提取，这类任务要求边界准确度高，小目标的召回率非常关键，往往直接对接GIS入库；第三类是农业遥感应用，例如对农田地块进行分割并推算种植面积，支撑长势监测、产量估测；第四类是变化检测，用两期影像分割后对比，或者直接对两期影像做联合分割，提取新增建筑、塌方、水体变化等，这在灾害评估里用得非常多。
想做好卫星图像分割，先得接受一个现实：你面对的不是一张"照片"，而是一片经过传感器辐射校正、几何校正后的地表观测数据。同一个类别的像素，在不同季节、不同角度、不同天气下，光谱表现可能差异很大。比如水体在不同泥沙含量下颜色完全不同，沥青停车场和深色屋顶在RGB空间里几乎无法区分，农田地块在播种期和收割期形态差异巨大。因此，卫星图像分割拼的不只是网络结构，更多是数据预处理、样本设计和对地物光谱特性的理解。
2. 数据这关过不去，模型再先进也白搭
2.1 公开数据集怎么选
刚开始做遥感分割的人最喜欢问"用什么数据集"，我的建议是先明确任务尺度，再选数据集。如果你想快速跑通pipeline、对比模型结构，推荐两个经典Benchmark：一个是ISPRS Vaihingen与Potsdam数据集，这是航空影像，分辨率在5到9厘米，类别包括不透水面、建筑、低植被、树木、汽车，标签质量高但类别较少，适合做模型验证；另一个是DeepGlobe Land Cover数据集，来自卫星影像，标签分为城市、农业、牧场、森林、水体、裸地六类，覆盖印度等地，图像尺寸2448x2448，切片后直接训练非常顺手。如果目标是大规模建筑物提取，Massachusetts Buildings Dataset和Inria Aerial Image Labeling Dataset是绕不开的选择。前者是波士顿等地区的航空影像，标签就是二进制建筑掩膜；后者覆盖城市和乡村场景，图像尺寸5000x5000，像素分辨率30厘米，对显存和训练策略是很好的压力测试。
做卫星图像分割还有一个绕不开的五星数据集：Sen12MS或BigEarthNet这类基于Sentinel影像的数据集，包含多光谱波段，适合做大范围土地覆盖与多光谱分类实验。但要注意的是，这些公开数据集和你的实际业务场景往往存在分布差异，模型在国内高密度城中村场景、南方丘陵农田场景上表现会明显下降。实际项目中，公开数据通常只用来预训练和验证，真正要上线还得靠自建样本。
2.2 波段选择：别一上来就丢RGB
卫星影像不只是RGB三波段，Sentinel-2有13个波段，Landsat有11个波段。很多新手拿到数据后直接取前三个波段存成JPG开始训练，这是很大的浪费。多光谱波段对地物识别的增益是实实在在的，尤其是近红外波段，对植被、水体、土壤含水量的区分能力极强。一个明显的例子：水体在近红外波段几乎完全吸收，与陆地反差极大，很多做水体提取的模型只用近红外加红光再加一个绿光波段，精度就比RGB高出一大截。
我的建议是，先针对任务做波段相关性分析，再决定输入波段数。如果做植被相关任务，NDVI（归一化植被指数）这类光谱指数可以直接作为额外通道输入网络；做水体提取时，可以把NDWI（归一化差异水体指数）拼进输入。这样做比单纯堆通道数更有效，因为指数通道本身就是光谱知识的高度浓缩。另外注意输入通道与预训练权重的匹配问题：如果你用ImageNet预训练的ResNet或EfficientNet，第一层卷积权重是按3通道设计好的，增加通道后需要特殊初始化，常见做法是先保留RGB三通道的预训练权重，新加通道用零均值高斯初始化，然后全网络微调，别直接随机初始化从头训，收敛速度和精度都会差很多。
2.3 标注质量比标注量更值钱
在这个任务里，标注噪声带来的精度损失被很多人低估。遥感地物的边界本身存在大量过渡区与模棱两可的情况，比如一棵树的树冠边缘延伸到草地上，一片耕地边缘在影像上只有一个混合像元，标注人员往往凭感觉画线。如果标注边界普遍不齐，模型训练时会学到"边界模糊",推理出的结果也带着毛边，mIoU卡在某个值上不去。
高分辨率卫星影像的地物分割标注，通常用的是LabelMe、QGIS配合手动矢量勾绘，效率低且容易疲劳。批量标注时可以用半自动方式：先用预训练模型对一批未标注影像做预测，把预测结果作为初始掩膜导入标注工具，标注人员只需要修正错分区域和边界，效率提升很大。这块要在项目排期里留够时间，一边训模型一边补样本是常态。务必统计每个类别的样本像素占比，对占比极低但重要性高的类别（如小水体、独立建筑），要有针对性地补充样本与调整损失权重。
3. 模型选型与训练细节：Unet为什么还是那个最稳的基线
3.1 主干网络到底怎么选
卫星图像分割任务里，Unet系列依然是目前实践中的最佳基线。原因说白了就两条：第一，U型结构中的跳跃连接把编码器的高分辨率空间细节和编码器高层的语义信息逐级融合，对"小目标需要细节、大目标需要语义"的遥感影像特别契合；第二，Unet在公开数据集上已有大量开源权重和成熟配置，踩坑成本低。相比之下，DeepLabV3+依靠空洞卷积拿到了更大的感受野，在类别内部一致性上表现好，但对小目标的边界细节容易抹平；SegFormer、Swin Transformer这类基于Transformer的结构，在大分辨率影像上由于Attention计算量巨大，切块训练后性能收益常常被上下文缺失抵消，对硬件要求也更高。
我在实践中通常的做法是：用ResNet34或者EfficientNet-B3作为Unet的编码器，加上一个轻量的解码器。这里有个重要的训练细节：编码器加载ImageNet预训练权重时，需要把输入从224x224的尺度切换到实际训练尺度，BatchNorm统计量会有一段时间不稳定，建议在训练前几个epoch用较小的学习率做warm up，或者在加载权重后先在验证集上forward一遍让BN统计量重新适应。另一个细节是输入分辨率，卫星影像里建筑物、道路这类目标的尺度非常依赖于图像分辨率，一般在训练时保持640到1024的输入尺寸，推理时再按原图的切片大小处理。
3.2 损失函数：CrossEntropy之外的组合拳
大多数遥感分割项目，只靠CrossEntropy Loss训练是打不出好结果的。原因主要有两个：类别极其不均衡、边界极其重要。一个典型的例子是城市建筑物提取，整张图里建筑物像素顶多占20%到30%，背景占大头，直接用CrossEntropy，模型很容易偏向把边缘判错、把背景误判为建筑。
推荐组合拳是"Dice Loss + Focal Loss + Boundary Loss"的加权组合。Dice Loss直接优化类别区域的重叠度，对类别不平衡非常友好，但对小目标波动大，训练初期容易震荡；Focal Loss通过调节难易样本权重，让模型关注那些容易混淆的像素，训练早期用Focal Loss可以稳定收敛；Boundary Loss则是在边界附近放大权重，让模型把精力放到轮廓上，适合建筑物、道路这类边界导向的任务。我在实际项目中常用权重是0.4 Dice + 0.4 Focal + 0.2 Boundary，各组数据略有差异，建议按验证集mIoU调一下比例。
还有一个很容易被忽略的改进是把OHEM（在线困难样本挖掘）的思想加进去：对每张训练切片，把预测概率最高的那部分错误像素拿出来，在反向传播时额外加权。遥感影像一个切片里往往大量区域是容易判对的均匀农田、平原，困难样本集中在城市边缘、阴影区域、遮挡区域，OHEM能有效提升这些位置的精度。
3.3 训练超参数与增强策略实测
卫星图像分割的训练增强有其特殊性。常规的随机裁剪、水平翻转、垂直翻转、旋转90度这种几何变换是标配，但有两件事需要特别注意：一是色度抖动要谨慎使用，遥感影像的光谱值对地物判别非常重要，过度改变色调会导致模型学到错误的光谱映射；二是要对多尺度特别敏感，遥感地物尺寸跨度大，建议在线随机缩放0.75到1.5倍再裁剪，或者把多尺度设为固定训练策略，这样模型对目标尺度变化会更鲁棒。
学习率和优化器没有太多花活：AdamW配Cosine Annealing，初始学习率2e-4，warm up 3个epoch，batch size根据显存尽量开到8以上。混精度训练用AMP即可，遥感大图训练时显存省下来可以切更大的输入分辨率，收益比模型复杂度更直接。训练到中后期如果mIoU迟迟不涨，先回去检查数据，不要盲目堆训练轮数。
4. 卫星图像特有的大图推理问题：切块、重叠与拼接
4.1 为什么不能把整张影像直接送进模型
卫星影像动不动就是几千乘几千像素，直接把整张图送进GPU几乎必然爆显存，哪怕是4090也扛不住。更重要的是，很多分割网络的下采样倍数达到32倍，如果输入尺寸不是32的整数倍，特征图尺寸对齐会出现偏差，导致输出标签图尺寸对不上。正常做法是推理时也保持和训练一致的切片尺寸，用滑动窗口的方式逐块预测。
4.2 切片策略：重叠率、多尺度切片
滑窗切片有两个关键参数：窗口大小和重叠率。窗口大小通常和训练时的输入尺寸一致，常见选择是512x512、768x768或1024x1024。重叠率一般取1/8到1/4，这是为了消除相邻切片的拼接痕迹：位于切片边缘的像素，由于截断导致上下文信息不足，预测结果往往不可靠，重叠区域可以多次预测后取平均。
我这里推荐一种更稳妥的方案：推理时做多尺度预测，将同一块切片分别缩放到0.75倍、1.0倍、1.5倍输入模型，把三份概率图插值回原尺寸后取平均。多尺度对地物大小不均匀的遥感场景效果显著，尤其是小目标和地物边缘，实测能带来2到4个点的mIoU提升。缺点是推理时间大约是单尺度的3倍，如果项目对速度敏感，可以只在验证集上开多尺度，线上推理只用单尺度加重叠拼接。
4.3 拼接后处理：边缘伪影与概率融合
拼接后最常见的问题是切片边界出现明显的"马赛克感"——相邻切片在同一地物上的预测不一致，接缝处形成规则网格线。解决思路有两个方向：一是让模型对边缘预测更自信，做法是在训练时对每个切片做边缘填充，把切片上下左右各扩出一圈上下文再训练，推理时再裁掉这部分；二是在推理时对重叠区域的概率图做加权融合，中心区域的置信度高于边缘区域，权重函数可以用余弦窗或高斯窗。
另外一个较大的坑是切块位置对结果的影响：同一地物如果被切在不同的切片位置上，预测结果可能不同。为了消除这种不确定性，除了重叠，也可以做两次推理，第二次把原图平移半个窗口后重新切块，最终把两次预测概率平均。这个方法在多尺度基础上还能再榨出一点精度，尤其适合准备提交精度评测的场景。
5. 迁移到自己的场景：从训练到部署的完整闭环
5.1 自建数据集与迁移学习的正确姿势
自己业务里的地物类别和公开数据集几乎不可能完全一致，所以迁移学习不是从零开始，而是分阶段迁移：先在较大的遥感公开数据集（如DeepGlobe、Inria）上预训练一个分割模型，学习通用的"遥感特征表示"，再加载这个权重在自建数据集上微调。这么做能明显缩短训练时间，续航少走弯路。微调时要注意把分类头上的类别数改成自己的类别数，最后一层卷积随机初始化，学习率设为新层较大、主干层较小，也就是分层学习率衰减。
自建数据集的标注规范在动手前一定要讨论清楚。特别是"不可见地物"和"阴影"的归属问题：比如树冠下方的人行道算道路还是算植被？屋顶在邻栋建筑阴影里的部分算建筑还是算背景？这些细节不统一，标注员各自发挥，最后数据集内部一致性会很差，模型学出来的边界也乱七八糟。我的建议是把地物类别严格按"投影可见的地表覆盖类别"来定义，阴影统一归给其下的真实地表类别，标注规范里配上示例图，这种投资回报率极高。
5.2 评估指标别只盯着mIoU
卫星图像分割里，mIoU是大家最常说的指标，但它有个被忽视的缺陷：对极小类别的变化不敏感。比如道路只占全图的5%，道路IoU从20%涨到40%，整体mIoU可能只涨零点几个点，看起来模型"没提升"，实际对业务来说这是重大提升。报告结果时我建议把每类IoU列出来，重点关注最小类别的IoU。另外Kappa系数在遥感分割中也常用，它是对分类一致性的整体评价，在地物类别分布极不均衡时比Overall Accuracy可靠得多。
评估方式还要注意空间依赖问题：很多公开数据集的标签存在空间自相关，相邻像素类别高度相关，如果只用随机分出的验证集评估，分数会虚高。正确做法是按图切分。测试集和训练集不能来自同一幅图的重叠区域，最好以"图幅"为单位划分，用几整套影像做测试，这才是真实泛化能力的反映。
5.3 部署时的速度与显存取舍
模型训练好后落地部署，主要的痛点是推理速度。遥感大图推理时，滑窗重叠和多尺度预测叠加起来，单张大图的推理耗时会非常可观。我做过一个统计：1024x1024输入尺寸的Unet，对一张5000x5000影像，无重叠单尺度推理耗时约3到5秒，加了重叠和双尺度后能到20秒以上，如果业务要求分钟级出结果，必须做取舍。
实际部署中常用三板斧：第一，把推理分辨率对齐到训练分辨率的一半或更低，例如训练用1024，推理用768或640，遥感任务对分辨率降低的容忍度比检测任务高一些；第二，用TensorRT或ONNX Runtime做INT8量化，熟悉分割网络的话，量化对mIoU的损伤通常可以控制在1到2个点之内；第三，把概率图输出改成只输出argmax的颜色标签图，避免大块概率张量的传输。对边缘设备部署，可以考虑使用轻量级分割模型，例如把Unet的编码器换成MobileNetV3，解码器换成轻量化ASPP，精度损失约3到5个点，但推理速度能快一倍以上。
6. 我自己踩过的一些坑，提前帮你排掉
做卫星图像分割项目这两年半，我踩过不少坑，分享几个比较典型的，省得后来的人再走一遍。第一个坑是数据集的影像来源不一致，训练集用了一部分无人机低空影像，一部分卫星影像，分辨率差距很大，模型学得混乱，后来专门给不同来源的样本加了来源标签，用域自适应方法修正，才算稳住。更合理的做法是开始就控制影像来源，不同传感器数据要么分开模型训练，要么做分辨率归一化后再混用。
第二个坑是训练时忘了做"负样本"处理。卫星影像里有很多完全无用的区域，比如大片云层、整幅的深色水体，模型在这些区域学不到语义，却会干扰BatchNorm的统计量，导致训练不稳定。建议在dataloader里先做云掩膜过滤、低信息量过滤，把无效区域样本比例压到10%以内。
第三个坑是验证集和训练集划分不当导致的严重过拟合假象。早期我用的验证集和训练集来自同一张大幅面影像的随机切片，模型在验证集上mIoU很高，换到一幅新影像后掉得让人怀疑人生。后来统一按"图幅切分"做评估，验证集完全来自独立影像，评估数字才算真实可靠。凡是涉及遥感影像分割的项目，这项原则一定要早点定下来。
最后一个建议：不要追求模型结构的新奇，把时间和精力多花在数据质量和推理工程上。卫星图像分割是一个典型的"数据天花板"问题，把标注规范、样本平衡、推理拼接这些功夫做到了，一个经典的Unet也能得到相当能打的效果。先把标准化流程跑通，再考虑引入Transformer结构或者更多光谱通道，这个顺序是最稳妥的。
本文还有配套的精品资源，点击获取
