不靠拉数据，从预训练模型里“问”出地理空间表示

做城市计算、位置智能这块的朋友，多半都经历过同样的折磨：想拿到一个能代表某个街区或地点的向量表示，第一反应就是去“攒数据”。路网要清洗，轨迹要脱敏，POI要人工打标，等你把数据备齐，项目周期已经过去一大半。更难受的是，这套流程换个城市基本要推倒重来。GeoSANE 这个项目，当时就是冲着这个痛点去的——它尝试换一条路，从模型而非数据中学习地理空间表示。也就是说，不再把希望全押在大规模真实地理数据上，而是直接从已经预训练好的大模型里把空间知识“问”出来，形成区域或地点的向量表达。这个做法一开始我也半信半疑，直到把第一版表示向量拉到下游任务上跑完，才确定这条路值得认真聊一聊。

这篇文章我会从项目思路、核心原理、实操复现、踩坑记录到应用场景拆个底朝天，适合正在做城市计算、电商选址、位置推荐，或者想给GIS系统加一层“语义理解”能力的开发者和研究者参考。里面大部分内容来自我实际跑实验的经验，能直接抄作业的部分我会尽量写清楚。

1. 项目概述与核心需求解析

1.1 传统地理空间表示学习的经典路线：好使，但真的贵

所谓“地理空间表示”，就是把一个地点、一块区域或者一个网格，映射成一个固定维度的向量，让语义相似的区域在向量空间里距离更近。以前的主流做法，大致能归成三类。

第一类是路网图嵌入。把城市路网看成一张图，路口是节点、道路是边，然后用图神经网络或者随机游走，让每个路口学到结构上下文向量。这类方法对路网拓扑完整性要求极高。我实际处理过某地的路网数据，断头路、缺失边、跨桥分层这些问题，稍微处理不好，嵌入出来的邻近节点语义就跑偏。

第二类是轨迹嵌入。把用户移动轨迹切成网格序列，再用类似训练词向量的方式训练，让网格向量带上前后的转移语感。这类方法的隐形成本非常大，轨迹数据要脱敏、要清洗停留点、要处理漂移，而且用户覆盖稀疏的区域，学出来的向量基本不可用。

第三类是POI语义嵌入。把地图上的兴趣点名称、类别、评论文本当作语料，训练一个文本编码器来表征区域。这条路的短板也很明显：一个城市里可能有大量区域根本没有POI覆盖，或者POI名称稀疏到撑不起任何语义。

这三条路有一个共同点：表示质量依赖数据质量。数据贵、数据脏、数据覆盖不均，表示就跟着贵和脏。我当时查了下手上可用的数据资产，每个渠道都有自己的问题，于是开始认真考虑一个反直觉的方向——如果模型本身已经“见多识广”，能不能直接找模型要空间表示？

1.2 换个方向提问：预训练模型肚子里可能真有张地图

这个假设并不是凭空来的。大规模预训练模型在读书和看图的时候，天然吸收了大量带空间语义的内容。举个例子，语料里反复出现“埃菲尔铁塔在巴黎”“外滩在上海”，联合图文模型见过无数城市地标照片和对应描述，这些空间常识会以参数形式沉淀在模型里。

换句话说，模型虽然没直接背下一张城市地图，但它的参数已经形成了一种“语义地图”。我们平时只拿这些模型做分类、做问答、做图像检索，很少专门去提取它们内部沉淀的空间知识。GeoSANE 的核心出发点，就是把这部分知识显式抽取出来，作为地点的初始向量。

这个思路的关键优势在于：数据成本被替换成了推理成本。你不再需要为每个新城市重新拉路网、清洗轨迹、标注POI，只需要把目标区域的多模态描述（比如几张街景图、一份POI名单）喂给预训练模型，就能得到一份相对可用的表示。尤其是跨城市迁移的时候，这种“从模型侧获取知识”的方案，省掉的时间和人力非常可观。

1.3 GeoSANE 想解决的核心问题与交付形态

把需求拆细一点，GeoSANE 当时给自己定了几个硬指标：

• 支持零样本输出表示：没有任何本地标注，也能给一个区域产出基础向量；
• 跨城市泛化能力：在A市有效果，挪到B市不至于崩掉；
• 多模态融合：同一份空间表示要能同时融合图像语义和文本语义；
• 可微调：下游任务有少量标注时，能用对比学习快速校准。

最终的交付物是一套“区域编码器”。输入一个区域的多模态观测，输出一个固定维度向量。这套东西往下游一接，既能做区域分类，也能做相似区域检索，还能当成特征喂给预测模型。这个形态和传统的“一城一模型”完全不同，更像一个通用的空间语义接口。

2. 核心思路拆解：从模型里“问”出空间表示的完整推演

2.1 注意力机制里藏着的空间结构，是怎么被利用的

如果你拆开一个训练好的视觉或语言模型，会发现在处理特定类型输入时，某些注意力头会形成非常稳定的响应模式。比如模型看到街景图时，某些头会专注于“道路指向性”，某些头会关注“建筑物轮廓”，还有一些头会对“是否包含植被/水体”这类环境特征很敏感。这些模式不是谁标注出来的，而是模型自己从海量图文对里学出来的。

地理空间任务的特殊性在于：区域语义往往不来自单个物体，而来自物体组合产生的“场所感”。比如一片区域同时出现“学校、住宅、便利店、斑马线”，模型会把它往居民区方向推。这种组合语义通过传统特征工程很难完整刻画，但预训练模型的深层特征天然具备这种组合表达能力。

所以 GeoSANE 在抽取表示时，不是只拿模型最后一层输出，而是做了多层特征的选择与融合。浅层特征偏纹理结构，适合描述路网形态；深层特征偏语义概念，适合判断区域功能。两者拼接在一起，才是一个相对完整的空间指纹。

2.2 三种表示提取姿势：免训练、对比微调、蒸馏压缩

实际操作中，从模型里取地理空间表示有三种做法，复杂度从低到高，按需选择。

第一种是免训练特征池化。把区域内的街景图逐张过视觉编码器，把区域相关的文本描述逐条过文本编码器，然后做平均池化或注意力池化，得到图像和文本两个特征向量，最后拼接或线性投影成区域表示。这个方案的优势是几乎不训练模型，只要有预训练权重跑一遍推理就行，非常适合快速验证。

第二种是对比学习对齐。把同一个区域的图像特征和文本特征作为正样本对，把不同区域的样本作为负样本，用对比损失把两个模态的空间拉到同一语义空间。经过几百到几千步微调后，跨模态一致性和区域区分度都会有明显提升。我们跑下来，一个消费级显卡上几小时就能完成一个中等规模城市区域的校准。

第三种是蒸馏压缩。如果你想部署到移动端或者低算力边缘设备上，可以用一个大模型的输出作为教师信号，训练一个小型编码器去逼近。这样可以把“问大模型”的推理成本，一次性转化为小模型的部署成本，后续推理速度能有几十倍的提升。

三种方案不是互斥的。我自己通常先跑第一种确认方向，再用第二种把质量拉到可用线，最后根据部署要求决定要不要走第三条。

2.3 坐标信息到底怎么用：弱先验，不是唯一答案

做地理空间表示，绕不开“坐标”这个变量。但坐标向量化是一个容易翻车的点。你直接拿经纬度数值喂模型，模型大概率学到的是“数字大小”，而不是“空间邻近”。

比较稳妥的做法是用组合式坐标编码：将经纬度映射到多尺度网格，用正弦位置编码或者学习式网格嵌入，把它作为弱先验和视觉、文本特征拼在一起。这样做的意图很明确——坐标只负责告诉模型“这块区域大致在哪”，真正决定语义的，还是图像和文本带来的场所特征。

我把坐标当“打底信息”，权重给得很低。因为如果某个区域在地理上相邻但功能完全不同，坐标先验过强就会让两块区域的表示被拉近，这恰恰是地理空间表示最不想看到的情况。弱先验的好处是：模型保留从多模态内容修正坐标暗示的能力。

3. 实操过程：从零复现 GeoSANE 的关键环节

3.1 前期准备：先把“你要什么表示”想清楚

动手之前先确认三个问题，否则后期大概率反复返工。

第一是表示粒度。一个城市可以切成500米×500米网格，也可以按街区边界、按行政社区划分，甚至按圆形缓冲区扫点。粒度决定后续所有数据处理方式。网格最简单，但网格边界可能切碎真实语义区域；街区边界更符合认知，但需要先行区划数据，而且不同城市的区划口径不一样。

第二是模态来源。我当时的选择是街景图像加POI文本，因为这两个渠道最易获取，而且语义互补性强。你也可以用卫星影像加规划文本，或者用地块交易数据加市政描述，关键是要保证所有区域有相对一致的观测机会。

第三是应用任务。如果下游是区域分类，表示里需要强调功能语义；如果下游是区域检索，那你得想好“相似”的定义是什么。我建议先做一个小规模的检索演示，把“相似区域”的预期输出可视化出来，再去调表示。

3.2 数据准备与预处理管道

虽然 GeoSANE 主打“不依赖大规模数据”，但你还是需要每个区域有几张能代表它的图像和几句能描述它的文本。这是模型的“提词器”，不是训练集。

图像部分，我建议每个区域采集6~10张覆盖主要视角的街景图，注意采样点尽量均匀分布，避免所有图都集中在一条主干道上。图像要做去模糊和亮度标准化，否则特征提取结果会有莫名其妙的抖动。这里有一个细节：不同时期的街景图光线差异很大，如果条件允许，尽量选用同一季节、相近时间段的图像。

文本部分，把区域内POI名称、类别、地图标签抓下来，商用接口注意频率限制和合规要求。拿到原始文本后，第一步清洗乱码和重复项，第二步把无信息量的通用词（比如“停车场入口”“24小时自助”）过滤掉，第三步按出现频次做聚合文本。我试过把一条区域的POI名称拼成一段话喂给模型，效果比逐条过再平均更好，因为模型能捕捉词与词之间的组合关系。

3.3 模型选型与一套能跑通的参数配置

视觉编码器建议直接用开源对比式图文模型的视觉侧，它对场景语义的组织能力明显强于纯分类模型；如果没有条件加载大尺寸版本，用小尺寸版本做特征提取也能跑。文本编码器选择轻量预训练模型即可，关键是把文本截断策略定好，中文场景按字级切分的兼容性一般强于按词切分。

下面是我实际跑通过的一组配置，可以直接作为起点：

这套参数在单张消费级显卡上，跑一个中等城市体量的区域对齐，耗时在几小时左右。预算有限时，可以把图像数降到4张、向量维度降到256，效果虽有下降但链路能完整跑通。

3.4 训练与推理实现：核心伪代码

对比学习对齐阶段的核心逻辑，说白了就是让同一区域的图像特征和文本特征互相“认出对方”，同时让不同区域的特征互相远离。我贴一段简化版的伪代码，把骨架逻辑讲清楚。

# 输入: batch_regions 是当前批的区域列表 # 每个区域包含 图像特征 img_feats(8x512) 和 文本特征 txt_feats(512) def geosane_train_step(batch_regions): region_imgs = [] region_txts = [] for region in batch_regions: # 图像侧: 8张图像分别过视觉编码器, 平均池化成区域图像向量 img_vec = avg_pool(visual_encoder(region.images)) # 512维 # 文本侧: 区域POI文本过文本编码器, 取CLS向量或平均向量 txt_vec = text_encoder(region.text)[0] # 512维 region_imgs.append(img_vec) region_txts.append(txt_vec) # 两批特征都做L2归一化, 保证点积在可控范围 region_imgs = l2_normalize(stack(region_imgs)) region_txts = l2_normalize(stack(region_txts)) # 相似度矩阵: 对角是正样本(同一区域的图文对) logits = region_imgs @ region_txts.T / temperature # temperature=0.07 # 对称对比损失: 图像要能找回文本, 文本也要能找回图像 labels = arange(len(batch_regions)) loss_img = cross_entropy(logits, labels) loss_txt = cross_entropy(logits.T, labels) loss = (loss_img + loss_txt) / 2 loss.backward() optimizer.step()

推理阶段更简单。新来一个区域，把它的图像和文本分别过编码器，融合成区域向量，然后直接往向量索引库里面扔，后续相似区域检索就是标准的最近邻查询。

有一点要注意：不管训练还是推理，图像侧的池化策略要一致。我在实验里发现，如果训练时用平均池化，推理时改成最大池化，检索效果会明显变差。这类不一致问题是最隐蔽的坑之一。

3.5 评估方案与结果解读

我给 GeoSANE 设计了三个评测口径，分别考验表示的不同侧面。

第一个是区域功能分类。准备一份有区域标签的数据，例如商业区、居住区、产业区、公共服务区四类，用表示向量训练一个线性分类器，看准确率。这个任务主要考验表示的线性可分性，也就是特征到底有没有把功能语义组织好。

第二个是跨区域检索。给定一个目标区域，从整个向量库里找出最相似的K个区域，人工检查返回结果是否合理。这个任务直接考验“相似”的语义是否符合直觉。我当时拿某城市一个典型商业街区作为查询，返回结果里除了它自己，前几名的区域确实都是高密度商业集聚区，这就说明表示学到了有用信号。

第三个是聚类内聚度。对全城所有区域向量做无监督聚类，看簇内区域在地理空间上是否呈现一定聚集性、在功能语义上是否一致。这一步是为找数据问题服务的，比如某个簇内部语义混杂，通常意味着某些区域的图像或文本特征质量有问题。

从我跑下来的观察看，纯免训练模式的zero-shot表示已经能把明显的功能区区分开，但在细分类目上容易混淆，比如文化设施和公共服务的边界经常拉不开。经过几百步对比微调后，细分类目的一致性明显变好。这块具体数字跟数据质量和区域粒度强相关，建议按自己的场景实测，不要直接照搬论文里的数字。

4. 应用场景分析：哪些领域能直接吃到红利

4.1 城市规划与区域功能画像

规划侧最耗人力的事，是给一张城市地图“上色”——哪块是居住主导、哪块是商业主导、哪块是公共服务主导。传统做法靠人工调研加统计年鉴，周期以月计。用 GeoSANE 的方式，全城的区域表示向量可以直接做无监督聚类，用聚类结果生成一张初版功能分区图，规划师再在这基础上做人工修正，效率完全不一样。

而且这种画像可以做到“动态更新”。城市每天都有新POI出现、新建设落地，传统调研可能一年才更新一次，但基于模型侧知识抽取的方案，随时可以给新增区域补算表示，旧区域也能在几分钟内重新批量跑一遍。城市规划项目做沙盘推演时，这种快速迭代能力非常有用。

4.2 商业选址与区域竞品分析

商业选址的核心是回答“这个位置像不像那些被验证过的成功位置”。传统选址大多依赖经营数据，新品牌没数据可参考时往往只能靠人拍脑袋。用区域表示做相似度匹配时，你能把目标点位映射到向量空间，返回历史上经营表现好的相似区域集，基于相似集的表现做预估。

我见过一个实际例子：某零售团队想在另一个城市选新店址，拿 GeoSANE 的区域表示把候选点位跟老城标杆商圈做相似度排序，结果前几名都落在高流量高消费密集区，和线下实地调研结论高度一致。这类应用对表层数据依赖不强，对底层语义对齐的要求却很高，正好是模型侧知识能发力的地方。

4.3 跨城市迁移与泛化场景

传统数据驱动表示最怕换城市，因为路网结构、POI命名习惯、车牌轨迹分布都不一样，换一个城市基本等于重新做模型。GeoSANE 的思路天然适合跨城市：全国各地的区域在语义空间里是可比的，只是模型在读取时加了一层“这个城市自身的上下文”。

我实测过用A市数据微调的对齐模型，直接去跑B市区域表示，功能分类精度确实比A市本地低一截，但低得有限，而且远高于从零训练的传统方法。如果你做的是多城市连锁管理、全国商圈对比这类业务，这种“大体可用+少量本地校准”的模式，项目预算和周期都能压下来不少。

4.4 遥感解译与生态监测的辅助特征

遥感影像解译通常只输出地物类别，但地物组合能表达更高层的语义。比如一块区域里同时有厂房、货车停车场和堆料场，遥感分类只告诉你这里有工业地物，而 GeoSANE 的表示可以进一步把这块区域理解成物流仓储主导区。这种高层语义特征拿来跟遥感模型的输出做特征融合，能够提升对复杂场景的识别能力。

当然，遥感影像质量受云雨和分辨率影响大，单独用影像做表示会出现不稳定。我建议在这种场景里把遥感影像特征、地理文本特征和业务标签统一放进同一个向量空间，让模型在融合过程中自动找到最可靠的信息源。

5. 常见问题与排查技巧实录

5.1 模型侧知识有偏差，区域表示会“偏科”

预训练模型的知识来自训练语料，语料本身有偏差。比如模型对一线城市地标性区域的语义把握明显好于三四线城市普通乡镇。我在某次实验中对比过两类区域的表示质量，头部城市区域检索结果的可解释性明显更好，欠发达区域的特征则趋于模糊。

应对思路是给弱覆盖区域增加本地文本信号。把当地志、园区招商公告、政府网站描述等低频文本纳入区域文本侧，让模型有更多本地语料可依赖。这些数据量不需要大，关键是真实有效。

5.2 街景图像的质量与数量波动问题

实际项目里不可能每块区域都拍到同样数量、同样质量的街景图。有的区域可能只有两张图，而且还有遮挡；有的区域能拍到十几张非常干净的角度。

如果直接把这种不均衡的特征拿来做平均池化，表示会偏向拍摄覆盖好的区域，导致检索结果失真。我后来改用加权池化，权重基于图像清晰度评分和图内信息熵。信息熵低的纯马路、纯墙面图会被自动降权，效果好于简单平均。另外，图像数量不足4张的区域，宁可只用文本特征，也不要强行补图。

5.3 表示空间不稳定：多次推理结果抖动

有段时间我发现同一个区域隔几天重新跑一遍，表示向量跟之前的余弦相似度只有0.9左右。排查后发现元凶是文本侧微调时随机种子没固定，以及预训练模型的动态输入长度被截断到了不同位置。

解决办法有两个。第一，推理阶段固定随机种子并开启确定性模式。第二，把文本侧的拼接函数做成分段确定性填充：长文本截断时固定保留头部和尾部，而不是从头截到尾。这样能保证区域文本在两次推理中进入模型的顺序和长度完全一致。

5.4 资源受限时的极简复现路径

如果你手上只有一块普通显卡甚至CPU，不要放弃这条技术路线。第一步先上免训练模式：用开源小尺寸图文模型提取区域特征，拼接后直接做检索演示。这一步不需要任何训练，一台普通机器就能跑。

第二步只对最后的融合投影层做微调，冻结视觉和文本编码器。这样梯度和显存开销都大幅降低，训练步数也能压到几百步以内。虽然效果略逊于全量微调，但对预算有限的团队来说，是性价比最高的切入点。

5.5 常见问题速查表

最后分享一点个人体会。GeoSANE 这个项目做完之后，我对“模型是不是一张隐形的空间知识地图”这个问题有了更具体的答案：它是，但需要你给它一个合适的提词器。预训练模型构不构成地理空间表示的直接答案，核心不在于模型本身，而在于你能不能把区域信息组织成模型擅长处理的多模态形态。踩过几次坑以后，我现在拿到一个空间表示任务，会先问一句“这块区域的语义到底藏在哪里”，而不是急着拉数据。有时候打开已有的模型参数，比打开数据库更快。

另外补一个小技巧：如果团队里暂时没有做多模态的人，可以先拿现成图文模型的接口把特征提出来，用最简单的拼接方案跑通一个检索Demo。只要可视化样例能让业务方看懂“相似区域”是什么意思，后面再上深度对齐方案时，说服成本会低很多。技术方案的推进，第一步是让结果看得见，第二步才是让结果更准。