算上 2026 年，神经算子这个方向已经被追了快五年。从早期 FNO 出来大家觉得"这玩意真能替代求解器？"，到现在 9-10 月这波论文里铺天盖地的扩散模型、基础模型、多尺度架构，整个领域已经明显分成了几个不同流派。我自己从 2021 年开始看这个方向，今年这波工作给我的感觉是：神经算子已经不是单纯的"偏微分方程拟合工具"，而是在往"物理场基础模型"和"通用模拟范式"演进。
这篇解读我会按几条主线来聊：先说说这段时间研究逻辑的变化，再逐条拆解 9-10 月论文里的核心打法，最后给准备复现的同学一些实操层面的建议。我不会把所有论文都罗列一遍，而是挑代表性的几篇，把背后的技术动机和取舍讲清楚。适合正在做 Agent 模拟、科学计算 surrogate、或者想在工程场景落地神经算子的朋友慢慢看。
1. 神经算子这半年的主线逻辑：从"拟合算子"到"建模世界"
1.1 为什么神经算子值得关注
传统数值方法（有限元、有限差分、谱方法）求解偏微分方程，核心瓶颈在于网格分辨率和时间步长带来的算力消耗。一次高分辨率流体仿真可能跑几小时甚至几天，而神经算子的核心思路是：直接学习一个从参数场到解场的映射，推理的时候只做一次前向传播，毫秒级出结果。这个思路从 DeepONet 和 FNO 被提出后，迅速吸引了一大批关注。
到了 2026 年 9-10 月，这个领域的论文密度明显上升了一个量级。我翻了下 arXiv 上这两个月的投稿，跟 operator learning 直接相关的工作大概有六七十篇，如果再算上用到算子思想的生成模型、强化学习环境模拟器，数量还要翻一倍。这说明神经算子已经从学术圈的"玩具阶段"进入了"工具箱阶段"。
1.2 九、十月论文里最明显的三个变化
先说结论，这波论文给我的整体观感有三个显著变化。
第一个变化是输入输出形式更加复杂。早期的 FNO 处理的是规则网格上的标量场，比如方域上的达西流压力场。现在大量工作在搞非结构网格、多物理场耦合、时空联合建模，甚至把点云和无网格方法拉进来。输入从"规则场"变成"不规则采样"，这让架构设计必须做出调整。
第二个变化是不确定性和生成模型成了显学。扩散模型不再只是图像生成专属，已经大量渗透进物理场建模。9-10 月至少有三四篇工作把条件扩散模型接在神经算子后面，用于生成符合物理约束的流场样本，或者估计预测结果的置信区间。
第三个变化是大模型化、基础模型化。某团队搞了一个在几十万个 PDE 实例上预训练的通用算子底座，下游任务只需要少量微调甚至零样本推理。虽然效果还没有到"通吃所有方程"的程度，但这个趋势已经非常明显——未来神经算子可能就是物理世界模型的底座之一。
这三个变化说白了是从"换个网络拟合局部问题"转向"用算子思想去理解物理场的基本结构"。
1.3 哪些人适合关注这波工作
我做一下人群分类，方便大家对号入座。
- 做计算力学、流体力学研究的人：你们最关心 surrogate 能不能替代昂贵求解器，重点关注多尺度 FNO 和物理约束损失那几篇。
- 做工业数字孪生和设计优化的人：重点关注 9-10 月关于数据效率、外推泛化的论文，这类场景往往没有海量标注数据，小样本能力比绝对精度更值钱。
- 做AI for Science 基础设施的人：基础模型、统一算子框架、多任务预训练那几篇对你们是直接参考。
- 做强化学习环境模拟的人：9-10 月出现了一些用神经算子代替环境动力学模型的工作，这是一个信号。
我自己偏向前两种场景，所以后面拆解的时候会有比较明确的偏向性，提前说明。
2. 九月论文主战场：结构改进与数据效率
2.1 分块频域与高分辨率泛化
9 月上旬有一篇论文值得单独说，它解决的是 FNO 家族最尴尬的问题——分辨率外推能力差。FNO 的底层逻辑是做全局频谱变换，在训练分辨率上效果很好，一旦推理网格变密或变疏，泛化性能直接崩。这个问题的根源在于离散傅里叶变换的模态数量和输入分辨率绑定。
某团队提出的方案是在频域做分块处理：把输入场切成分块，每块独立做谱变换，再用跨块的注意力机制建模全局依赖。对比实验里，在 64x64 上训练的模型直接拿到 256x256 分辨率上推理，相对 L2 误差从之前 FNO 的 18% 左右降到了 6% 附近。
这个工作给我们的启发是：不要在全局频谱上死磕，局部谱 + 全局注意力是更好的组合。工业场景里面训练数据往往来自粗网格仿真，评估却要在细网格上做，这类架构改动带来的收益非常直接。
2.2 多尺度卷积与算子解耦
另一篇印象比较深的工作是搞多尺度架构的。它的做法不复杂，但思路值得学习：把算子分解成"多尺度特征提取器"和"物理场重建器"两个模块。前者用不同膨胀率的卷积核捕捉不同尺度的空间特征，后者则学习从粗尺度到细尺度的上采样映射。
关键细节在于中间加了一个尺度一致性约束——不同尺度的隐特征经过投影后，在公共空间里应该保持一致。这个约束让模型能更好地利用粗尺度信息来指导细尺度重建，在湍流流场和地震波传播这类多尺度现象上效果提升明显。
我看完这个工作的感受是：多尺度这个东西在 CV 里已经很成熟了，但在神经算子场景下要避免简单套用。物理场的多尺度不是图像纹理的多尺度，它牵涉到不同波动模式的频段分离，设计时要把物理特性考虑到尺度交互的设计里，而不是默认"金字塔结构"就完事。
2.3 小样本场景下的元学习调整
10 月有一篇关于元学习的文章很有意思。它处理的场景是：每个新 PDE 实例只有 20 到 30 个样本，但历史上有大量相似任务的数据。做法是先在大量任务上预训练一个 meta-initialization，新任务到来时用少量梯度步做快速适应。
这个思路在 few-shot learning 里不算新，但这篇文章的关键贡献在于设计了物理感知的任务表示——把 PDE 系数、边界条件和源项编码成任务向量，用来调节元学习器的初始化方向。实验里拿来做的是达西流和不可压缩 NS 方程，几十个样本内就能达到专业全监督模型的九成精度。
对我来说，这篇工作最有价值的不是元学习本身，而是"任务表示"的设计。它提供了一个思路：当数据不够时，与其加大网络容量，不如想办法把已知的物理信息压缩进任务条件向量。
3. 十月论文主战场：生成、概率与不确定性
3.1 扩散模型如何与算子结合
10 月这个方向涌现了好几篇工作，我先说整体共识：纯回归式算子输出的是一个确定性均值场，而扩散模型可以给出整个概率分布。组合方式大致分两类：
第一类是两阶段串联。先用神经算子做粗预测得到条件特征，再把特征作为条件输入给扩散模型，让扩散模型生成细化后的物理场。好处是实现简单，不用改动算子架构，只需要训练一个条件扩散模型。
第二类是算子引导的扩散采样。扩散模型的采样过程中，每一步用算子的梯度信息来引导生成方向，使得生成的流场在关键物理量（比如质量守恒残差）上满足约束。
这两类我都做了小实验对比。整体感觉：两阶段串联在效率上更好，适合做设计优化里的快速推理；算子引导的扩散采样在物理一致性上更强，适合做高保真的不确定性传播分析，但采样成本高出不少。
3.2 概率神经算子与置信区间
除了扩散模型，经典的概率建模路线也有新进展。某团队提出了一种异方差概率神经算子：网络不仅输出预测均值，还输出每个空间位置的预测方差。关键是方差不是靠蒙特卡洛 dropout 估计的，而是用一个额外的方差头直接学习条件分布。
这篇工作的亮点是给出了方差估计的理论保障，并且把偶发外推场景（比如训练域外的初始条件）下的方差校准做得很仔细。实操里，如果你需要在决策流程中评估"模型有多不确定"，这个方法是目前成本比较低的选择。
3.3 物理约束如何嵌进生成过程
生成物理场的最大痛点是生成的样本可能违背物理守恒，比如连续性方程不满足、边界条件被破坏。10 月的一篇论文直接把物理残差作为扩散模型的额外条件，在采样过程中定期计算 PDE 残差，然后用残差的梯度修正生成样本。
这个方法让我想起早年 GAN 生成图像时用感知损失来约束风格的做法，本质都是"外部评判器参与生成"。但物理残差比感知损失严格得多——它是由微分方程数学结构决定的，不是由某个预训练模型定义的。这意味着约束不可学习、不可协商，只能硬性地满足。用这种方式生成出来的流场，在可视化上几乎看不出违和感，而且下游做有限元初始化也更容易收敛。
4. 算子的基础模型化：盘点与冷静审视
4.1 预训练算子底座的长处与短板
9-10 月最热的词绝对不是"accuracy"，而是"foundation model"。某团队在 arXiv 上放了一个算子基础模型，训练数据覆盖了达西流、NS 方程、声波方程、对流扩散方程等十余类 PDE 实例，总样本量号称几十万。
长处是很明显的：在常见方程上做零样本或少样本迁移，效果确实不错，尤其是对小规模数据的下游任务。以前训练 FNO 动辄需要上千个数据，现在几十个样本微调就能达到可用水平。
短板也很现实。一是这类模型参数量巨大，推理成本和内存占用远超"工业可部署"的范畴；二是方程的边界条件如果比较特殊（比如复杂几何上的无反射边界），预训练权重的迁移增益会大打折扣；三是对训练分布之外的方程类型，表现依然拉胯——你让它做等离子体模拟，它根本不知道那是什么物理。
我的建议是：如果你有 GPU 资源并且研究的是比较通用的物理场建模问题，用这类底座做微调是划算的；如果你是工业部署导向，还是老老实实按自己的工况训练中等规模模型更可控。
4.2 统一算子框架的三个设计原则
有一篇十月论文我特别推荐给工程导向的读者，它不是在某个模型上做了改进，而是提出了一套统一算子框架的设计原则。总结下来其实就三条：
- 输入编码与算子主体解耦：不管输入是规则网格、非结构网格还是点云，都先统一编码到一个隐空间，再送入算子主体处理。这样算子主体不用关心底层离散形式。
- 多分辨率特征融合：主干内部保持多个分辨率分支，推理时可以按需选择计算精度，而不是全网络一条路走到底。
- 输出头可插拔：预测完隐特征之后，根据下游任务（回归场、重建、分类、生成条件）接不同的输出头，让同一套特征服务多个用途。
这套原则看起来并不新奇，但真正照着做的框架却不多。大部分开源算子库都是"一个模型一把梭"，换任务就换模型。统一的抽象框架对于实际落地非常重要，因为工程上最怕的是每个问题都从零开始。
4.3 天气预报与工业仿真的落地信号
基础模型化的一个连带效应是落地信号变多了。10 月有几篇工作把预训练算子用在中尺度天气预报和工业叶轮机械流场建模上，虽然还谈不上全面替代传统业务链，但已经显示出几个明确信号：
- 推理延迟从分钟级降到毫秒级，让"实时预报"和"在线优化"成为可能。
- 对历史观测数据（而非仿真数据）直接建模，绕开了"仿真-真实差距"的老问题。
- 多任务共享表征后，下游只需要轻量微调，边际成本大幅下降。
这些信号意味着：神经算子不是停留在论文里的概念，而是开始被业务方当作"数字孪生的动力学内核"来认真评估。
5. 复现与实操：数据、训练细节与调参经验
5.1 数据生成策略与常见坑
复现神经算子论文，最先拦路的是数据。这里我要掏出几个经验性的建议。
- 数据多样性比数据量更重要。2000 组覆盖广泛参数域的样本，效果远好于 10000 组挤在狭窄参数区间的样本。做 PDE 采样时，初始条件、边界条件、源项系数都要推着往分布边缘走。
- 网格分辨率要和推理目标一致。不要拿 64x64 训练然后指望 256x256 推理无伤大雅。如果目标是高分辨率推理，训练数据里至少要有一定比例的细网格样本。
- 数据标准化不能想当然。物理量量纲差异极大，有时候压力和速度速度差 3 个数量级。直接用原始值训练会让 loss 被大数值主导。建议对每个物理量单独做标准化，记录均值和方差，推理时反标准化回去。
- 保存"归一化前的场"用于后续物理残差计算。很多同学在数据管线里只保存归一化后的张量，等想计算真实物理量纲的残差时就抓瞎了。保存原始场并不费多少空间。
5.2 损失函数设计的三个注意点
- 相对 L2 损失是标配，但不是万能。相对 L2 对平滑区域和急剧变化区域的权重是隐式的，如果目标是对边界附近的精度敏感，考虑加一个边界加权的损失。
- 物理残差损失要小心权重。软约束（残差项）和硬标签之间如果失衡，模型会走极端——要么忽略物理约束，要么过拟合到数据上。常见的做法是残差权重从 0.1 开始逐步退火。
- 多任务损失建议学权重。如果你同时预测压力场和速度场，不同物理量的 loss 量级天然不同。用不确定度加权或者更简单的"归一化到各自初始 loss 再合并"，都比人为拍一套权重稳。
我用过最省心的组合是：相对 L2 作为主损失，边界残差作为辅助损失，权重从 0.2 开始随着训练步数线性降到 0.05。这套在多个问题上都能快速收敛到可用精度，强烈建议作为起步配置。
5.3 超参与训练的动态细节
参数设置方面，几个最容易影响结果的地方：
- 模态数与分辨率关系。FNO 系列的模态数（modes）直接决定频域截断，可以先取输入分辨率边长的 1/8 到 1/4，再通过验证集微调。不要一上来就取满，既慢又容易过拟合噪声。
- 学习率调度。我测试过多种调度器，Cosine 退火加前 5 个 epoch 的线性 warmup 是通用性最好的。峰值学习率取决于模型大小，小模型 1e-3，中大型模型 5e-4 起步。
- Batch size 与归一化的交互。使用 InstanceNorm 或没有 BatchNorm 的纯卷积 / 谱方法时，batch 可以小一些也不怕。但如果用了 BatchNorm，batch size 低于 8 时指标掉得飞快，这时候宁可做梯度累积也别硬开大 batch。
- 长期训练的过拟合检测。每 20 个 epoch 在验证集上做一次分辨率外推测试（比如 128 训练 →256 测试），一旦外推误差开始回升，说明模型开始记忆训练分辨率上的频谱结构，应该考虑早停或加数据增强。
5.4 模型评估与对比的公平性问题
跟论文对比效果时，最容易踩的坑是评估协议不一致。
- 确认对方数据集划分方式（随机划分还是按参数域划分）。按参数域划分的数据集更难，也更有说服力。
- 确认对方报告的指标是"All-time-step 平均"还是"最后时刻误差"。有些论文为了数值好看只报最后时刻，这是不合理的。
- 如果对方给了误差热力图，看看误差集中在什么区域。如果集中在边界，你的模型如果边界处理得好，会更接近真实使用场景。
我在评估里通常同时报三个指标：全场的相对 L2、边界区域的相对 L2、以及能量谱上的误差。最后一个指标能反映模型是否学到了正确的多尺度结构，只报一个全场 L2 很多信息被平均掉了。
6. 常见问题与排查技巧实录
6.1 训练不稳定的排查清单
Q：训练 loss 下降很快，但验证 loss 一开始就不降，甚至升高。
A：十有八九是训练数据的分布和验证数据不一致。比如训练时边界条件采样范围过窄，验证集里出现了新边界模式。先画一下两个集合的输入分布对比，如果确认分布差异，把验证集的数据生成策略改成和训练一致，或者把训练采样范围扩大。
Q：明明损失已经很低了，但可视化预测场里高频细节全是糊的。
A：典型的频谱偏置问题。模型把能量都花在拟合低频主结构上，高频细节被忽略。解决办法：一是增加模态数或高分辨率分支，二是把损失改成频域加权损失，对高频部分加大权重，三是用对抗或感知风格损失强制高频结构匹配。
Q：训练到一半 loss 突然爆炸，恢复不了。
A：常见原因是学习率过大加上 batch 里混入了离群样本。排查方法是先降低学习率，然后把每个样本的 loss 打印出来，找那几个离群样本看看是不是数据生成时出现了极端参数。如果离群样本存在，去掉或者做 clamp 处理。
6.2 推理阶段的坑
Q：推理速度不够快怎么优化？
A：先看是不是模型本身就太胖。概率模型和扩散模型天生慢，如果实时性要求高，考虑蒸馏成单步模型。再看推理时有没有做无用功，比如在矩形场外计算了无效区域的卷积。最后考虑 TensorRT 或 onnx 导出，不加任何修改的情况下一般能有个 1.5 到 3 倍的提速。
Q：模型在训练分布内非常好，换一个几何形状就崩。
A：几何外推是所有算子的阿喀琉斯之踵。目前的工程解法通常是数据增强（训练时随机对场做几何扰动）或者用领域随机化。如果几何形状变化太大，那就老实承认模型适用范围，按不同几何类别各训一个专用模型。
6.3 需要避开的几个认知误区
- 不要以为神经算子能完全替代数值求解器。至少在可预见的未来，它的定位是"快速近似器"。当精度是唯一追求时，数值求解器仍然不可替代。最好的工程实践是两者结合：神经算子给出初值或候选，数值方法做验证和精修。
- 不要忽视数据生成的计算成本。一套好的训练数据往往需要跑上万个高精度仿真，生成成本可能比训练模型还高几个数量级。在做方案预算时，数据生成才是大头。
- 不要只盯着 L2 误差。物理一致性（质量守恒、动量守恒）才是落地时真正会被挑战的点。你的模型可能 L2 误差很小，但守恒量偏差很大，这在工程评审中是致命的。
7. 我的实操心得与下一步建议
读这两个月的论文，最大感受就是神经算子的研究重心正在从"网络结构创新"转向"数据构建与训练范式创新"。从 9-10 月的高质量工作和一些已公开的 benchmark 结果可以看到，单纯换个注意力模块、换种激活函数能带来的提升已经微乎其微。真正的增益来自：
- 更好的训练数据分布设计（覆盖更多边界、更强参数扰动）。
- 融合物理约束的多层次损失设计。
- 对不确定性有明确度量的推理流程。
如果你现在想入局这个方向，我会建议先在公开 benchmark 上复现一篇 2025 年的经典工作，跑通完整的数据生成-训练-评估流程，然后再去读 9-10 月这些新论文，你会很快看到它们到底改了什么、为什么改。我自己在复现路上的体会是：神经算子这套东西，代码实现往往只是整体工作的一小部分，数据生成和评估协议的选择才是真正拉开差距的地方。
后面我大概率会在三个方向继续深入：一是把基础预训练模型在自己的业务数据上做微调实验，二是探索用扩散模型给出物理场置信区间用于可靠性分析，三是尝试在流体优化闭环里把神经算子当作实时代理模型使用。如果这半年里有进展，再回来跟大家分享。
