打开天气AI的黑箱：GraphCast内部竟藏着可解释的物理世界

核心问题与动机

1. 背景：以 GraphCast 为代表的大型数据驱动天气模型在预测准确性上已经媲美甚至超越了传统的基于物理方程的数值天气预报模型，并且计算成本要低得多。

2. 痛点：这些模型是“黑箱”。我们不知道它们内部是如何进行计算的，也不知道它们学到的内部表征（即神经元激活模式）是否对应于真实世界中可理解的物理现象（如飓风、大气河等）。这种不透明性阻碍了科学界对它们的信任和广泛采用，尤其是在预测极端天气事件时。

3. 核心问题：

* 数据驱动模型内部是否编码了可解释的、符合物理规律的抽象概念？

* 我们能否找到一种方法来揭示并理解这些内部表征？

研究方法：借鉴大语言模型（LLM）的可解释性工具

作者没有从零开始，而是巧妙地借用了在 大语言模型（LLM）可解释性研究 中发展起来的强大工具——稀疏自编码器（Sparse Autoencoder, SAE）。

* 传统方法的局限：早期研究试图将单个神经元视为基本单元，但发现很多神经元是“多义的”（polysemantic），即一个神经元会对多种不同概念产生响应，这使得解释变得困难。

* SAE 的核心思想：SAE 认为，可解释的基本单元不是单个神经元，而是一组协同工作的神经元的特定线性组合。它试图在一个更高维（但极其稀疏）的潜在空间中，用一组“字典向量”（dictionary vectors）来重构原始的密集神经元激活向量。

* 具体操作：

1. 捕获激活：运行 GraphCast 模型，并在其中间层（例如第8层）提取所有节点（代表地球上的网格点）的嵌入向量（即神经元激活值）。

2. 训练 SAE：使用 SAE 对这些密集的激活向量进行训练。SAE 学习一个“解码器”矩阵 `W_dec`，使得任何原始激活向量 `v_i` 都可以被近似表示为 `v_i ≈ W_dec * α_i + b`。这里的 `α_i` 是一个极度稀疏的向量（只有少数几个非零元素），每个非零元素就代表一个“特征”（feature）的激活强度。

3. 发现特征：通过分析 `W_dec` 的每一列（即每个字典向量），我们可以可视化这个“特征”在地球上是如何分布的。如果某个特征的激活模式与已知的物理现象高度吻合，那么我们就发现了一个可解释的内部表征。

主要发现

通过应用 SAE，作者在 GraphCast 的内部发现了大量令人信服的、可解释的物理特征：

1. 时间尺度上的特征：

* 日变化特征：发现了与昼夜循环相关的特征，例如在干旱地区白天激活（可能与地表加热有关）、在海洋盆地清晨激活、以及与热带辐合带（ITCZ）降雨模式高度一致的特征。

* 季节/年际变化特征：发现了与季节循环相关的特征。最引人注目的是，发现了两个分别追踪北极和南极海冰范围的特征。这是一个重大发现，因为 GraphCast 的输入和输出数据中根本不包含海冰信息！这表明模型为了更准确地预测大气动态，自主地、动态地推断出了海冰的存在和范围，并且这种推断是可以通过无监督方法提取出来的。

2. 极端天气事件特征：

* 热带气旋（TCs）：通过一种称为“稀疏探测”（sparse probing）的技术（训练一个简单的逻辑回归模型，用单个 SAE 特征来预测 TC 的存在），他们找到了一个与热带气旋高度相关的特征（Feature 3243）。该特征在全球各大洋盆都能准确激活，并且能精确追踪单个风暴（如飓风 Ida 和台风 Hagibis）的生命周期。

* 大气河（ARs）：同样地，他们也发现了与大气河相关的特征。

3. 不良特征：

* 网格锁定特征（Grid-locked features）：他们也发现了一些与 GraphCast 内部网格结构相关的特征，这些特征的激活模式反映了模型架构本身，而非真实的物理现象。这提醒我们，模型架构可能会引入偏差，这也是可解释性研究对模型开发的反哺作用。

关键验证：因果干预与物理一致性

发现相关性还不够，作者进一步进行了因果干预实验来验证这些特征的真实性：

1. 特征修改实验：

* 他们在模型前向传播过程中，人为地放大或抑制那个与热带气旋相关的特征（Feature 3243）的激活值。

* 结果：当放大该特征时，模型预测的飓风强度（最大风速）显著增强；当抑制该特征时，预测的飓风强度减弱。这种影响是单调且可解释的。

* 结论：这证明了该特征与模型对飓风的预测之间存在直接的因果关系，而不仅仅是相关性。这个特征确实是模型内部用于表征和预测飓风的一个“构建块”。

2. 物理一致性检验：

* 仅仅改变强度还不够，改变后的预测结果是否仍然符合物理定律？作者检查了修改后场的质量守恒、静力平衡以及飓风特有的梯度风平衡。

* 结果：在合理的修改范围内，修改后的预测场依然很好地满足这些基本的物理约束。

* 结论：这表明 GraphCast 不仅学到了飓风的表象，其内部的抽象表征还与底层的物理动力学深度耦合。模型的预测不仅是统计上的，也是物理上自洽的。

结论与意义

1. 信任建立：这项工作为大型数据驱动物理模型的“黑箱”提供了一扇窗户，极大地增强了我们对其预测结果的信任。我们看到，模型内部确实编码了符合物理直觉和观测事实的可解释概念。

2. 科学发现潜力：这些模型不再仅仅是预测工具。通过分析其内部学到的特征和特征之间的相互作用（即“电路”），我们或许能够发现新的物理路径或机制，解释为什么这些数据驱动模型如此有效。这为数据驱动科学开辟了新途径。

3. 方法论贡献：成功地将 LLM 领域的可解释性技术（SAE）迁移到复杂的物理系统（天气模型）中，证明了该方法的强大普适性。

4. 未来方向：作者建议未来的研究可以致力于构建完整的“特征交互电路”来解释模型预测，或者直接设计本身就具有可解释计算过程的稀疏模型。

总而言之，这篇论文是一项里程碑式的工作。它不仅回答了“数据驱动模型内部到底在想什么”这个关键问题，而且通过严谨的因果干预和物理一致性检验，证明了这些模型学到的知识是深刻且可靠的，为它们从“工程奇迹”转变为“科学工具”铺平了道路。

END

声明：欢迎转载、转发。气象学家公众号转载信息旨在传播交流，其内容由作者负责，不代表本号观点。文中部分图片来源于网络，如涉及内容、版权和其他问题，请联系小编处理。