AIFS-CRPS：ECMWF如何用概率评分afCRPS训练AI集合预报

AIFS-CRPS：ECMWF如何用概率评分afCRPS训练AI集合预报

导言：过去三十年中，集合预报成为天气预报的关键部分，通过表征不确定性并考虑误差增长，更准确地估计天气事件概率，提高预报可靠性并提供预测结果确定性的信息。但传统集合预报计算成本高，因需运行多个独立模式，限制了分辨率和成员数量提高，影响精度和效率。

欧洲中期天气预报中心（ECMWF）开发的人工智能预报系统（AIFS）的集合预报版本AIFS-CRPS是这一融合的成功案例。AIFS-CRPS的损失函数基于连续排序概率评分（CRPS），通过机器学习算法优化集合预报的生成过程，显著提升了预报效率和精度。

图 1 AIFS-CRPS概率性训练示意图（论文[1]）

01

为什么要结合AI对集合预报进行优化：传统集合预报的难点

计算成本高：集合预报需要运行多个模型实例（数量为集合成员个数）。与单一的确定性预报相比，集合预报的计算量大幅增加，导致其在实际应用中受到计算资源更多的限制。

模型不确定性模拟的局限性：传统集合预报依赖于对初始条件和模型参数的扰动来模拟不确定性，但这些扰动方法可能无法全面捕捉大气系统的复杂变化。物理模型的假设和参数化方案可能引入偏差，从而限制了预报的准确性。

结合AI技术优化集合预报可以有效解决这些难点。AI技术通过学习历史天气数据中的模式，能够以较低的计算成本提供高精度的天气预报。AI模型可以捕捉复杂的大气变化的规律，并通过优化算法减少计算资源的消耗。此外，AI模型还可以通过数据驱动的方法弥补物理模型中的不足，从而提高集合预报的整体性能。

02

基于CRPS损失函数的集合预报模型：AIFS-CRPS

AIFS-CRPS架构在很大程度上遵循确定性AIFS v0.2.1的编码器-处理器-解码器设计。AIFS-CRPS的编码器和解码器是基于transformer的图神经网络（GNNs），而处理器主干则是一个滑动窗口transformer。然而，与确定性AIFS相比，AIFS-CRPS模型的训练本质上是概率性的。AIFS-CRPS使用16层处理器和1024维的嵌入维度，配备8个注意力头，这总共产生了2.29亿参数，以下图示呈现了AIFS架构主要组件设计。

图 2 AIFS编码器（左）和解码器（右）图的示例可视化。ERA5网格点显示为小黑圆点，处理器网格点显示为较大的灰色圆点，边以黑线表示。为了便于观察，仅绘制了地球表面的一小部分区域（论文[2]）

图 3 不同网格点（红色）的注意力窗口（蓝色高亮的网格点）。灰色网格点展示了信息在处理器6层内可以传播的范围示例（AIFS总共有16层处理器）。为了便于说明，图中显示的网格分辨率低于AIFS实际使用的分辨率（论文[2]）

图 4 AIFS编码器/解码器GNN块结构，使用multi-head graph Transformer卷积运算来更新处理器的节点和边（论文[2]）

连续排名概率评分（CRPS）是一种评估集合预报质量的有效指标。在Homogeneous Gaussian（hoG）模型下，CRPS与集合平均误差方差，集合方差，集合平均的平均误差的值相关（论文[3]）。因此它可以作为AI模型定向针对集合预报的训练损失函数，引导模型生成更优质的集合预报成员。

其中，xj表示AI模型生成的集合预报成员输出，M为模型产生的集合成员个数，y为训练过程中使用的观测真值。

fair CRPS（fCRPS）是对CRPS的一种改进，它针对集合大小进行了调整，对那些与验证观测值采自同一分布的成员而言，如果该成员偏离预期分布则进行更多惩罚。

公式的第二项被修改为不同集合成员间差异的算数平均。fCRPS存在评分退化问题，即在除了一个集合成员其它成员都与验证观测值相同的情形下，fCRPS恒为0。

AIFS-CRPS模型所采用的训练损失函数为almost fair CRPS（afCRPS）：

通过与CRPS加权，避免fCRPS的评分退化问题。而为避免数值误差问题，调整计算顺序后的afCRPS可以得到：

其中，当超参数ε>0时，根据三角不等式求和各项为正。

03

概率性训练实现与部分结果

在AIFS-CRPS中，处理器中的所有LayerNorm层都被替换成了ConditionalLayerNorm层，以接受噪声嵌入输入，这便让集合预报的AI版本成为可能，如下图所示：

图 5 AIFS处理器的单个pre-norm transformer 层结构示意图（论文[2]）

生成噪声嵌入的步骤分为三步：

1.生成处理器网格形状*噪声通道数的高斯噪声

2.将高斯噪声通过两层感知器（MLP）

3.层归一化形成噪声嵌入

图6展示了AIFS-CRPS N320（蓝色实线）和IFS集合预报（绿色虚线）在不同预报时效下的CRPS评分比较：

a) 北半球中高纬地区的2米温度，基于SYNOP观测验证

b) 北半球中高纬地区的850百帕温度

c) 热带地区850百帕温度，基于分析场验证

评分为2024年2月1日至9月30日期间的平均值，预报初始化时间为00和12 UTC。从图中可以看出，AIFS-CRPS在北半球中高纬地区的2米温度预报中表现出更高的技巧，而在热带地区的850百帕温度预报中，AIFS-CRPS与IFS的表现相当。这表明AIFS-CRPS在某些变量和地区具有更好的预报能力，尤其是在北半球中高纬地区的2米温度预报中。

图 6 AIFS-CRPS N320（蓝色，实线）和IFS集合预报（绿色，虚线）对不同预报时效的CRPS评分比较（论文[2]）

04

展望

AIFS-CRPS展现出了强大的潜力，但仍有一些挑战需要克服。未来的工作将聚焦于提升模型的分辨率，以期获得更精准的天气预报结果。此外，研究人员计划引入改进后的初始条件扰动方法，使模型能够更准确地捕捉初始状态的不确定性，从而提高预报的可靠性。在参数优化方面，将添加更多预报参数，使模型能够捕捉更丰富的气象要素，进一步提升其预报能力。同时，ECMWF计划以实验性实时模式运行AIFS-CRPS N320，这将是一个重要的里程碑，其集合预报等产品将在遵循ECMWF开放数据许可条款下向公众开放，以便更广泛地服务于气象研究和实际应用。

参考文献

[1]: AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the continuous ranked probability score, Lang, S., Alexe, M., Clare, M., Roberts, C., Adewoyin, R., Ben Bouallègue, Z., Chantry, M., Dramsch, J., Dueben, P., Hahner, S., Maciel, P., Prieto-Nemesio, A., O’Brien, C., Pinault, F., Polster, J., Raoult, B., Tietsche, S., Leutbecher, M.

[2]: Lang, Simon, et al. "AIFS--ECMWF's data-driven forecasting system." arxiv preprint arxiv:2406.01465 (2024).

[3]: Leutbecher, Martin, and Thomas Haiden. "Understanding changes of the continuous ranked probability score using a homogeneous Gaussian approximation." Quarterly Journal of the Royal Meteorological Society 147.734 (2021): 425-442.

课题组AI同化相关研究如下↓

【博士后招聘】CEMC韩威课题组招聘博士后！AI+数据同化，赋能未来气象预报创新

台风预报新范式：AI for CNOP-目标观测全链条智能同化预报系统

中国气象科技的智能新突破：人工智能数据同化的一小步 —FuXi - DA

不确定性感知的AI建模：数据同化思想助力风四卫星高光谱辐射传输模型创新

物理+数据双驱动：机器学习如何重构气象数据同化全链条？

ECMWF发布AIFS Single V1：正式开启智能预报新时代

成员分工

玺源丨AIFS-CRPS算法归纳分析

云昊丨传统集合预报与AI预报的联系

黄欣丨公众号文字与图片设计及内容发布