圣诞快乐ciallo~ | xarray 进阶 | apply_ufunc 在 ERA5 数据处理中的妙用

用户11172986

发布于 2026-04-24 19:17:55

700

xarray 进阶 | apply_ufunc 在 ERA5 数据处理中的妙用

ERA5是欧洲中期天气预报中心（ECMWF）发布的第五代全球大气再分析数据，广泛应用于气象、气候研究和数值天气预报。ERA5数据通常为多维数组（时间、经度、纬度、高度层等），且数据量大、维度复杂。利用xarray库的apply_ufunc函数，可以在保证数据标签（坐标、属性）完整性的同时，高效实现针对气象数据的批量计算（如空间平均、时间序列提取、物理量转换等）。本文以ERA5数据为例，介绍apply_ufunc的核心应用场景和实现方法。

一、`xarray.apply_ufunc`的核心功能

xarray.apply_ufunc是对NumPy通用函数（ufunc）的扩展，支持有标签的多维数组（如DataArray和Dataset），并自动处理以下任务：

多维度对齐（如时间、经度、纬度的匹配）
广播规则（不同维度的自动扩展）
分组循环（如按时间分组计算统计值）
标签保留（计算结果保留原有坐标和属性）

它适用于复杂的批量计算场景，尤其在处理ERA5这类多维、高分辨率数据时，避免了手动编写循环的繁琐过程。

二、ERA5数据典型应用场景及实现

1. 空间平均处理（区域平均或全球平均）

目标：将日平均温度数据（时间×纬度×经度）沿纬度、经度维度平均，生成时间序列。

import xarray as xr
import numpy as np

# 加载ERA5数据
ds = xr.open_dataset("/home/mw/input/era58091/ERA5-2023-08_pl.nc")
temperature = ds["t"]  # 
temperature

image

# 定义空间平均函数 (沿纬度和经度平均))
def spatial_mean(data):
    return np.mean(data, axis=(-2, -1))  # 最后一维是经度，倒数第二维是纬度

# 应用函数
temperature_global_mean = xr.apply_ufunc(
    spatial_mean,
    temperature,
    input_core_dims=[["latitude", "longitude"]],  # 核心维度为lat和lon，其余维度自动广播
    output_core_dims=[[]],             # 输出无核心维度（转换为时间序列）
    keep_attrs=True,                   # 保留属性（如单位）
)

print(temperature_global_mean)
# 输出：<xarray.DataArray (time: 365)> 单位：K

image

2. 批量计算涡度

目标：根据水平风速分量（东风）和（北风），计算各高度层、各时次的相对涡度。

其简化的直角坐标系公式为：

import xarray as xr
import numpy as np

# 1. 定义核心计算函数 (基于 NumPy)
def calculate_vorticity(u, v, dx, dy):
    """
    使用中心差分计算涡度
    dx, dy 可以是标量（简化情况）或与网格对应的数组
    """
    # np.gradient 返回数组梯度：dv/dx - du/dy
    dv_dx = np.gradient(v, axis=-1) / dx
    du_dy = np.gradient(u, axis=-2) / dy
    return dv_dx - du_dy

# 2. 准备参数
# 实际操作中，dx 和 dy 随纬度变化，这里为演示方便假设固定值（约 0.25度 对应的距离）
dx = 25000.0
dy = 25000.0

# 3. 应用 apply_ufunc
vorticity = xr.apply_ufunc(
    calculate_vorticity,
    ds["u"], ds["v"],
    dx, dy,
    input_core_dims=[["latitude", "longitude"], ["latitude", "longitude"], [], []],
    output_core_dims=[["latitude", "longitude"]],
    vectorize=True,  # 如果函数不支持向量化，开启此项
    dask="parallelized",  # 如果数据是 dask 数组，支持并行
    output_dtypes=[float]
)

# 4. 赋值属性并查看结果
vorticity.attrs = {"units": "s^-1", "long_name": "relative_vorticity"}
print(vorticity)

image

3. 时间滑动窗口计算（如12小时滑动平均）

目标：对4小时间隔气温数据计算12小时滑动平均。

from scipy.ndimage import uniform_filter1d

# 滑动平均函数
def rolling_mean(data, window_size):
    return uniform_filter1d(data, window_size, axis=0, mode="nearest")

# 应用函数
temperature_30d_mean = xr.apply_ufunc(
    rolling_mean,
    temperature,
    input_core_dims=[["time"]],  # 核心维度为时间
    output_core_dims=[["time"]],
    kwargs={"window_size": 3},  # 窗口
    dask="parallelized",         # 并行加速
    output_dtypes=[float],       # 指定输出数据类型
    keep_attrs=True,
)

temperature_30d_mean

image

三、关键参数解析与优化技巧

input_core_dims与output_core_dims
- 核心维度：定义函数中需要处理的非广播维度。例如，计算涡度时指定input_core_dims=[[], ["lat"], ["time"]]表示不同输入变量参与维度广播的规则。
dask参数的并行加速
- 若数据为Dask数组，通过设置dask="parallelized"或dask="allowed"结合dask_gufunc_kwargs，可实现GPU加速或分布式计算。
vectorize=True的慎用
- 对非矢量化函数启用vectorize=True会自动调用np.vectorize，但性能较低；推荐预先将函数向量化。

四、常见问题与解决方案

问题1：维度不匹配错误

ValueError: Dimensions ('lon', 'lat') do not exist in data

解决：检查输入数据是否包含input_core_dims中指定的维度，使用ds.transpose()调整维度顺序。

问题2：内存不足

解决：

启用Dask分块处理：ds = ds.chunk({"time": 100, "lon": 180})
通过dask="parallelized"分布式计算。

问题3：保留属性失败

解决：设置keep_attrs="override"，或手动指定属性：

result.attrs.update({"units": "K", "description": "Global mean temperature"})

五、总结

xarray.apply_ufunc为ERA5类多维度气象数据的批量计算提供了灵活的接口。通过合理定义核心维度和参数设置，可实现复杂气象指标的高效计算，同时保持数据标签的完整性和可复现性。针对海量数据，结合Dask并行化计算工具，能显著提升处理效率。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2025-12-25，如有侵权请联系 cloudcommunity@tencent.com 删除

数组

本文分享自气python风雨微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度