更改netCDF文件中的块块形状

Question

我有几个~100 GB的NetCDF文件。在每个NetCDF文件中，都有一个变量a，我必须从其中提取几个数据序列--维度是(1440,721,6,8760)。我需要从每个(1,1,1,8760)文件中提取~20k片维NetCDF。因为提取一个片段(几分钟)非常慢，所以我读到了如何优化这个过程。最有可能的是，这些块的设置并不是最优的。因此，我的目标是将块大小更改为(1,1,1,8760)，以获得更有效的I/O。

然而，我很难理解如何才能最好地重新块这个NetCDF变量。首先，通过运行ncdump -k file.nc，我发现类型是64-bit offset。根据我的研究，我认为这是不支持定义块大小的NetCDF3。因此，我使用NetCDF4将其复制为nccopy -k 3 source.nc dest.nc格式。ncdump -k file.nc现在返回netCDF-4。不过，现在我被困住了。我不知道该怎么做。

如果在python、matlab或使用nccopy中有合适的解决方案，请共享它。我现在要做的是：

nccopy -k 3 -w -c latitude/1,longitude/1,level/1,time/8760 source.nc dest.nc

这是理论上正确的做法吗？不幸的是，在24小时后，它仍然没有在一个有更多内存(250 80)和许多CPU (80)的强大服务器上完成。

Answer 1

你的命令似乎是正确的。重新分块需要时间。

ncks -4 --cnk_dmn latitude,1 --cnk_dmn longitude,1 --cnk_dmn level,1 --cnk_dmn time,8760 in.nc out.nc

看看这是否更快。