在HDF5文件中添加结构--相当于HDF5的NetCDF“约定”

Question

NetCDF4有向NetCDF添加结构的约定约定。我正在寻找类似的东西，但特别是HDF5。

我的总体目标是以标准方式向我的HDF5文件添加结构。我希望类似于HDF5如何使用图片来定义类型，在组和数据集上使用属性~例如：

CLASS: IMAGE
IMAGE_VERSION: 1.2
IMAGE_SUBCLASS: IMAGE_TRUECOLOR
...

但据我所知，图像规范是独立的。也许我应该重用NetCDF的“约定”？

更新：

我知道NetCDF4是在HDF5之上实现的。在这种情况下，我们有来自湍流模拟和实验的数据，而不是地球数据。此数据通常仅限于<= 4D。我们已经使用HDF5来存储这些数据，但是我们还没有开发的标准。伪标准格式刚刚在组织内部有机地开发了排序。

Answer 1

NetCDF4文件实际上使用HDF5格式(netcdf.pdf)存储，但是它们在属性、维度等方面使用netCDF4约定。文件是自描述的，这是一个很大的好处。没有HDF5的netCDF4允许在定义数据时有更多的自由。您想使用HDF5而不是netCDF4是否有特定的原因？

我想说的是，如果您没有任何特定的约束条件(比如netCDF4文件上存在bug的模型或可视化软件)，那么您最好使用netCDF。netCDF4可供NCO/CDO操作人员使用，ncl (ncl也接受HDF5)、idl、netCDF4 python模块、ferret等。个人认为netCDF4非常方便地存储气候或气象数据。已经为它编写了许多操作符，您不必为自己的数据开发标准--它已经为您完成了。CMOR (req.html)可用于编写符合CF的气候数据。它被用于最近的气候模式比较项目。

另一方面，如果您有另一种类型的数据，并且您正在寻找一些非常特殊的功能，需要更自定义的文件格式，那么HDF5可能是值得的。您介意在评论中更好地说明您的需求吗？

最新情况：

不幸的是，变量和字段名的标准对于HDF5文件的清晰性和组织性要比netCDF差一些，因为这是CMIP或CORDEX等大型气候模型项目的首选格式。这个问题基本上可以归结为使用EOSDIS或CF约定，但找到实现这些HDF5文件标准并具有清晰文档的当前维护的librairies并不是一件简单的事情(如果是的话，您可能不会提出这个问题)。

如果你真的只是想要一个标准，美国宇航局解释了所有不同的可能元数据标准在这里痛苦的细节：http://gcmd.nasa.gov/add/standards/index.html。

关于信息，HDF和HDF5并不是完全相同的格式(HDF已经包含制图数据，并且是地球科学数据的标准)，所以我不知道这种格式对您来说是否太过严格。这里描述了使用这种格式的工具：http://hdfeos.net/software/tool.php，并在这里概述了Examples.pdf。

如果您仍然喜欢使用HDF5，您最好的选择可能是从美国宇航局下载一个HDF5格式的文件来获取类似的数据，并以此作为基础，在您选择的语言中创建您自己的工具。下面列出了一个使用HDF5、HDF4和HDF4格式的综合示例，并在Python、IDL和NCL中使用脚本进行数据处理和可视化：Examples.php#MODIS

本质上，问题在于美国宇航局提供了一些工具，这样你就可以使用它们的数据，但不一定是这样，你就可以在你自己的实验室环境中重新创建类似结构的数据。

以下是关于美国宇航局地球科学数据hdf5的更多规格/信息: MERRA产品Specification.pdf GrADS兼容的HDF5信息http://disc.sci.gsfc.nasa.gov/recipes/?q=recipes/How-to-Read-Data-in-HDF-5-Format-with-GrADS HDF数据处理工具在美国宇航局大气科学数据中心：manipulation.html

希望这能帮点忙。

Answer 2

标准的最佳选择实际上取决于您想要存储的数据类型。CF约定对于被地理参照的测量数据最有用，例如用卫星测量的数据。了解您的数据包含哪些内容将是有帮助的。

假设您有地理参考数据，我认为您有两个选项：

1. 按照您的建议，重用HDF中的CF约定。有更多的人在调查这个问题，谷歌的快速搜索给了我这。
2. HDF-EOS (免责声明，我从未使用过)。它使用某种结构将数据存储在HDF文件中，但似乎需要使用扩展库。我没有找到结构的规范，只有一个API接口。此外，在NASA之外，似乎没有一个充满活力的社区。

因此，我可能会使用选项1:在HDF文件中使用CF约定，并查看第三方工具(如全铺 )是否可以使用它。