如何将数据从NetCDF文件导入Server？

Question

我被要求研究将数据从NetCDF文件导入到server中的可行性。

该文件可以超过300-400 be，并提供4次一天。然而，我只对数据的一小部分感兴趣。(可能只有3-5%)。我们估计每次运行时导入4000行并累积数据。

从我所读到的内容来看，NetCDF文件是一个XML文件。其中也可能包括二进制数据。

导入数据的最佳选择是什么？我是否应该将整个文件导入工作表，然后选择我想要的？或者是否可以使用SQL特性解析/查询文件，并且只导入我感兴趣的数据。

我希望有任何的建议，谁有第一手的经验，NetCDF和他们使用的工具。

Answer 1

我的解决方案是创建一个SSIS包，它有一个使用C#的微软科学数据集。(SDS)脚本任务。

然后，C#脚本循环遍历数据并将其传递回SSIS，然后将其插入到server中。

一旦我有了运行在其他SE站点上寻求帮助的基本知识，我的示例代码就在那里了。

我的数据文件包含了所有新西兰的气象数据，但我只对一个很小的特定领域感兴趣。由于数据是具有可靠坐标的地理空间，我的脚本可以对返回的内容进行更多的选择，从而节省时间和许多不必要的I/O。

我非常感谢人们给予我的帮助。我也希望能以同样的方式帮助别人。如果你对DM我有疑问，或者在这里添加一个评论，我会尽我所能提供帮助。