搜索使用dask诊断文件系统性能的代码片段

Question

我想诊断一下使用dask进行多次访问时的文件系统性能。有人会有这样做的代码片段吗？

上下文:在HPC平台上工作时，我的sysadmin要求我迁移到一个新的文件系统，我怀疑它的性能相当差。我的工作流程涉及分布式dask、netcdf和zarr文件处理。

Answer 1

我会使用标准的分析技术，寻找像file.read或file.open这样的文件系统操作。dask分布式分析器可能会在这方面提供一些帮助。