当循环遍历许多文件时，如何提高gcs引信的吞吐量？

Question

我正在处理超过20万个netcdf文件，每个文件是17 MB。它们都在谷歌的云存储桶中，我正试图找到一种使用gcs引信来提高吞吐量的方法。

我正在使用虚拟机和gcs引信来访问这些文件。我查看了gsutil，但在Google文档中看到“单个I/O流的运行速度与gsutil差不多。”使用gcs引信，NCL脚本将花费超过8天，这是太长。对如何提高吞吐量有什么建议吗？谢谢。

Answer 1

优化传输性能您必须考虑：

1. 将云存储桶和Compute Engine VM实例定位在同一区域。
2. 通过创建具有更多vCPU核的实例来增加计算引擎VM实例网络带宽
3. 增加持久磁盘吞吐量
4. 使用gsutil -r并使用并行运行任务的-m选项，您甚至可以设置用于通过parallel_thread_count复制文件的线程数。
5. 请查看脚本传输上的文档
6. 在使用gcs引信时，检查是否有为并行传输优化的0.27.0版本。