s3a上传限制带宽？

Question

我试图上传从IDC到AWS S3使用火花+hadoop。

由于IDC中的服务器带宽有限，并且与我们的生产want服务器共享，所以我想限制(节流)带宽上传。

如何使用hadoop限制上传带宽？

Answer 1

如果您正在使用distcp，您可以为每个工作人员设置最大带宽，设置工作人员的最大带宽，然后峰值带宽就会从这个值中下降。

如果是FWIW，这是我的CloudCP应用程序；在星火中这样做的例子。我想你需要限制每个文件的上传速度，并可能做一些全局节流，这将是一个相当复杂的工作:你需要每一个工作人员做油门，得到每一个上传的时间和带宽，并使用它来调整下一个文件。

第一个起点是org.apache.hadoop.fs.FileUtil.copy()的带宽节流版本，以限制上传速率；管理好它和#的工作人员，您就可以控制一下了。