从Hadoop到传输数据时如何加快distcp

Question

google为使用Hadoop提供了连接器。(https://cloud.google.com/hadoop/google-cloud-storage-connector)

使用连接器，我从hdfs接收数据到google云存储。

(前)

hadoop discp hdfs://${path} gs://${path}

但是数据太大(16 too )，接收速度只有2mb/s。

因此，我尝试更改设置distcp ( map属性、带带属性.)。

但是速度是一样的。

HDFS到传输数据时如何加快分发速度

Answer 1

正式文件指出，将数据从现场集群传输到GCP的最佳选择之一是在互联网上使用VPN隧道，甚至使用多个VPN隧道来增加带宽。

提出的其他选择包括使用谷歌的边缘存在点(持久性有机污染物)和您的网络之间的直接窥视，或者在云互连服务提供商的帮助下建立与谷歌网络的直接连接。