我正在尝试将大量文件从本地传输到hadoop hdfs。在我的java代码中,我只有一个到hadoop的连接。但我会打电话给
fileSystem.transferFromLocal 在50个线程中同步。
我认为这可能不是一个好方法,因为它真的很慢。
有人能对此给我一些建议吗?非常感谢。
发布于 2012-01-14 11:46:21
你需要找出导致传输速度慢的瓶颈,它可能是任何一个。仅仅增加线程的数量并不会按比例增加HDFS写入。如果不深入了解Hadoop集群的详细信息,就很难诊断问题。
下面是一些需要考虑的事情
有关HDFS的更多详细信息,请查看Architecture Guide。
https://stackoverflow.com/questions/8855930
复制相似问题