首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用多个线程的TransferFromLocal到hadoop hdfs

问使用多个线程的TransferFromLocal到hadoop hdfs
EN

Stack Overflow用户
提问于 2012-01-14 03:14:21
回答 1查看 244关注 0票数 0

我正在尝试将大量文件从本地传输到hadoop hdfs。在我的java代码中,我只有一个到hadoop的连接。但我会打电话给

代码语言:javascript
复制
 fileSystem.transferFromLocal 

在50个线程中同步。

我认为这可能不是一个好方法,因为它真的很慢。

有人能对此给我一些建议吗?非常感谢。

EN

回答 1

Stack Overflow用户

发布于 2012-01-14 11:46:21

你需要找出导致传输速度慢的瓶颈,它可能是任何一个。仅仅增加线程的数量并不会按比例增加HDFS写入。如果不深入了解Hadoop集群的详细信息,就很难诊断问题。

下面是一些需要考虑的事情

  1. 检查本地计算机和Hadoop群集之间的网络带宽。
  2. 本地磁盘i/o也可能是瓶颈。
  3. 尝试增加数据节点的数量。请注意,数据直接从客户端流式传输到管道中的第一个数据节点。第一个节点将转发到第二个节点,后者将转发到下一个数据节点。
  4. 检查所有配置参数以微调HDFS。

有关HDFS的更多详细信息,请查看Architecture Guide。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/8855930

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档