首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Hadoop DFS的CopyFromLocal命令是如何工作的?

问Hadoop DFS的CopyFromLocal命令是如何工作的?
EN

Stack Overflow用户
提问于 2012-07-04 05:51:16
回答 2查看 2.9K关注 0票数 2

我对Hadoop分布式文件系统是如何设置的,以及我的特定设置是如何影响它的,我有点困惑。我使用本指南在Virtual Box上使用两个虚拟机设置了http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/,并运行了示例(只是一个简单的字数统计和txt文件输入)。到目前为止,我知道datanode管理和检索其节点上的文件,而tasktracker分析数据。

1)当您使用命令-copyFromLocal时,是否将文件/输入复制到HDFS?Hadoop知道如何在从/主之间划分信息吗?它是如何做到这一点的?

2)在上面链接的指南中列出的配置中,从技术上讲是否有两个从设备(主机既是主机又是从设备)?这是常见的,还是主机通常只给jobtracker/namenode任务?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-07-04 07:16:01

1)

  • 客户端连接到名称节点以在HDFS中注册新文件。
  • 名称节点创建有关文件的一些元数据(使用默认数据块大小或文件的配置值)
  • 对于要写入的每个数据块,客户端查询名称节点以获取块ID和要写入数据的目标数据节点列表。然后将数据写入每个数据节点。

在org.apache.hadoop.hdfs.DFSClient.DFSOutputStream的Javadoc中有更多信息

2)一些生产系统将被配置为使主节点成为其自己的专用节点(允许最大可能的内存分配,并避免CPU争用),但是如果您有较小的集群,则包含名称节点和数据节点的节点是可以接受的

票数 0
EN

Stack Overflow用户

发布于 2012-07-04 06:59:53

这里有很多问题要问。

问题2)

Map-Reduce.

  • HDFS (Slave)

  • Map-reduce需要作业跟踪器(主)和任务跟踪器(从)
  1. 只配置了一个命名节点和作业跟踪器,但是您可以在这两台机器上都有数据节点和任务跟踪器服务。它并不是充当主机和从机的机器。这只是服务。您还可以在包含主服务的计算机上安装从服务。它对于简单的开发设置是很好的。在大规模部署中,您将主服务专用于单独的计算机。

问题1第2部分)

HDFS

  • 任务是以复制的方式在多个数据节点上创建文件区块和存储。你不用担心这个问题。

问题1第1部分)

Hadoop文件操作的模式类似于典型的Unix文件操作- ls、put等Hadoop fs /data/somefile

  • With localefile /

  • /

-->将本地文件复制到HDFS选项您还可以从标准输入读取和写入HDFS选项/data/somefile

  • With类似于put选项,不同之处在于其行为仅限于从本地文件系统复制到HDFS

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/11319714

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档