我对Hadoop分布式文件系统是如何设置的,以及我的特定设置是如何影响它的,我有点困惑。我使用本指南在Virtual Box上使用两个虚拟机设置了http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/,并运行了示例(只是一个简单的字数统计和txt文件输入)。到目前为止,我知道datanode管理和检索其节点上的文件,而tasktracker分析数据。
1)当您使用命令-copyFromLocal时,是否将文件/输入复制到HDFS?Hadoop知道如何在从/主之间划分信息吗?它是如何做到这一点的?
2)在上面链接的指南中列出的配置中,从技术上讲是否有两个从设备(主机既是主机又是从设备)?这是常见的,还是主机通常只给jobtracker/namenode任务?
发布于 2012-07-04 07:16:01
1)
在org.apache.hadoop.hdfs.DFSClient.DFSOutputStream的Javadoc中有更多信息
2)一些生产系统将被配置为使主节点成为其自己的专用节点(允许最大可能的内存分配,并避免CPU争用),但是如果您有较小的集群,则包含名称节点和数据节点的节点是可以接受的
发布于 2012-07-04 06:59:53
这里有很多问题要问。
问题2)
Map-Reduce.
问题1第2部分)
HDFS
问题1第1部分)
Hadoop文件操作的模式类似于典型的Unix文件操作- ls、put等Hadoop fs /data/somefile
-->将本地文件复制到HDFS选项您还可以从标准输入读取和写入HDFS选项/data/somefile
https://stackoverflow.com/questions/11319714
复制相似问题