我目前正在VM (来自cloudera的CDH4.1.3图像)中“玩”Hadoop。我想知道的是以下几点(在这方面,这些文档并没有真正帮助我)。
在本教程之后,我将首先格式化一个NameNode -- OK,如果您使用cloudera图像,这已经完成了。同样,HDFS文件结构已经存在。在hdfs-site.xml中,datanode数据dir设置为:
/var/lib/hadoop-hdfs/cache/${user.name}/dfs/data这显然是块应该在真正的分布式环境中被复制到的地方。在cloudera教程中,有人被告知为每个用户(/users/<username>)创建hdfs“主目录”,但我不理解它们的用途。它们仅仅用于单节点设置中的本地测试运行吗?说我真的有千兆字节的数据类型不适合我的本地存储。这些数据必须立即分发,从而使本地“主目录”完全无用。
有人能告诉我,仅仅为了给我一个直觉,一个真正的Hadoop工作流程和海量数据是什么样子的呢?我会有哪种不同的节点开始运行呢?
有主(JobTracker)和它的从文件(我会把它放在哪里),允许主程序解析所有的DataNodes。然后是我的NameNode,它跟踪块ID的存储位置。DataNodes也承担着TaskTracker的责任。在配置文件中,包含了NameNode的URI --到目前为止我是正确的吗?然后,配置中仍然存在${user.name}变量,如果我理解正确的话,它显然与WebHDFS有关,如果有人能向我解释的话,这也会很棒。在运行的示例中,方向往往被硬编码到
/var/lib/hadoop-hdfs/cache/1/dfs/data, /var/lib/hadoop-hdfs/cache/2/dfs/data and so on.因此,回到示例:比方说,我有磁带,希望将数据导入HDFS (而且我需要将数据流到文件系统中,因为我缺少本地存储,无法将数据本地保存在一台机器上)。从哪里开始迁移过程呢?在任意DataNode上?在分配这些块的NameNode上?毕竟,我不能假设数据只是“在那里”,因为名称节点必须知道块ID。
如果有人能在短期内详细阐述这些主题,那就太好了:
发布于 2013-02-17 08:30:01
主目录的真正用途是什么?
你在这里有点困惑。就像/home存在于Linux上的本地文件系统(用户有自己的存储空间)一样,/users是HDFS (分布式FS)上的主挂载。本教程需要您在管理上为您希望以后运行数据加载和查询的用户创建一个主目录,以便它们能够获得对HDFS的足够权限和存储访问权限。本教程并不要求您在本地创建这些目录。
我是否先将数据迁移到主目录,然后再迁移到真正的分布式系统?
我相信我的上述答案应该会为你澄清这一点。您应该在HDFS上创建主目录,然后在该目录中加载所有数据。
WebHDFS是如何工作的,它对user.name变量起什么作用?
WebHDFS是访问HDFS的各种方法之一。与HDFS对话的常规客户端需要使用Java。WebHDFS (也是HttpFs)技术被添加到HDFS中,通过为HDFS提供REST前端,让其他语言拥有自己的API集。WebHDFS允许用户身份验证,以帮助持久化权限和安全模型.
我将如何动态地将“大数据”迁移到我的HDFS中--或者即使不是大数据,我如何以适当的方式填充我的文件系统(也就是说,这些块被随机分布在集群中?
HDFS解决的大部分问题是管理数据分布。当将文件或数据流加载到HDFS (通过CLI工具、Apache中的接收器等)时,这些块由HDFS本身在一个理想的发行版中传播,分块也由它管理。您所需要做的就是使用用户端的常规FileSystem风格的API,并忘记下面的内容--所有这些都是为您管理的。
https://stackoverflow.com/questions/14892806
复制相似问题