首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >7台服务器的Hadoop体系结构.平衡连续性和性能

问7台服务器的Hadoop体系结构.平衡连续性和性能
EN

Stack Overflow用户
提问于 2013-03-13 03:20:06
回答 1查看 246关注 0票数 0

我们从AWS MapReduce转移到我们自己机架上的Hadoop集群。最初,我们将有7台服务器专门用于Hadoop/HDFS。

我们在HDFS上存储的数据将是关键任务,我不希望我们有备份选项(至少在我们使用的第一天就没有了),所以我想尽我所能保证连续性。

我也想充分利用我们的计算能力,因为我们的工作可以很容易地使用两倍的硬件。

  • 在这个7服务器集群中,我应该为每个框指定什么用途?特别是哪些进程应该重叠(例如,备份namenode是否应该共享一个框作为任务节点和类似的?)
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-10-19 03:18:26

我们最终所做的是:

使用LXC (这里的关键组件是LXC ),我们在两个服务器上为诸如作业管理器、namenode和其他各种管理组件创建了单独的容器,因为namenode和作业管理器是我们在这两个服务器(每个组件在自己单独的LXC容器中)之间划分的最密集的资源。我们在这两台服务器之间分离的其余组件。

然后,我们向这两个“管理”服务器中的每一个部署了一个“精简”datanode和任务跟踪器。我们使用LXC的控制组,以牺牲数据/任务节点为代价,为管理组件赋予CPU和磁盘优先级。我们使用Cloudera的简化配置,轻松地将减少的任务槽数部署到这两个框上的数据/任务节点。

通过这种方式,我们充分利用了硬件,其余的盒子都是专用的“正常”数据/任务节点。

当然,我们有一个备份名称节点运行在与作业跟踪器相同的物理主机上,而在第二个物理框上有主namenode,这给了我们备份。我们还在3台工作机器上的LXC容器中安装了一个使用空间NTFS客户端,并让namenode将配置的副本写入其中作为进一步的备份。

我们确实将namenode松散到一个硬件故障(磁盘)中,并且成功地从次要设备中恢复了它。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/15376459

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档