我们从AWS MapReduce转移到我们自己机架上的Hadoop集群。最初,我们将有7台服务器专门用于Hadoop/HDFS。
我们在HDFS上存储的数据将是关键任务,我不希望我们有备份选项(至少在我们使用的第一天就没有了),所以我想尽我所能保证连续性。
我也想充分利用我们的计算能力,因为我们的工作可以很容易地使用两倍的硬件。
发布于 2013-10-19 03:18:26
我们最终所做的是:
使用LXC (这里的关键组件是LXC ),我们在两个服务器上为诸如作业管理器、namenode和其他各种管理组件创建了单独的容器,因为namenode和作业管理器是我们在这两个服务器(每个组件在自己单独的LXC容器中)之间划分的最密集的资源。我们在这两台服务器之间分离的其余组件。
然后,我们向这两个“管理”服务器中的每一个部署了一个“精简”datanode和任务跟踪器。我们使用LXC的控制组,以牺牲数据/任务节点为代价,为管理组件赋予CPU和磁盘优先级。我们使用Cloudera的简化配置,轻松地将减少的任务槽数部署到这两个框上的数据/任务节点。
通过这种方式,我们充分利用了硬件,其余的盒子都是专用的“正常”数据/任务节点。
当然,我们有一个备份名称节点运行在与作业跟踪器相同的物理主机上,而在第二个物理框上有主namenode,这给了我们备份。我们还在3台工作机器上的LXC容器中安装了一个使用空间NTFS客户端,并让namenode将配置的副本写入其中作为进一步的备份。
我们确实将namenode松散到一个硬件故障(磁盘)中,并且成功地从次要设备中恢复了它。
https://stackoverflow.com/questions/15376459
复制相似问题