安装和配置多节点Hadoop集群

Question

我是一个新的大数据系统，已经完成了几个Cour血清认证。我计划使用4台商品级个人电脑拥有自己的Hadoop集群。目前所有操作系统都运行Windows，但我可以在它们上安装Linux。我在互联网上搜索了很多安装过程，但都没有发现(发现很多人在AWS上旋转)。此时，我并不局限于任何平台，而是希望所有的技术都是免费的\开源的。使用4台PC机，我可以拥有1个主节点和其他3个数据节点。希望了解如何旋转这个裸金属Hadoop集群的详细步骤(至少是广泛的轮廓)。

Answer 1

因此，您希望在4节点集群上安装hadoop安装程序！

要求:1主3从站(在多节点集群上安装hadoop安装程序)

第一步:摆脱窗户。目前，Hadoop可用于Linux机器。您可以拥有ubuntu14.04或更高版本(或CentOS、Redhat等)

第2步:安装和安装Java $ sudo apt-get Install python-properties$ sudo add-apt存储库ppa:ferramroberto/java $ sudo apt-获取更新$ sudo apt-获取安装sun-java6-jdk

# Select Sun's Java as the default on your machine.
# See 'sudo update-alternatives --config java' for more information.    
#
$ sudo update-java-alternatives -s java-6-sun

步骤3:在.bashrc文件中设置路径(使用文本编辑器(vi/nano)打开该文件并追加以下文本)

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

步骤4:添加专用用户(虽然这不是必需的，但建议这样做)

# useradd hadoop 
# passwd hadoop

步骤5:编辑所有节点上的/etc/文件夹中的主机文件，指定每个系统的IP地址，然后是它们的主机名。(使用vi /etc/hosts打开该文件，并附加以下文本-

<ip address of master node> hadoop-master 
<ip address of slave node 1> hadoop-slave-1 
<ip address of slave node 2> hadoop-slave-2
<ip address of slave node 3> hadoop-slave-3

步骤6:在每个节点中设置ssh，这样他们就可以在不提示密码的情况下相互通信。

$ su hadoop
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp3@hadoop-slave-3
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

有关SSH的更多信息，请访问：[https://www.ssh.com/ssh/][1]

步骤7:在主服务器中下载并安装Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-
  1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

安装工作在这里完成！

下一步是:配置Hadoop。

步骤1:打开core-site.xml并编辑它，如下所示：

<configuration>
<property> 
  <name>fs.default.name</name> 
  <value>hdfs://hadoop-master:9000/</value> 
</property> 
<property> 
  <name>dfs.permissions</name> 
  <value>false</value> 
</property> 
</configuration>

步骤2:打开hdfs-site.xml并按如下方式编辑它：

<configuration>
<property> 
  <name>dfs.data.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name/data</value> 
  <final>true</final> 
</property> 

<property> 
  <name>dfs.name.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name</value> 
  <final>true</final> 
</property> 
 <property> 
  <name>dfs.name.dir</name> 
  <value>/opt/hadoop/hadoop/dfs/name</value> 
  <final>true</final> 
</property> 

<property> 
  <name>dfs.replication</name> 
  <value>3</value> 
</property> 
</configuration>

步骤3:打开mapred-site.xml并编辑

<configuration>
<property> 
  <name>mapred.job.tracker</name> 
  <value>hadoop-master:9001</value> 
</property> 
</configuration>

步骤4:在hadoop-env.sh中添加下面的文本

export JAVA_HOME=/opt/jdk1.7.0_17 export 
HADOOP_OPTS=Djava.net.preferIPv4Stack=true export 
HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

第5步:配置主--

$ vi etc/hadoop/masters 
hadoop-master

第5步:将它安装在从节点上--

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop
$ scp -r hadoop hadoop-slave-3:/opt/hadoop

第6步:配置奴隶--

$ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2
hadoop-slave-3

步骤7:格式化节点(只有一次，否则所有数据将永久丢失)

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format

你们都准备好了！！

您可以按以下方式启动服务--

$ cd $HADOOP_HOME/sbin
$ start-all.sh