- 综合排序
- 最热优先
- 最新优先
- 来自专栏话梅糖のAndroid学习
Hadoop集群部署教程-P4
Hadoop集群部署教程-P4 Hadoop集群部署教程（续） 第十三章：Hadoop生态系统组件集成 13.1 Hive数据仓库集成 安装配置步骤： # 下载解压 tar -xzvf apache-hive /share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO \ -write -nrFiles 10 /share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 10000000 /tera/input hadoop jar $HADOOP_HOME 内存 RAID1 SSD系统盘 双万兆网卡绑定 Worker节点： 128GB+内存 12+核心CPU 10+TB JBOD磁盘 15.2 运维规范 变更管理流程： 修改配置前备份原文件 先在测试集群验证 /logs/hadoop-*-datanode-*.log # 常见解决步骤 hdfs dfsadmin -refreshNodes systemctl restart hadoop-datanode
26910编辑于 2025-04-17 - 来自专栏王小雷
Hadoop YARN学习之监控集群监控Nagios（4）
doop YARN学习之监控集群监控Nagios（4） 1. Nagios是一个流行的开源监控工具，可以用来监控Hadoop集群。 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh，并把它放在Nagios的插件目录中。 加载Nagios插件向hadoop-cluster.cfg添加如下信息 define command{ command_name check_resource_manager command_line /usr/lib64/nagios/plugins/check_resource_manager.sh } 使用hadoop-cluster.cfg文件中的新命令来定义一个
1K90发布于 2018-01-02 - 来自专栏最新最全的大数据技术体系
大数据成长之路-- hadoop集群的部署(4)
文章目录 退役旧数据节点 第一步：创建dfs.hosts.exclude配置文件 第四步：查看web浏览界面 退役旧数据节点 目标：掌握HDFS在集群中删除掉无效节点的步骤 第一步：创建dfs.hosts.exclude 配置文件 在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称 node01执行以下命令 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop touch dfs.hosts.exclude vim dfs.hosts.exclude > <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value> node01执行以下命令，停止该节点进程 cd /export/servers/hadoop-2.6.0-cdh5.14.0 sbin/hadoop-daemon.sh stop datanode sbin
61220发布于 2021-04-09 - 来自专栏千里行走
hadoop-4：hadoop-flink实时计算集群生产级优化
/app/3rd/hadoop-3.3.1/etc/hadoop/yarn-site.xml 优化项 (3).NodeManager节点配置优化 1. /app/3rd/hadoop-3.3.1/etc/hadoop/yarn-site.xml 优化项 (1).woker资源节点需要优化的配置 1. 修改意义：集群中可用于运行application master的资源比例上限，这通常用于限制并发运行的应用程序数目，它的默认值为0.1。 遇到的问题陈述： 查看了下集群上目前的任务总数有9个，每个任务分配有一个2G的jobmanager（jobmanager为flink Application master），占18G左右，而集群上的总内存为 Please check if the requested resources are available in the YARN cluster 严重注意：此配置修改并不是该问题的唯一解，需要具体分析当前集群的使用情况
89320发布于 2021-11-18 - 来自专栏Java后端开发博客
搭建Hadoop集群
# 搭建Hadoop集群 规划 配置网络 修改主机名 安装和配置Java 卸载原有的JDK 安装新的JDK 安装Hadoop Hadoop系统配置 配置从节点的网络 克隆三台完整的虚拟机 免密登录 enjoy 提示 搭建集群作为一件事，应该一气呵成，希望你腾出一两个小时的时间来完成搭建，提前祝你搭建成功! 3/4 验证中 : jline-1.0-8.el7.noarch 4/4 删除: ssl-server.xml.example hadoop-metrics2.properties kms-log4j.properties yarn-env.cmd hadoop-metrics.properties slave2 ssh-copy-id slave3 ssh master exit退出 主节点格式化 hdfs namenode -format 中途可能需要你输入Y 主节点开启集群： start-dfs.sh
3.8K51编辑于 2022-12-25 - 来自专栏性能与架构
Hadoop 集群搭建
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 .tar.gz $ tar -xzf hadoop-2.7.3.tar.gz $ mv hadoop-2.7.3 hadoop $ cd hadoop $ mkdir tmp hdfs $ mkdir /etc/hadoop/slaves 删除已有内容，添加： slave1 slave2 修改 /home/hadoop/etc/hadoop/hadoop-env.sh 找到 export JAVA_HOME 4）设置 hadoop 环境变量 在每台服务器上都执行： $ vim ~/.bashrc 添加： export PATH=$PATH:/home/hadoop/bin:/home/hadoop/ 可以正常访问的话，可以说明集群启动成功了，但不一定可以正常运行，还需要下面的实际验证 测试验证 （1）hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop
5.3K91发布于 2018-04-04 - 来自专栏兮动人的博客
Hadoop 集群安装
Hadoop集群启动关闭-手动逐个进程启停 3. Hadoop集群启动关闭-shell脚本一键启停 4. Hadoop集群启动日志 5. Hadoop Web UI页面-HDFS集群 6. Hadoop Web UI页面-YARN集群 1. Step8:NameNode format（格式化操作） 首次启动HDFS时，必须对其进行格式化操作。 Hadoop集群启动关闭-手动逐个进程启停 每台机器上每次手动启动关闭一个角色进程 HDFS集群 hdfs --daemon start namenode|datanode|secondarynamenode HDFS集群 start-dfs.sh stop-dfs.sh YARN集群 start-yarn.sh stop-yarn.sh Hadoop集群 start-all.sh stop-all.sh 4. Hadoop集群启动日志 启动完毕之后可以使用jps命令查看进程是否启动成功 ? ? ?
1K20发布于 2021-06-11 - 来自专栏从零开始的linux
搭建Hadoop集群
-2.7.1.tar.gz [root@node01 ~]# mv hadoop-2.7.1 /usr/local/hadoop/ [root@node01 ~]# cd /usr/local/hadoop / [root@node01 ~]$ mkdir -pv dfs/name dfs/data tmp [root@node01 hadoop]# cd etc/hadoop/ [root@node01 hadoop]$ vim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_65/ [root@node01 hadoop]$ vim yarn-env.sh 添加节点 [root@node01 hadoop]$ vim slaves node02 node03 [root@node01 hadoop]$ vim core-site.xml <configuration /hdfs namenode -format 启动服务 [root@node01 hadoop]# sbin/start-all.sh 查看端口 [root@node01 hadoop]# netstat
2.3K60发布于 2018-04-25 - 来自专栏学习内容
Hadoop集群搭建
遍历所有目录，挨个发送 for file in $@ do #4. ssh-copy-id hadoop102 ssh-copy-id hadoop103 测试： ssh hadoop001 还需要配置(集群各个节点之间免密沟通)： hadoop101上采用root 、hadoop003) source /etc/profile 同步JDK、Hadoop xsync /opt/module/ 4、集群节点资源配置 NameNode和SecondaryNameNode hadoop102 hadoop103 同步配置 xsync /opt/module/hadoop-3.1.3/etc 5.2 启动集群 如果集群是第一次启动，需要在hadoop001节点格式化NameNode （注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。
1.3K20编辑于 2023-08-10 - 来自专栏MyBatis入门案例-注解
安装Hadoop集群
文章目录 安装集群前的准备工作 关闭防火墙，开机不自启 关闭selinux ssh免密码登录 修改主机名 设置主机名和IP的对应关系 安装jdk 安装Hadoop集群 上传压缩包并解压 查看Hadoop 支持的压缩方式以及本地库 修改配置文件 创建文件存放目录 安装包的分发 配置Hadoop的环境变量 集群启动 查看集群是否启动 关闭集群 安装集群前的准备工作 关闭防火墙，开机不自启 server iptables 查看之前的这篇安装jdk： https://mp.csdn.net/mdeditor/102639879# 保证至少有三个虚拟机，每个虚拟机完成上面操作 安装Hadoop集群 上传压缩包并解压 ? -- 集群动态上下线 <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0h4bTY0NDA
2.5K30发布于 2021-02-05 - 来自专栏兮动人的博客
Hadoop 集群搭建
Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 这里使用Hadoop3.1.4安装包，可以去官网下载 4. 集群时间同步（3台机器） yum -y install ntpdate ntpdate ntp4.aliyun.com ? JDK 1.8安装（3台机器） ? 上传、解压安装包（node1） tar -zxvf hadoop-3.2.2 -C /export/server/ -C ：表示指定安装路径 Step4:Hadoop安装包目录结构 ? 总结 服务器基础环境 Hadoop源码编译 Hadoop配置文件修改 shell文件、4个xml文件、workers文件 配置文件集群同步
1.8K20发布于 2021-06-11 - 来自专栏技术开发——你我他
hadoop集群搭建
asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842 Compiled by rohithsharmaks on 2019-09-10T15 使用命令 ll /root 2.2.4.1接下来启动hdfs集群 . /sbin/start-dfs.sh #其他集群也需要执行这个命令 显示如下： [root@master hadoop-3.2.1]# . .160:8088 后面 可能启动后无法访问xx.xx.xx.160:8088 系统缓存原因（这个关闭主集群节点就行了） 我们需要先关闭然后重新启动集群节点 . /sbin/start-dfs.sh Hadoop集群密码设置见 https://blog.csdn.net/teeleejoin/article/details/93490570
3.7K20发布于 2020-08-24 - 来自专栏软件工程师Michael
hadoop集群搭建
前置工作 1.创建虚拟机 2.配置虚拟机网络 3.WIN10 IP地址配置 4.CentOS静态IP设置 5.克隆三台虚拟机 6.jdk安装 7.hadoop安装 8.SSH免密登录配置（shell脚本单独提供 ） 集群搭建 1.集群部署规划 192.168.5.102 hadoop102 192.168.5.103 hadoop103 192.168.5.104 hadoop104 集群规划.png 可以进入hadoop103、hadoop104上检查确认一下。 截至到这一步，hadoop集群的配置工作就完成了。 hadoop103.png hadoop104.png 跟之前的集群部署规划一致！ 3.集群基本测试 （1）上传文件到集群 上传小文件：hadoop fs -mkdir /input 执行完后，HDFS网页种多了个input文件 (2)上传到文件 hadoop fs -put /opt
1.8K10编辑于 2022-05-28 - 来自专栏DevOps
Hadoop 集群部署
完全分布式安装才是生产环境采用的模式，Hadoop运行在服务器集群上，生产环境一般都会做HA，以实现高可用。 一. 集群运行 单服务启动和集群启动，俩者二选一 1. 集群启动 1. 高可用需要配置zk 3. zk集群搭建 4. core-site.xml 补充配置 zk信息 七. 本地模式部署 1. 下载解压 2. ls命令的帮助文档) 4. jar包执行： hadoop jar . /hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 3 4
65010编辑于 2024-03-29 - 来自专栏云计算linux
Hadoop集群安装
集群规划 node01 node02 node03 角色 主节点 从节点 从节点 NameNode √ DataNode √ √ √ ResourceManager √ NodeManager 主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。 server/hadoop export PATH= HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile Hadoop集群启动 启动方式 要启动Hadoop 集群，需要启动HDFS和YARN两个集群。 一键脚本启动 如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有Hadoop两个集群的相关进程，在主节点所设定的机器上执行。
88910编辑于 2024-12-07 - 来自专栏开源部署
Hadoop学习教程(四) —- Hadoop集群
下面就跟着笔者开始配置Hadoop集群吧。 在首次启动之前，先格式化NameNode，之后启动就不需要格式化了，命令如下： hadoop namenode -format 接下来，启动Hadoop集群： start-all.sh 集群测试： 接下来我们运行一下hadoop-example.jar中自带的wordCount程序，用户统计单词出现次数，步骤如下： 1.新建一个test.txt,内容可自行填写: 2.在HDFS ： hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/ 4.查看文件是否已经上传至HDFS中，命令如下: hadoop 至此Hadoop集群就安装结束了，而且也测试过了，就先写到这里了。 全部系列见：http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572
1.7K20编辑于 2022-07-08 - 来自专栏张泽旭的专栏
hadoop集群安装
/configure [root@hadoop01 protobuf-2.5.0]# make install 编译hadoop [root@hadoop01 hadoop-2.7.3-src]# mvn 改变java环境变量，为路径； 创建目录 [root@hadoop01 hadoop-2.7.1]# mkdir data [root@hadoop01 hadoop-2.7.1]# cd data -format 启动hadoop [root@hadoop01 hadoop-2.7.1]# sbin/start-dfs.sh 若启动报错改变如下配置 etc/hadoop/core-site.xml -2.7.1]# bin/hadoop fs -put /home/data/words /words 上传成功后输入命令开始统计 [root@hadoop01 hadoop-2.7.1]# bin/hadoop 测试数据 [root@hadoop01 hadoop-2.7.1]# bin/hdfs dfs -put /etc/profile /profile [root@hadoop01 hadoop-2.7.1
1.4K20发布于 2018-12-10 - 来自专栏飞鸟的专栏
hadoop集群安装
Hadoop是一个分布式系统基础架构，可以高效地存储和处理大规模的数据集。本文将介绍如何在Linux上搭建Hadoop集群。 下载Hadoop：从官网下载Hadoop的稳定版本。 二、安装配置Hadoop 解压Hadoop：将下载的Hadoop文件解压到指定目录下。 配置Hadoop环境变量：编辑/etc/profile文件，将Hadoop的bin目录添加到PATH环境变量中。 $ start-all.sh 测试Hadoop：使用以下命令测试Hadoop是否正常运行。 $ hadoop fs -mkdir /test 三、配置Hadoop集群 配置SSH无密码登录：Hadoop需要使用SSH来在不同节点之间传输数据，因此需要配置SSH无密码登录。
1.4K11编辑于 2023-03-28 - 来自专栏喵了个咪的博客空间
Hadoop集群模式
既然是大数据无论存储和处理都需要相当大的磁盘或者是处理的资源消耗,那么单机肯定是满足不了我们的需求的,所以本节我们就来了解Hadoop的集群模式搭建,在集群情况下一同配合处理任务分发,存储分担等相关的功能进行实践 :$HADOOP_HOME/sbin:$PATH # 使环境变量生效 > source /etc/profile 配置Hadoop集群 集群/分布式模式需要修改 /usr/local/hadoop-2.7.3 " 查看集群情况(关于磁盘占用,服务器状态等) 当整个集群运行起来之后可以通过hadoop-1:50070进行集群状态的查看和hdfs dfsadmin -report效果一样 > hdfs dfsadmin 集群模式下运行测试程序 执行集群任务执行过程与伪分布式模式一样，首先创建 HDFS 上的用户目录： > hdfs dfs -mkdir -p /user/hadoop 将 /usr/local/hadoop localhost #127.0.0.1 izbp1cvz54m4x8i9l5clyiz #127.0.0.1 izbp1cvz54m4x8i9l5clyiz4.localdomain4 #::1
1.6K60发布于 2018-03-02 - 来自专栏数据人生
Hadoop集群优化
Hadoop namenode vs RM 小集群：namenode和RM可以部署在一个节点上 大集群：因为namenode和RM的内存需求量较大，应将他们分开部署。 HDFS ECC memory ECC memory is strongly recommended, as several Hadoop users have reported seeing many checksum errors when using non-ECC memory on Hadoop clusters. dfs.name.dir 配置成多个路径，FSImage和EditLog会同时写入多个路径 将其设置成0.80，以增加集群的吞吐量 mapreduce.job.user.classpath.first 当你实现的java类和Hadoop自带的类相同的时候，怎么处理呢？ 如果不配置该参数的话，在执行mapreduce作业时，系统会优先选择Hadoop框架中已经存在的java类而不是用户指定包中自己编写的java类
96620编辑于 2022-09-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号