- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据人生
Hadoop2伪分布模式安装
$cd .ssh $cp id_rsa.pub authorized_keys $ssh localhost #此时不需要输入密码，证明配置成功 安装与配置 安装 我的安装路径为/usr/local/hadoop -2/hadoop2,数据的存放路径为/usr/local/hadoop-2 下面的过程是将hadoop安装包存放在/usr/local/hadoop-2/hadoop2 $cd /usr/local $sudo mkdir hadoop-2 $sudo chown yang:yang hadoop-2/ #将hadoop-2的所属用户和用户组均改成yang，你在配置的时候，将yang可以改成你的用户名即可 $cd hadoop-2 $cp ~/下载/hadoop-2.4.0.tar.gz ./ $tar -zxvf hadoop-2.4.0.tar.gz $mv hadoop-2.4.0/ hadoop2 #计算pi $hadoop jar /usr/local/hadoop-2/hadoop2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0
30310编辑于 2022-09-29 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作
property> 编辑dfshosts.exclude 增加需要下线的节点名称 > vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude hadoop -2 , hadoop-2中的块将会被迁移到 hadoop-1中,前已完成之后Decommissioning datanodes将会消失然后就可以关闭hadoop-2中的服务了,如果需要在加入到集群中只需要去除 -2节点,下线之后在hadoop-2 > su hadoop > hadoop-daemon.sh stop datanode 修改hadoop-2配置文件vim hdfs-site.xml > vim Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Thu Jul 20 11:30:42 CST 2017 hadoop -2的容量就增加了然后重新让节点上线 vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude # 清除 hadoop-2 # 更新节点 > hdfs
2.5K40发布于 2018-03-02 - 来自专栏KaliArch
hadoop完全分布式部署
、安装部署 2.1 主机规划 主机名称 IP地址 安装节点应用 hadoop-1 172.20.2.203 namenode/datanode/nodemanager hadoop java.sh b.修改主机名添加hosts hostname hadoop-1 cat >>/etc/hosts<<EOF 172.20.2.203 hadoop-1 172.20.2.204 hadoop > <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-2:50090</ property> </configuration> EOF slaves(定义数据节点) cat >/usr/local/hadoop/etc/hadoop/slaves<<EOF hadoop-1 hadoop -2 hadoop-3 EOF 同样的步骤操作hadoop-2/3，建议将hadoop-1的文件直接分发至hadoop-2/3 2.3.2 格式化namenode 在NameNode机器上（hadoop
1K30发布于 2018-05-23 - 来自专栏千里行走
hadoop-2：深入探索hadoop3.3.1集群模式下的各个组件
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
2.1K41发布于 2021-08-12 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hadoop集群模式
8u101-linux-x64.tar.gz hadoop-2.7.3.tar.gz 服务器环境 服务器系统使用centos7.X 64位版本 # hadoop-1 192.168.1.101 # hadoop -2 192.168.1.103 hadoop-3 重启服务器使其修改生效,重启完成后会发现主机名已经改回来了,然后使用ping命令检查是否可以互相连通 > ping hadoop-1 > ping hadoop /authorized_keys # 修改文件权限 > ssh localhost # 此时使用ssh首次需要yes以下不用密码即可登录 让hadoop-1可以免密码登录到hadoop- linux-x64.tar.gz hadoop@hadoop-2:~ > scp /app/install/jdk-8u101-linux-x64.tar.gz hadoop@hadoop-3:~ 在hadoop > vim /usr/local/hadoop-2.7.3/etc/hadoop/slaves hadoop-2 hadoop-3 2, 文件 core-site.xml 改为下面的配置： > vim
1.6K60发布于 2018-03-02 - 来自专栏KaliArch
Hadoop2.6+Zookper3.4+Hbase1.0部署安装
PATH=\$PATH:/usr/local/zookeeper/bin EOF source /etc/profile.d/zookeeper.sh 1.4 同样方式配置其他服务器 可以将文件分发至hadoop <property> <name>hbase.zookeeper.quorum</name> <value>hadoop-1,hadoop </property> </configuration> EOF 修改regionservers cat>/usr/local/hbase/conf/regionservers<<EOF hadoop export PATH=\$PATH:/usr/local/hbase/bin EOF source /etc/profile.d/hbase.sh 2.3 同样方式配置其他服务器并启动服务 可以将文件分发至hadoop
50730发布于 2018-05-23 - 来自专栏我是攻城师
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
hbase和hive使用最新的可能会编译失败，这一点需要注意，经测试hbase0.94.2和hive0.13.1可正常编译通过， 3，修改完毕后，执行编译 bin/mkdistro.sh -P hadoop -2 -DskipTests 或 mvn clean package assembly:single -P hadoop-2 -DskipTests 4，执行成功后，拷贝oozie-4.2.0/distro
1.1K60发布于 2018-05-14 - 来自专栏大数据与实时计算
flume 1.9 版本更新
component ** Bug FLUME-1282 - Maven 2构建flume 1.x失败的情况 FLUME-2232 - Flume build时增加了findbugs FLUME-2436 - 将hadoop -2设为默认构建文件 FLUME-2464 - 移除hadoop-2文件 FLUME-2786 - 停止flume-ng之前修改conf文件时，它将进入死锁状态 FLUME-2894 - Flume组件应按正确顺序停止
2.2K60发布于 2019-04-29 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hbase搭建和基本使用
Hadoop集群所以我们在之前配置好的Hadoop集群下来配置整体的Hbase集群 服务器清单 $ hadoop-1 192.168.1.101 NameNode DataNode $ hadoop zookeeper-3.4.10/data clientPort=2181 initLimit=10 syncLimit=5 server.1=hadoop-1:2888:3888 server.2=hadoop 多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop-1:2181,hadoop 2181</value> </property> </configuration> 增加子节点 > vim /usr/local/hbase-1.3.1/conf/regionservers hadoop
2K90发布于 2018-03-02 - 来自专栏大数据学习笔记
Hadoop基础教程-第13章 源码编译（13.4 Hive2.1.1源码编译）
------------------------------------------------------------------ [WARNING] The requested profile "hadoop
1.2K90发布于 2018-01-02 - 来自专栏KaliArch
大数据平台CDH搭建
IP地址 主机名 系统版本 1 172.20.2.222 cm-server centos7.3 2 172.20.2.203 hadoop-1 centos7.3 3 172.20.2.204 hadoop >/etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 cm-server 172.20.2.203 hadoop-1 172.20.2.204 hadoop
5.8K50发布于 2018-06-01 - 来自专栏杨焱的专栏
Hadoop3.x 学习笔记
/hadoop/bin:$PATH 127.0.0.1 localhost 192.168.56.11 hadoop-1 debian1 192.168.56.12 hadoop
37620编辑于 2021-12-07 - 来自专栏KaliArch
大数据平台HDP搭建
二、安装部署 2.1 主机规划 序号 IP地址 主机名 系统版本 1 172.20.2.222 ambari-server centos7.3 2 172.20.2.203 hadoop-2 centos7.3 etc/hosts<<EOF #添加各个节点hosts解析 172.20.2.222 ambari-server 172.20.2.203 hadoop-1 172.20.2.204 hadoop
2.8K80发布于 2018-05-29 - 来自专栏开源部署
从主机名谈Hadoop集群管理
后来没办法，尝试使用“减号”来分隔，将所有的机器名都换成如下形式： IP地址 机器名(hostname) 192.168.1.101 hadoop-1 192.168.1.102 hadoop-2 192.168.1.103
1.2K10编辑于 2022-06-30 - 来自专栏大数据杂货铺
FAQ系列之Phoenix
Gupta 的精彩帖子http://bigdatanoob.blogspot.com/2013/09/connect-phoenix-to-secure-hbase-cluster.html 如何连接在 Hadoop Hadoop-2 配置文件存在于 Phoenix pom.xml 中。 phoenix 是否可以像 HBase API 一样灵活地处理具有任意时间戳的表？
4.2K30发布于 2021-07-27 - 来自专栏kk大数据
如何 debug Hive 源码，知其然知其所以然
这里必须指定 profile 为 hadoop-2 来支持 hadoop 2.x 版本 mvn clean package -Phadoop-2 -DskipTests -Pdist ?
77530发布于 2021-01-27 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hive2搭建和基本操作
hostnamectl set-hostname hive 修改服务器的host 和hadoop节点建立关联 > vim /etc/hosts 192.168.1.101 hadoop-1 192.168.1.102 hadoop
1.1K101发布于 2018-03-02 - 来自专栏我是攻城师
驭象者之Apache Oozie
/hadooplibs/hadoop-2/pom.xml 将查出来的pom文件，修改对应hadoop版本，hive，hbase，pig等组件版本 注意使用(sed -e 's/2.3.0/2.2.0
1.2K30发布于 2018-05-11 - 来自专栏james大数据架构
0基础搭建Hadoop大数据处理-集群安装
hadoop fs -cat output/part-r-00000 结果显示： hadoop 1 hello 2 java 4 jsp 1 到这里，hadoop-2环境搭建结束，配置文件根据具体需求
1.4K50发布于 2018-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号