- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据人生
Hadoop2伪分布模式安装
参照Apache的官方文档，Hadoop2还是蛮好搭建的，但是搭建好后，MapReduce的JobHistory页面却没法进去，这是因为JobHistory没有配置正确或者服务没有启动起来。 准备 安装程序获取：从官网上下载，从Apache Download Mirrors选择一个镜像位置，然后选择一个Hadoop版本，下载hadoop-2...tar.gz 安装jdk sudo apt-get -2/hadoop2,数据的存放路径为/usr/local/hadoop-2 下面的过程是将hadoop安装包存放在/usr/local/hadoop-2/hadoop2 $cd /usr/local $sudo mkdir hadoop-2 $sudo chown yang:yang hadoop-2/ #将hadoop-2的所属用户和用户组均改成yang，你在配置的时候，将yang可以改成你的用户名即可 #计算pi $hadoop jar /usr/local/hadoop-2/hadoop2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0
30310编辑于 2022-09-29 - 来自专栏KaliArch
hadoop完全分布式部署
、安装部署 2.1 主机规划 主机名称 IP地址 安装节点应用 hadoop-1 172.20.2.203 namenode/datanode/nodemanager hadoop HADOOP_PREFIX} EOF source /etc/profile.d/hadoop.sh e.下载并解压软件包 mkdir /software cd /software wget -c http://www.apache.org > <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-2:50090</ </property> <property> <name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler -2 hadoop-3 EOF 同样的步骤操作hadoop-2/3，建议将hadoop-1的文件直接分发至hadoop-2/3 2.3.2 格式化namenode 在NameNode机器上（hadoop
1K30发布于 2018-05-23 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作
附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.增加节点 当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到 property> 编辑dfshosts.exclude 增加需要下线的节点名称 > vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude hadoop -2 , hadoop-2中的块将会被迁移到 hadoop-1中,前已完成之后Decommissioning datanodes将会消失然后就可以关闭hadoop-2中的服务了,如果需要在加入到集群中只需要去除 -2节点,下线之后在hadoop-2 > su hadoop > hadoop-daemon.sh stop datanode 修改hadoop-2配置文件vim hdfs-site.xml > vim -2的容量就增加了然后重新让节点上线 vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude # 清除 hadoop-2 # 更新节点 > hdfs
2.5K40发布于 2018-03-02 - 来自专栏KaliArch
Hadoop2.6+Zookper3.4+Hbase1.0部署安装
一、zookper安装 1.1 下载并解压软件 cd /software wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper PATH=\$PATH:/usr/local/zookeeper/bin EOF source /etc/profile.d/zookeeper.sh 1.4 同样方式配置其他服务器 可以将文件分发至hadoop _10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=] 二、hbase安装 2.1 下载并解压软件 cd /software wget -c http://archive.apache.org <property> <name>hbase.zookeeper.quorum</name> <value>hadoop-1,hadoop export PATH=\$PATH:/usr/local/hbase/bin EOF source /etc/profile.d/hbase.sh 2.3 同样方式配置其他服务器并启动服务 可以将文件分发至hadoop
50730发布于 2018-05-23 - 来自专栏我是攻城师
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
这两天，打算给现有的Apache Hadoop2.7.1的集群装个hue，方便业务人员使用hue的可视化界面，来做一些数据分析任务，这过程遇到不少问题，不过大部分最终都一一击破，收获经验若干，折腾的过程 都是经历过无数磨难成就的，并且有着坚持不放弃的心态，迎接各种挑战，如果你总是遇到困难就放弃，那么你永远也不能成为最优秀的人，废话不多说了，下面开始进入正题： 框架版本如下： Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0 hbase和hive使用最新的可能会编译失败，这一点需要注意，经测试hbase0.94.2和hive0.13.1可正常编译通过， 3，修改完毕后，执行编译 bin/mkdistro.sh -P hadoop -2 -DskipTests 或 mvn clean package assembly:single -P hadoop-2 -DskipTests 4，执行成功后，拷贝oozie-4.2.0/distro
1.1K60发布于 2018-05-14 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hadoop集群模式
附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.准备工作 安装包清单 统一存放到**/app/install**目录下,暂时只用存放到hadoop 8u101-linux-x64.tar.gz hadoop-2.7.3.tar.gz 服务器环境 服务器系统使用centos7.X 64位版本 # hadoop-1 192.168.1.101 # hadoop -2 192.168.1.103 hadoop-3 重启服务器使其修改生效,重启完成后会发现主机名已经改回来了,然后使用ping命令检查是否可以互相连通 > ping hadoop-1 > ping hadoop /authorized_keys # 修改文件权限 > ssh localhost # 此时使用ssh首次需要yes以下不用密码即可登录 让hadoop-1可以免密码登录到hadoop- > vim /usr/local/hadoop-2.7.3/etc/hadoop/slaves hadoop-2 hadoop-3 2, 文件 core-site.xml 改为下面的配置： > vim
1.6K60发布于 2018-03-02 - 来自专栏喵了个咪的博客空间
[喵咪大数据]Hbase搭建和基本使用
附上: Hbase官网:Apache HBase – Apache HBase™ Home 喵了个咪的博客:w-blog.cn 1. Hadoop集群所以我们在之前配置好的Hadoop集群下来配置整体的Hbase集群 服务器清单 $ hadoop-1 192.168.1.101 NameNode DataNode $ hadoop zookeeper-3.4.10/data clientPort=2181 initLimit=10 syncLimit=5 server.1=hadoop-1:2888:3888 server.2=hadoop 多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop-1:2181,hadoop 2181</value> </property> </configuration> 增加子节点 > vim /usr/local/hbase-1.3.1/conf/regionservers hadoop
2K90发布于 2018-03-02 - 来自专栏大数据学习笔记
Hadoop基础教程-第13章 源码编译（13.4 Hive2.1.1源码编译）
第13章 源码编译 13.4 Hive2.1.1源码编译 13.4.1 下载源码 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 单击stable-2 下载源码apache-hive-2.1.1-src.tar.gz 13.4.2 环境准备 Hive2.1.1的源码包需要JDK1.8。 -2.1.1-src]# vi /opt/apache-maven-3.3.9/conf/settings.xml <mirrors> <! ------------------------------------------------------------------ [WARNING] The requested profile "hadoop 您在 /var/spool/mail/root 中有新邮件 [root@cyq apache-hive-2.1.1-src]#
1.2K90发布于 2018-01-02 - 来自专栏大数据与实时计算
flume 1.9 版本更新
component ** Bug FLUME-1282 - Maven 2构建flume 1.x失败的情况 FLUME-2232 - Flume build时增加了findbugs FLUME-2436 - 将hadoop -2设为默认构建文件 FLUME-2464 - 移除hadoop-2文件 FLUME-2786 - 停止flume-ng之前修改conf文件时，它将进入死锁状态 FLUME-2894 - Flume组件应按正确顺序停止 java.nio.file.NoSuchFileException FLUME-3237 - 处理来自JMSSource中JMS提供程序的RuntimeExceptions FLUME-3253 - JP Morgan Chase扫描使用Apache
2.2K60发布于 2019-04-29 - 来自专栏千里行走
hadoop-2：深入探索hadoop3.3.1集群模式下的各个组件
(9).参考资料 (10).相关阅读 (1).关于hadoop3.3.1使用的java版本 我们需要先研究一下官方给出的建议： Hadoop Java Versions https://cwiki.apache.org 顺带还可以关注openjdk11之于hadoop3.3.1的落地情况： https://ci-hadoop.apache.org/job/hadoop-qbt-trunk-java11-linux-x86 默认值： org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler 启用的资源调度器主类。 使用完全限定的类名，例如org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。 不过，Apache已经正在尝试将该参数做成可动态修改的。 yarn.nodemanager.vmem-pmem-ratio：不用配置，使用默认值。 默认值：2.1。
2.1K41发布于 2021-08-12 - 来自专栏杨焱的专栏
Hadoop3.x 学习笔记
/hadoop/bin:$PATH 127.0.0.1 localhost 192.168.56.11 hadoop-1 debian1 192.168.56.12 hadoop ： 启动服务 yarn-site.xml core-site.xml hdfs-site.xml 配置详细说明： 文件 作用 默认值 core-site.xml 全局配置 http://hadoop.apache.org /docs/current/hadoop-project-dist/hadoop-common/core-default.xml hdfs-site.xml HDFS配置 http://hadoop.apache.org /docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml yarn-site.xml 资源配置 http://hadoop.apache.org docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml mapred-site.xml MAPRED配置 http://hadoop.apache.org
37620编辑于 2021-12-07 - 来自专栏小晨讲Flink
Apache Kylin VS Apache Doris
Apache Kylin 和 Apache Doris 都是优秀的开源OLAP系统，本文将全方位地对比Kylin和Doris。 本文对Apache Doris的理解基于官方文档和论文的阅读，代码的粗浅阅读和较深入地测试。 注： 本文的对比基于Apache Kylin 2.0.0 和Apache Doris 0.9.0。 1.2 What is Doris Doris是一个MPP的OLAP系统，主要整合了Google Mesa（数据模型），Apache Impala（MPP Query Engine)和Apache ORCFile 下面我们来看下Doris Segment文件的具体格式，Doris文件格式主要参考了Apache ORC。 14 总结 本文从多方面对比了Apache Kylin和Apache Doris，有理解错误的地方欢迎指正。本文更多的是对两个系统架构和原理的客观描述，主观判断较少。
3.4K31发布于 2020-09-08 - 来自专栏全栈程序员必看
apache 负载均衡_apache部署
假设一台apache服务器域名为www.a.com, 首先需要启用Apache的几个模块： Httpd.conf代码 代码如下: LoadModule proxy_module modules 服务器的加入来实现｡在进行配置之前请先卸载调已安装的tomcat,然后检查apache的版本｡我这次配置使用的是apache-tomcat-6.0.18免安装版本,我亲自测试后推断安装版的tomcat在同一台机子上会不能启动两个以上 ,可能是因为安装版的tomcat侵入了系统,导致即使在server.xml里修改了配置,还是会引起冲突｡所以我使用tomcat免安装版｡ apache使用的是apache_2.2.11-win32- ｡这两个软件可以到官方网站下载｡ 把Apache安装为运行在80端口的Windows服务,安装成功后在系统服务列表中可以看到Apache2.2服务｡服务启动后在浏览器中输入http://localhost jdk的配置也是必须的,这个不再过多叙述｡ 想要达到负载均衡的目的，首先,在Apache安装目录下找到conf/httpd.conf文件,去掉以下文本前的注释符(#)以便让Apache在启动时自动加载代理
2.5K20编辑于 2022-10-29 - 来自专栏sktj
apache
minspareservers 进程数 threadsperchild 线程数 serverlimit 进程数 2、虚拟主机文件一般放在httpd-vhosts.conf
2.1K10发布于 2019-10-23 - 来自专栏网站教程
Apache Windows下Apache安装步骤
1.apache官网下载Apache HTTP Server服务器 我相信有些朋友刚用apache服务器时，都希望从官网上下载，而面对着官网上众多的项目和镜像以及目录，也许有点茫然。 下面是具体步骤： ①、打开apache官网http://httpd.apache.org/ （或百度"download apache"）。 image.png 2.Apache服务器的安装 Apache服务器下载完成后，进行解压缩。 4.Apache服务器的启动 配置好Apache服务器之后，我们便能启动服务器，Windows下Apache服务器的启动方式有三种。 httpd -k start -n apache： 会提示详细的错误信息，其中的"apache"修改为你的Apache服务名,可以到计算机服务里找。
3.4K00发布于 2021-07-18 - 来自专栏全栈程序员必看
apache rewrite模块_怎么安装apache
给apache安装mod_rewrite模块 只是用来做参考,相关情况可跟据自己的需求进行修改 如果你的服务器apache还没有安装，那很简单，在编译apache时将mod_rewrite模块编译进去就可以 如果你的apache已经安装好了，现在只想编译出mod_rewrite.so模块，在apache 中进行加载，下面我们就介绍这个方法。 文件的目录 #/usr/share/apache-2.2.11/bin/apxs -c mod_rewrite.c //apxs应指定绝对路径，在你当前正在使用apache的bin目录里 #/usr /share/apache-2.2.11/bin/apxs -i -a -n mod_rewrite mod_rewrite.la 如果没有什么错误的话，应该在你的apache的modules目录中编译出一个 注：完成之后，记得重启服务器apache。
3.2K20编辑于 2022-11-08 - 来自专栏全栈程序员必看
apache安装教程详解_Apache安装
大家好，又见面了，我是你们的朋友全栈君 1.Apache 安装 1.下载apache 下载链接 2.将解压文件移动到目标目录 (整个文件目录最好用英文 不要有空格) 3.命令行注册apache 服务(不同于exe文件的安装) (以管理员身份打开cmd win10 ) (管理员身份和普通用户身份区别) (在命令行中找到目标 httpd.exe 文件目录 输入cd C:\wamp\Apache24\bin,这是我软件目录 , 输入 httpd.exe -k install) (不清楚命令行的伙伴请自行百度命令行知识) 安装成功后 ,提示安装成功,并且可以在服务器中找到apache 2.修改apache安装目录 (找到文件C:\wamp\Apache24\conf\httpd.conf,修改如下 这是我的目录C: \wamp\Apache24) 3.测试是否安装成功 (在浏览器中输入 localhost 出现下图则表示安装成功) 2.主机配置 找到 httpd.conf文件 如下配置
8.4K20编辑于 2022-11-08 - 来自专栏ApacheHudi
生态 | Apache Hudi集成Apache Zeppelin
简介 Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。 方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown
2.5K30发布于 2021-04-13 - 来自专栏全栈程序员必看
Apache的安装_Ubuntu安装Apache
(一)apache 介绍 Apache HTTP Server（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，Apache也叫万维网，www服务器， web服务器主要功能是提供网上信息浏览服务 Apache服务器，它也是基于HTTP协议的，它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，像windows ，linux ，mac系统，都可以支持apache服务器，所以它是目前最流行的 （四）Apache 服务器的部署 接下来，我们就讲解怎么来部署apache服务器，首先准备好linux系统。 cd apache wget http://mirrors.shu.edu.cn/apache//httpd/httpd-2.4.33.tar.gz 3 现在我们将这个包进行解压： tar –zxvf 6 最后就是安装 make install 可以看到他会将安装的东西放到/usr/local/apache2目录下，进入之后，输入ls可以看到。 这个就是apache 源码包安装的过程。
2.3K30编辑于 2022-10-05 - 来自专栏干货分享
Apache介绍和Apache包安装
Apache介绍和安装 1.Apache介绍 Apache一般指Apache HTTP Server，是Apache软件基金会的一个开源网页服务器软件，以下为你详细介绍： 基本信息 它具有简单、快速、可靠等特点 | apache2 | The Apache HTTPD Server | | srcpackage 13| apache2-icons-oxygen | Oxygen icons for Apache 2| package 14| apache2 | apache2-manual | The Apache HTTPD Server | for Python3 web applications in Apache | package 45| apache2-prefork | The Apache
47110编辑于 2025-09-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号