- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成长之路
MapReduce的jobHistory介绍
接下来小菌将分享如何在CDH集群环境下开启jobHistory服务。 export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim mapred-site.xml <property> <name>mapreduce.jobhistory.address </name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address start historyserver 第五步：页面访问jobhistoryserver 访问路径: http://192.168.100.100:19888/jobhistory (蓝色部分换成Namenode 所在节点的ip) 看到如下效果图则说明jobHistory进程成功开启!
1.1K10发布于 2021-01-22 - 来自专栏浪浪山下那个村
jobhistory 作业缓存源码详解
jobhistory 作业缓存jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是5，可以通过配置项mapreduce.jobhistory.loadedjobs.cache.size控制 的二级缓存：jobListCache，jobListCache的大小可以通过配置项mapreduce.jobhistory.joblist.cache.size控制。 如果缓存找不见，优先扫描刚完成的作业所在的目录，会刷新jobListCache缓存，由配置项mapreduce.jobhistory.intermediate-done-dir控制。 如果还是找不见，从已经完成的作业的目录扫描，具体目录由配置项mapreduce.jobhistory.done-dir控制。
13810编辑于 2024-05-26 - 来自专栏开源部署
Hadoop jobhistory历史服务器介绍
默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 $ sbin/mr-jobhistory-daemon.sh start historyserver :10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value >0.0.0.0:19888</value> </property> 上面的参数是在mapred-site.xml文件中进行配置，mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address 配置完上述的参数之后，重新启动Hadoop jobhistory，这样我们就可以在mapreduce.jobhistory.webapp.address参数配置的主机上对Hadoop历史作业情况经行查看 其中，mapreduce.jobhistory.done-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录；mapreduce.jobhistory.intermediate-done-dir
1K10编辑于 2022-07-04 - 来自专栏Hadoop实操
Yarn的JobHistory目录权限问题导致MapReduce作业异常
org.apache.hadoop.util.RunJar.main(RunJar.java:136) [root@ip-172-31-6-148 hadoop-mapreduce]# [8yjgc0hjlj.jpeg] 通过JobHistory org.apache.hadoop.yarn.server.nodemanager.ContainerExecutor: Container id: container_1504341269835_0001_01_000001 [xbcndycodg.jpeg] 3.查看JobHistory 服务的log日志 2017-09-02 08:40:31,676 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to 172.31.9.33:50010 172.31.5.190:50010 [nmuiqtw6wj.jpeg] 分析过程： 查看ResourceManager日志未发现原因 查看NodeManager日志未发现原因 JobHistory
5.1K70发布于 2018-03-29 - 来自专栏csdn_blog
Hadoop历史服务器配置详细步骤
Hadoop JobHistory Server 默认情况下是没有启动的，而且需要自己配置和启动该服务。 start-dfs.sh start-yarn.sh （2）使用 $HADOOP_HOME/sbin/ 下的脚本 mr-jobhistory-daemon.sh 启动历史服务器 # 启动命令 mr-jobhistory-daemon.sh start historyserver # 停止命令 mr-jobhistory-daemon.sh stop historyserver ? 浏览器输入：http://ip:19888/jobhistory 回车 ? 2. 配置日志的聚集 （1）在 yarn-site.xml 文件中添加以下配置 ? <! stop historyserver start-yarn.sh mr-jobhistory-daemon.sh start historyserver 3.
4K20发布于 2020-09-22 - 来自专栏BigData_Flink
spark-yarn-cluster任务提交方式Logs出现Fails且无法访问
mr-jobhistory-daemon.sh start historyserver 如下面需都是node03，保持一致，同时在node03节点运行命令：mr-jobhistory-daemon.sh </property> <property> <name>yarn.log.server.url</name> <value>http://node03:19888/jobhistory </name> <value>node03:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address </name> <value>node03:19888</value> </property> <property> <name>mapreduce.jobhistory.done-dir -- 正在运行的任务信息临时目录 --> <property> <name>mapreduce.jobhistory.intermediate.done-dir</name>
49810发布于 2021-04-13 - 来自专栏学习java的小白
hadoop-3.2.0------>入门七 伪分布式 历史服务器搭建
--历史服务器地址默认地址--> <property> <name>mapreduce.jobhistory.address --历史服务器web端地址默认地址--> <property> <name>mapreduce.jobhistory.webapp.address 二、启动历史服务器 1、先进入hadoop根目录下 2、启动历史服务器（命令：sbin/mr-jobhistory-daemon.sh start historyserver 查看方式2、输入网址192.168.44.136:19888/jobhistory 192.168.44：为ip地址 19888：端口号 jobhistory：路径 ?
82410发布于 2020-12-07 - 来自专栏数据分析与挖掘
hadoop伪分布式之配置历史服务器
--历史服务器地址--> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop01:10020</value --历史服务器web端地址--> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop01: 19888</value> </property> 2、启动历史服务器 sbin/mr-jobhistory-daemon.sh start historyserver 3、查看是否启动 jps ? 4、查看JobHistory ? 点击History之后 ： ?
59920发布于 2020-08-26 - 来自专栏北京马哥教育
Hadoop 2.0中作业日志收集原理以及配置方法
MRAppMaster（MapReduce作业的ApplicationMaster）产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息，与Hadoop 1.0中的JobHistory MapReduce的JobHistory Serve 这是一个独立的服务，可通过web UI展示历史作业日志，之所以将其独立出来，是为了减轻ResourceManager负担。 JobHistory Server将会分析作业运行日志，并展示作业的启动时间、结束时间、各个任务的运行时间，各种Counter数据等，并产生一个指向作业和任务日志的链接。 Mapred-site.xml是MapReduce特有的配置文件，在YARN中，mapreduce已经变成了一个客户端编程库，因此只有客户端和jobhistory server需要该配置文件，其他节点， 比如resourceManager和NodeManager不需要，除非你们也把这些节点作为客户端提供给用户使用，另外，一定要让客户端和jobhistory server上的mapres-site.xml
2.1K60发布于 2018-05-04 - 来自专栏生如夏花的个人博客
hadoop-mapred-site.xml配置文件详解
0.0.0.0:10020 MapReduce JobHistory Server IPC host:port mapreduce.jobhistory.webapp.address 0.0.0.0: Location of the kerberos keytab file for the MapReduce JobHistory Server. mapreduce.jobhistory.principal }/history/done mapreduce.jobhistory.cleaner.enable true mapreduce.jobhistory.cleaner.interval-ms 86400000 Files are only deleted if they are older than mapreduce.jobhistory.max-age-ms. mapreduce.jobhistory.max-age-ms mapreduce.jobhistory.admin.acl * ACL of who can be admin of the History server. mapreduce.jobhistory.recovery.enable
2.2K30发布于 2020-10-27 - 来自专栏cwl_Java
快速学习-Oozie的部署
-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 --> <property> <name>mapreduce.jobhistory.address -- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 --> <property> <name>mapreduce.jobhistory.webapp.address -- 任务历史服务 --> <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory start-dfs.sh [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh [atguigu@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh
66710发布于 2020-02-20 - 来自专栏专注研发
YARN的基础配置
历史服务器配置 配置mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>0.0.0.0:10020</ value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>0.0.0.0:19888</ value> </property> 启动命令： mapred --daemon stop historyserver or sbin/mr-jobhistory-daemon.sh start historyserver 访问地址： http://ip:19888/jobhistory
1.9K00发布于 2018-09-21 - 来自专栏千里行走
hadoop-2：深入探索hadoop3.3.1集群模式下的各个组件
mapreduce.jobhistory.address：不用配置，使用默认值。 默认值：0.0.0.0:10020 MapReduce JobHistory Server地址。 mapreduce.jobhistory.webapp.address：不用配置，使用默认值。 默认值：0.0.0.0:19888 MapReduce JobHistory Server Web UI地址。 mapreduce.jobhistory.done-dir：要配置。 默认值：/mr-history/done MR JobHistory Server管理的日志的存放位置。 MR JobHistory Server管理的日志的存放位置。
2.1K41发布于 2021-08-12 - 来自专栏云计算与大数据技术
大数据集群搭建之Linux安装hadoop3.0.0
mapreduce.jobhistory.address hadoop001:10020 MapReduce JobHistory Server host:port.Default port is 10020 mapreduce.jobhistory.webapp.address hadoop001:19888 MapReduce JobHistory Server Web mapreduce.jobhistory.intermediate-done-dir /tmp/mr-history/tmp Directory where history files are mapreduce.jobhistory.done-dir /tmp/mr-history/done Directory where history files are managed by the MR JobHistory Server. yarn-site.xml yarn.resourcemanager.ha.enabled true
1.2K10发布于 2021-04-27 - 来自专栏程序萌部落
IDEA远程提交hadoop任务时出现的错误
For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 上述问题解决：开启historyserver服务 mr-jobhistory-daemon.sh yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value> </property> <property> <name>mapreduce.jobhistory.done-dir
4.7K10发布于 2019-08-08 - 来自专栏桥路_大数据
【MapReduce】作业调试
History-Server基本配置： cd $HADOOP_HOME/etc/hadoop vim mapred-site.xml 添加的配置如下： <property> <name>mapreduce.jobhistory.address </name> <value>node01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address </name> <value>node01:19888</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir </name> <value>/mr-history/log</value> </property> <property> <name>mapreduce.jobhistory.done-dir 配置的具体含义如下： 然后重启集群，使配置生效： stop-all.sh start-all.sh 启动history-server： mr-jobhistory-daemon.sh start historyserver
40530发布于 2021-09-10 - 来自专栏云计算linux
Hadoop集群安装
设置yarn历史服务器地址 --> <property> <name>yarn.log.server.url</name> <value>http://node02:19888/jobhistory JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 </name> <value>node02:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address </name> <value>node02:19888</value> </property> scp mapred-site.xml node02:PWD 在node02节点启动JobHistory /mapred --daemon start historyserver 访问web管理界面 http://node02:19888/jobhistory 运行演示程序 在hdfs创建一个目录: hdfs
91510编辑于 2024-12-07 - 来自专栏Golang开发
Hadoop伪分布式配置
具体配置步骤如下 在 mapred-site.xml增加如下内容 <property> <name>mapreduce.jobhistory.address</name> <value>localhost -- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>localhost :19888</value> </property> 启动 http://localhost:19888/jobhistory ➜ hadoop mr-jobhistory-daemon.sh start nodemanager nodemanager did not stop gracefully after 5 seconds: killing with kill -9 ➜ hadoop mr-jobhistory-daemon.sh hadoop-mapreduce-examples-2.7.7.jar wordcount /user/baxiang/input/ /user/baxiang/output http://localhost:19888/jobhistory
91920发布于 2019-08-24 - 来自专栏五角钱的程序员
保姆级教程：还愁不会搭建伪分布式吗？（其实很简单）
-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.88.102 :19888</value> </property> 2.启动历史服务器 [hadoop@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start 查看JobHistory http://192.168.88.102:19888/jobhistory/ 4.配置日志的聚集 日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 1.关闭NodeManager 、ResourceManager和HistoryManager [hadoop@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh 2.7.2.jar wordcount /user/hadoop/input /user/hadoop/output 6.查看日志，如图所示 http://192.168.88.102:19888/jobhistory
58910发布于 2020-08-13 - 来自专栏不温卜火
一文教你快速了解伪分布式集群搭建(超详细!)
-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop001:10020</value> < -- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop001 启动历史服务器 [bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver 3. DataNode 3993 ResourceManager 3327 NameNode 4495 NodeManager 4. web查看历史服务器是否启动 http://hadoop001:19888/jobhistory 查看日志 http://hadoop001:19888/jobhistory 1. Job History ? 2. job运行情况 ? 3. 查看日志 ?
76710发布于 2020-10-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号