blocks|key|1131739|text|HBase通过Apache的度量系统导出许多度量。这些指标也是通过jmx公开的。因此，神经节或jmx是非常容易开始观察HBase导出的度量的方法。其他选项包括OpenTSDB和适当条目。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1131740|在ganglia或jmx内部，要查看的度量是hbase.regionserver.compactionQueueSize。这是计划的契约数量。|1131741|RegionServer+UI还包括一些度量标准的副本，包括compactionQueueSize。|1131742|📷|atomic|1131743|稍后版本的HBase看起来会更好，但这给出了一个示例。|1131744|entityMap|0|LINK|mutability|MUTABLE|url|http://www.ryangreenhall.com/2010/10/monitoring-hadoop-clusters-using-ganglia/|1|http://docs.oracle.com/javase/6/docs/technotes/guides/management/jconsole.html|2|IMAGE|IMMUTABLE|imageUrl|https://developer.qcloudimg.com/http-save/yehe-900000/ee32904afa38554e76a2a7cfa561494b.png|imageAlt^0|17|3|0|1B|3|1|0|0|0|0|1|2|0|0^^$0|@$1|2|3|4|5|6|7|12|8|@]|9|@$A|13|B|14|1|15]|$A|16|B|17|1|18]]|C|$]]|$1|D|3|E|5|6|7|19|8|@]|9|@]|C|$]]|$1|F|3|G|5|6|7|1A|8|@]|9|@]|C|$]]|$1|H|3|I|5|J|7|1B|8|@]|9|@$A|1C|B|1D|1|1E]]|C|$]]|$1|K|3|L|5|6|7|1F|8|@]|9|@]|C|$]]|$1|M|3|-4|5|6|7|1G|8|@]|9|@]|C|$]]]|N|$O|$5|P|Q|R|C|$S|T]]|U|$5|P|Q|R|C|$S|V]]|W|$5|X|Q|Y|C|$Z|10|11|-4]]]]

HBase exports lots of metrics through Apache Hadoop's metrics systems. These metrics are also exposed through jmx. So <a href="http://www.ryangreenhall.com/2010/10/monitoring-hadoop-clusters-using-ganglia/" rel="nofollow noreferrer">ganglia</a> or <a href="http://docs.oracle.com/javase/6/docs/technotes/guides/management/jconsole.html" rel="nofollow noreferrer">jmx</a> are pretty easy ways to get started on watching the metrics that HBase exports. Other options include OpenTSDB and propriety entries.

Inside of ganglia or jmx the metric you will want to look at is the hbase.regionserver.compactionQueueSize. That is the number of compactions that have been scheduled. 

The RegionServer UI also includes a copy of some of the metrics, including compactionQueueSize. <img src="https://i.stack.imgur.com/QKE3W.png" alt="Here&#39;s a screenshot of a 0.94 version."> Later versions of HBase will look better but this gives an example.

blocks|key|1128945|text|我知道答案有点晚了，但与其手动查看日志文件，你还可以尝试一下汉尼拔。它是一个开源工具，为每个区域提供历史图表。这些图表显示了压实发生的时间和时间。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1128946|https://github.com/sentric/hannibal/|offset|length|1128947|entityMap|0|LINK|mutability|MUTABLE|url^0|0|0|10|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|N|8|@]|9|@$D|O|E|P|1|Q]]|A|$]]|$1|F|3|-4|5|6|7|R|8|@]|9|@]|A|$]]]|G|$H|$5|I|J|K|A|$L|C]]]]

I know the answer is a bit late, but instead of manually looking at the Log-Files you could also give Hannibal a try. It is a open-source tool that provides History-Graphs for each region. The graphs show when compactions happened and how long they took.

<a href="https://github.com/sentric/hannibal/" rel="noreferrer">https://github.com/sentric/hannibal/</a>

blocks|key|1128969|text|这就是hbase版本0.96和0.98的情况|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1128970|当开始压缩和HBase压缩的状态时，可以从：<hbase.master.ip>:<hbase.master.info.port>/dump，即10.4.4.40:60010/dump中收集到|offset|length|style|CODE|1128971|在标题为|1128972|服务器：|BOLD|1128973|++++<hostname>,60020,1406845954503:+...<other+stuff+here>...
++++totalCompactingKVs=9121040186,+currentCompactedKVs=14351361679,
++++compactionProgressPct=1.5734347,...|code-block|syntax|javascript|1128974|compactionProgressPct给出了您当前正在遍历的压缩完成的百分比。|1128975|这里有一种更友好的看待契约的方式：|1128976|http://<hbase.regionserver.ip>:<hbase.regionserver.info.port>/rs-status#queueStats|1128977|它会给你这样的统计数据：|1128978|📷|atomic|1128979|​|1128980|entityMap|0|IMAGE|mutability|IMMUTABLE|imageUrl|https://developer.qcloudimg.com/http-save/yehe-900000/a818f99ce35013c79eb664c20dbdc399.png|imageAlt^0|0|M|1B|1Z|K|0|0|0|4|0|0|0|L|0|0|0|2A|0|0|0|1|0|0|0^^$0|@$1|2|3|4|5|6|7|1D|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|1E|8|@$D|1F|E|1G|F|G]|$D|1H|E|1I|F|G]]|9|@]|A|$]]|$1|H|3|I|5|6|7|1J|8|@]|9|@]|A|$]]|$1|J|3|K|5|6|7|1K|8|@$D|1L|E|1M|F|L]]|9|@]|A|$]]|$1|M|3|N|5|O|7|1N|8|@]|9|@]|A|$P|Q]]|$1|R|3|S|5|6|7|1O|8|@$D|1P|E|1Q|F|G]]|9|@]|A|$]]|$1|T|3|U|5|6|7|1R|8|@]|9|@]|A|$]]|$1|V|3|W|5|6|7|1S|8|@$D|1T|E|1U|F|G]]|9|@]|A|$]]|$1|X|3|Y|5|6|7|1V|8|@]|9|@]|A|$]]|$1|Z|3|10|5|11|7|1W|8|@]|9|@$D|1X|E|1Y|1|1Z]]|A|$]]|$1|12|3|13|5|6|7|20|8|@]|9|@]|A|$]]|$1|14|3|-4|5|6|7|21|8|@]|9|@]|A|$]]]|15|$16|$5|17|18|19|A|$1A|1B|1C|-4]]]]

This is the case for hbase versions 0.96 and 0.98

When a compaction started and Status of HBase Compactions can be gleaned from:
<code>&lt;hbase.master.ip&gt;:&lt;hbase.master.info.port&gt;/dump</code>
i.e. <code>10.4.4.40:60010/dump</code>

under the section titled

servers:

<pre><code> &lt;hostname&gt;,60020,1406845954503: ...&lt;other stuff here&gt;...
 totalCompactingKVs=9121040186, currentCompactedKVs=14351361679,
 compactionProgressPct=1.5734347,...
</code></pre>

<code>compactionProgressPct</code> gives the percentage of compaction completed that you are currently churning through. 

A much friendlier way of viewing compactions is here:

<code>http://&lt;hbase.regionserver.ip&gt;:&lt;hbase.regionserver.info.port&gt;/rs-status#queueStats</code>

It will give you stats that look like this:
<img src="https://i.stack.imgur.com/9f0Nl.png" alt="enter image description here">

blocks|key|1798216|text|压缩状态可以从Hbase日志或Regionservers+GUI中查看，但是如果我们有大量事务，则很难从日志中跟踪压缩区域状态。GUI只显示在同一节点上的压缩状态，如果我们有'n‘区域服务器，则在GUI中查看非常繁琐。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1798217|下载收集跨Regionserver联机压缩区域状态的实用工具到给定的表中。Github+链接到StatusUtil.java|blockquote|offset|length|style|CODE|1798218|entityMap|0|LINK|mutability|MUTABLE|url|https://github.com/karthikpshva/hbaseutility/blob/master/src/main/java/com/alpha/hbase/compaction/StatusUtil.java^0|0|1B|F|18|2|0|0^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|R|8|@$E|S|F|T|G|H]]|9|@$E|U|F|V|1|W]]|A|$]]|$1|I|3|-4|5|6|7|X|8|@]|9|@]|A|$]]]|J|$K|$5|L|M|N|A|$O|P]]]]

Compaction status can be viewed from Hbase log or Regionservers GUI But if we've huge transaction, It is tough to track compacting region status from log. GUI only shows compacting status on the same node and tedious to view in GUI If we've 'n' regionservers

<blockquote>
 Download the utility that collect online compacting region status across Regionservers to a given table. Github <a href="https://github.com/karthikpshva/hbaseutility/blob/master/src/main/java/com/alpha/hbase/compaction/StatusUtil.java" rel="nofollow">link</a> to <code>StatusUtil.java</code>
</blockquote>

blocks|key|1798256|text|我们可以通过JMX获得压实状态。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1798257|compactionQueueSize，compactionSizeNumOps，compactionSizeAvgTime，compactionSizeMinTime，compactionSizeMaxTime，compactionTimeNumOps，compactionTimeAvgTime，compactionTimeMinTime，compactionTimeMaxTime|1798258|启用JMX指标，如http://hbase.apache.org/metrics.html所示|offset|length|1798259|可以下载JMX示例这里。|1798260|entityMap|0|LINK|mutability|MUTABLE|url|http://hbase.apache.org/metrics.html|1|https://github.com/karthikpshva/hbaseutility/blob/master/src/main/java/com/alpha/hbase/metrics/JMXRegionServer.java^0|0|0|9|10|0|0|9|2|1|0^^$0|@$1|2|3|4|5|6|7|T|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|U|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|V|8|@]|9|@$F|W|G|X|1|Y]]|A|$]]|$1|H|3|I|5|6|7|Z|8|@]|9|@$F|10|G|11|1|12]]|A|$]]|$1|J|3|-4|5|6|7|13|8|@]|9|@]|A|$]]]|K|$L|$5|M|N|O|A|$P|Q]]|R|$5|M|N|O|A|$P|S]]]]

We can get compaction status via the JMX.

compactionQueueSize,
compactionSizeNumOps,
compactionSizeAvgTime,
compactionSizeMinTime,
compactionSizeMaxTime,
compactionTimeNumOps,
compactionTimeAvgTime,
compactionTimeMinTime,
compactionTimeMaxTime

Enable JMX metrics as shown at <a href="http://hbase.apache.org/metrics.html" rel="nofollow">http://hbase.apache.org/metrics.html</a>

You can download the JMX Example <a href="https://github.com/karthikpshva/hbaseutility/blob/master/src/main/java/com/alpha/hbase/metrics/JMXRegionServer.java" rel="nofollow">here</a>

I want to monitor major compaction of the hbase.
For each table I would like to know 

<ul>
<li>when it starts (by hbase or by user)</li>
<li>when it finished</li>
</ul>

How can I monitor this?

<ul>
<li>via JMX ?</li>
<li>via UI ?</li>
</ul>

In general what additional parameters should I monitor to detect that the major compaction is needed?

How to monitor major compaction of hbase

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我要监测hbase的主要压实情况。每一张桌子我都想知道启动时(由hbase或用户)当它完成时我怎么监控这个？通过JMX？通过UI？一般来说，我应该监测哪些额外的参数来检测是否需要主要的压缩？

问如何监测hbase的主要压实度
EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何监测hbase的主要压实度EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何监测hbase的主要压实度
EN