HBase旧not、PV2-(序列号).log未清除

Question

我想知道是否有人对以下问题有任何想法。

hdfs上的旧file目录似乎只被部分清理，(相当小的)pv2(序列号).log文件不断增加(大约每小时添加一个文件)

哪个主进程应该清理这些特定的文件？这些pv2日志文件的用途是什么？因为我也看到一对0字节的。

设置: hbase znode对等节点下zookeeper中的hbase.master.logcleaner.ttl=60000为空复制为false

Answer 1

以pv2-为前缀的文件是Procedure Framework (Pv2)的WAL文件。

如果你集群有许多这样的文件，这可能表明某个过程被卡住了，并持有相关的WAL文件(其中包含过程的“状态”)。

您可以使用HBase shell (list_procedures命令)列出当前过程，或查看主用户界面中的“过程和锁定”页面。

此外，HBase PV2具有属性hbase.procedure.store.wal.warn.threshold(默认值10，取决于HBase版本)，该属性配置PV2 wals的计数，之后HBase将使用以下文本记录警告：

procedure WALs count={count_of_logs} above the warning threshold {threshold_value}. check running procedures to see if something is stuck。