HBase主进程HBase问题

Question

我注意到由于一些持续的错误，Hbase MasterProcWALs文件夹已经填满了我的Hdfs。我想知道删除MasterProcWALs文件夹下的文件是否会删除Hbase中的任何数据？

Answer 1

MasterProcWAL由主节点使用，以下是由Apache HBase ™ Reference Guide给出的描述

HMaster将管理操作及其运行状态(例如处理崩溃的服务器、表创建和其他DDL)记录到过程存储中。存储WAL过程存储在MasterProcWALs目录下。沃尔大师不像RegionServer沃尔斯。保持Master WAL允许我们运行一个在Master故障时具有弹性的状态机。例如，如果HMaster正在创建表的过程中遇到问题并失败，则下一个活动的HMaster可以从上一个停止的位置继续操作，并将操作进行到完成。从hbase-2.0.0开始，引入了新的AssignmentManager (又称AMv2)，HMaster处理区域分配操作、服务器崩溃处理、平衡等，所有这些都是通过AMv2将所有状态和转换持久化到MasterProcWALs中，而不是像我们在hbase-1.x中所做的那样，一直到ZooKeeper中。本节与hbase-2.0.0至hbase-2.2.x相关。

因此，主procedures包含永久存储上的Active HBase主程序未应用的DDLs过程。如果您删除它们并重新启动HBase主机或切换到另一个WAL，它将无法读取存储在这些WAL中的程序，它们将丢失。主节点将从WAL之前的最后一个已知状态开始。数据在RegionServers级别进行管理，不应受到影响，除非其结构受到存储在WAL中的某些过程的影响而丢失。

在这样做之前，我会

• 检查在HBase UI的" procedures“选项卡中发生了什么，它会显示过程和WAL文件。尝试找出问题的根本原因，WAL文件的数量不应随着时间的推移而增加。
• 尝试重新启动主服务器，请检查其日志，因为只有在MasterProcWAL主服务器启动期间存在阻止问题的情况下，它才会在HBase主服务器启动期间读取WAL文件。如果您决定删除它们执行备份，请谨慎操作，风险自负。

另请参见HBase Master won't start。

Answer 2

我们新安装了CDP-DC 7.1.3，并且经常收到“此运行状况测试很糟糕，因为服务监视器找不到活动的主机。”从HDFS中清除MasterProcWALs后，它工作正常。