使用分区的Hadoop distcp

Question

我正在尝试从一个系统到另一个具有相同配置(比如A到B)的系统执行distcp。但是在从A到B的distcp之后，我在A中创建的分区没有显示在B中。我必须在B中手动创建分区。

我已经设置了动态分区参数，但它只是添加分区，这是另一回事。请让我知道有没有办法解决这个问题。

Answer 1

在distcp之后，您需要修复系统B(复制数据的位置)上的表，执行以下hive命令

SET hive.mapred.mode=unstrict;
MSCK REPAIR TABLE <DB_NAME>.<TABLE_NAME>;