Informatica BDE Hive动态分区

Question

Informatica是否有办法在完成配置单元映射后处理配置单元分区？

例如，假设数据来自数据库，informatica BDE将文件写入HDFS目录。一个配置单元外部表位于该HDFS目录的顶部，现在需要添加该分区。(例如hive -e "ALTER TABLE cr.employee ADD PARTITION (par_date='20150824') location '/data/cr/employee/20150824'")。

这可以在本地完成informatica bde吗，或者我们是否需要安排一个单独的作业(例如，shell脚本)来执行此操作。

谢谢,

Answer 1

您可以通过以下两种方式完成此操作

1)创建外部分区表并将数据加载到配置单元表中，而不是HDFS文件中，还要确保在配置单元连接属性的环境sql中设置以下属性

设置hive.exec.dynamic.partition = true；设置hive.exec.dynamic.partition.mode =非严格；

2)如果您想要将此文件加载到HDFS文件中，那么您需要添加一个命令任务，该任务将称为hcat来更改/创建分区