将pig作业输出存储到从数据派生的目录结构中

Question

我希望实现以下目标：

我的输入数据如下

{"metadata":
{
"producerName":"capture_api",
"producerVersion":"3.0.13"
},
"payload":
{
--some payload 
}
}

我想使用一个pig脚本来存储这些数据，如下所示

/finalOutputDir/producerName/producerVersion/File.txt

有没有办法让我这么做。我尝试过使用MultiStorage函数，但该类只支持一个字段。我可以覆盖multistage中的功能，但只是想检查是否有更简单的选项。

Answer 1

存钱罐MultiStorage可以将数据分到多个文件夹中(只有一个？)字段。

STORE data INTO '$out/$producerName' USING org.apache.pig.piggybank.storage.MultiStorage('$out/$producerName', '0', 'none', ',');