使用AvroMultipleOutputs创建多个输出文件

Question

我有一个使用AvroKeyOutput作为输出格式的Reducer。默认情况下，MapReduce会将我的所有密钥写入到一个输出文件中。我想为每个键值写一个单独的输出文件。Avro提供了AvroMultipleOutputs方法，但示例很少。由Apache AvroMultipleOutputs提供的一个示例展示了如何在定义作业时预先配置各种输出。示例显示：

作业：

AvroMultipleOutputs.addNamedOutput(job, "avro1", AvroOutputFormat.class, schema);

AvroMultipleOutputs.addNamedOutput(job, "avro2", AvroOutputFormat.class, null);

减速机：

amos = new AvroMultipleOutputs(conf);

amos.getCollector("avro1", reporter).collect(datum);

amos.getCollector("avro2", "A", reporter).collect(datum);

amos.getCollector("avro3", "B", reporter).collect(datum);

但我不知道我需要多少个文件，也不知道它们的名称是什么，因为它是基于我的reducer中的键值。我如何修改它以适应动态文件命名？

Answer 1

你可以在这种情况下使用的策略：

对于AvroMultipleOutputs.write(String namedOutput, Object key, Object value, String baseOutputPath)中的基本输出路径，

• 使用仅地图作业(零减去任务)
• 具有单个命名的多个输出map()使用您的键值作为基本输出路径