在MapReduce中将文件分割成80%和20%的更好的建模和预测方法

Question

我试图将我的HDFS文件分为2部分/文件，80%和 20% 用于分类算法(80%用于建模，20%用于预测)，请给出建议。

要获取80%和20%到2个分离的文件，我们需要知道数据set.And中记录的确切数量，只有当我们检查一次数据集时才知道。因此，我们需要编写1 MapReduce作业来计算记录的数量，并使用多个输入将80%和20%分离为2个文件的2和Mapreduce作业。

我是在正确的轨道上，还是有任何替代同样的选择。

但是再一次，一个小混乱的如何检查减速器是否填充了80%的数据。

Answer 1

我建议您使用Random拆分数据集，使用MultipleOutputs将数据写入不同的路径。只需一份地图就可以完成。下面是一个您可以使用的mapper示例：

public class Splitter extends Mapper<LongWritable, Text, NullWritable, NullWritable> {
    MultipleOutputs mos;
    Random rnd = new Random();

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        mos = new MultipleOutputs(context);
    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        if (rnd.nextDouble() < 0.8) {
            mos.write(key, value, "learning-set");
        } else {
            mos.write(key, value, "test-set");
        }
    }

    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        mos.close();
    }
}