首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >MapReduce:正在编写不被期望的奇怪值

问MapReduce:正在编写不被期望的奇怪值
EN

Stack Overflow用户
提问于 2022-05-31 16:53:11
回答 1查看 13关注 0票数 0

我在Java中的还原函数是在不需要的输出文件值上进行写入。我用断点检查我的代码,我发现,对于我发出的每个context.write调用,我正在编写的键和值都是正确的。我在哪里犯错误?

我想要做的是输入行类型日期、客户、供应商、表示事务的金额,并生成一个数据集,其中包含一个数据集,如日期、用户、余额,其中余额是用户既是客户也是供应商的所有事务的总和。

这是我的代码:

代码语言:javascript
复制
public class Transactions {
 
    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, Text>{
 
        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            var splittedValues = value.toString().split(",");
            var date = splittedValues[0];
            var customer = splittedValues[1];
            var vendor = splittedValues[2];
            var amount = splittedValues[3];
            var reduceValue = new Text(customer + "," + vendor + "," + amount);
            context.write(new Text(date), reduceValue);
        }
    }
 
    public static class IntSumReducer
            extends Reducer<Text,Text,Text,Text> {
 
        public void reduce(Text key, Iterable<Text> values,
                           Context context
        ) throws IOException, InterruptedException {
            Map<String, Integer> balanceByUserId = new ConcurrentHashMap<>();
            values.forEach(transaction -> {
                var splittedTransaction = transaction.toString().split(",");
                var customer = splittedTransaction[0];
                var vendor = splittedTransaction[1];
                var amount = 0;
                if (splittedTransaction.length > 2) {
                    amount = Integer.parseInt(splittedTransaction[2]);
                }
                if (!balanceByUserId.containsKey(customer)) {
                    balanceByUserId.put(customer, 0);
                }
                if (!balanceByUserId.containsKey(vendor)) {
                    balanceByUserId.put(vendor, 0);
                }
                balanceByUserId.put(customer, balanceByUserId.get(customer) - amount);
                balanceByUserId.put(vendor, balanceByUserId.get(vendor) + amount);
            });
 
            balanceByUserId.entrySet().forEach(entry -> {
                var reducerValue = new Text(entry.getKey() + "," + entry.getValue().toString());
                try {
                    context.write(key, reducerValue);
                } catch (IOException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            });
        }
    }
 
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "transactions");
        job.setJarByClass(Transactions.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}
EN

回答 1

Stack Overflow用户

发布于 2022-05-31 21:02:07

,其中余额是用户既是客户也是供应商的所有事务的总和。

balanceByUserId只存在于每个唯一日期,因为您的地图键是日期。

如果您想按客户信息聚合customer (名称/ ID?),那么应该是映射器输出的关键。

一旦每个客户的所有数据按还原器分组,您就可以按日期(如果需要)进行排序,但根据其他详细信息进行汇总。

同样值得指出的是,在Hive或SparkSQL中,这比Mapreduce更容易实现。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72451540

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档