如何在java中用apache SPARK拆分和过滤字符串

Question

我已经学习了几个教程，但是我不能掌握我的想法(在我的例子中不能应用地图分割过滤器的原理)，假设我有一个字符串“customer1，buy:order5”我想计算不同字符串中购买单词的数量以及我的流中客户购买的商品数量

            JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(",")).iterator()).filter(x -> Arrays.asList(conteneur).contains(x));
        // compte le nombre d'ads accepté et le nombre d'add refusées
        JavaPairDStream<String,Integer> nbr = words.mapToPair(x -> new Tuple2<>(x,1)).reduceByKey((a,b) -> a+b);
       nbr.map((Function<Tuple2<String, Integer>, String>) tuple -> {

            return   String.valueOf(tuple._2) +","+tuple._1 ;}).print();

在下面的代码中，我计算了像"customer1，buy“这样的字符串流中的购买和卖出数量。

如果有人能给我解释一下，我会很高兴

Answer 1

如果您的所有输入行都是"customer1，buy:order5“类型，那么您可以像这样编写代码：

int buy = sparkContext.textFile("sample-data.txt").map(s -> (s.split("buy").length - 1))
            .reduce((s1, s2) -> s1 + s2).intValue();
    System.out.println(buy);