首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache WordCount - NoResult - PyFlink

Apache WordCount - NoResult - PyFlink
EN

Stack Overflow用户
提问于 2022-01-12 10:38:52
回答 1查看 158关注 0票数 0

我用PyFlink开发了一个单词计数程序。该程序没有抛出任何错误,也没有提供所需的输出。根据代码,程序应该创建一个新的文本文件,但在执行时没有生成任何文件。请帮助,我的代码附在下面。

代码语言:javascript
复制
from flink.plan.Constants import WriteMode
from flink.plan.Environment import get_environment
from flink.functions.FlatMapFunction import FlatMapFunction
from flink.functions.GroupReduceFunction import GroupReduceFunction
from pyflink import datastream

from pyflink.common import WatermarkStrategy, Encoder, Types
from pyflink.datastream import StreamExecutionEnvironment, RuntimeExecutionMode
from pyflink.datastream.connectors import (FileSource, StreamFormat, FileSink, OutputFileConfig, RollingPolicy)
                                       
class Tokenizer(FlatMapFunction):
    def flat_map(self, value, collector):
        super().__init__()
        for word in value.lower().split(","):
            if len(word)>1:
                collector.collect((word, 1))

if __name__ == '__main__':

env = get_environment()
env.set_parallelism(2)
data = env.read_text("h.txt")

tokenized = data.flat_map(Tokenizer())
count = tokenized.group_by(0).sum(1)
count.write_text("D:/Cyber Security/Apache Flink")
EN

回答 1

Stack Overflow用户

发布于 2022-01-12 20:46:45

试着在程序的末尾使用env.execute("Word Count Example...")。它会启动你的死刑。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70680076

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档