回答情况：
提问时间：
问题标签：
我跑我得到了然后我跑了pip listapache-beam 2.2.0 python -m apache_beam.examples.wordcount --output cout The但是pip安装，我还是得到了apache-beam 2.2。
请帮帮忙。
浏览 0提问于2019-01-27得票数 0
回答已采纳
conda install apache-beamconda install -c conda-forge apache-beam==2.31.0conda install -c conda-forge/label/cf201901apache-beam
第二条和第三条命
浏览 2提问于2021-08-15得票数 0
回答已采纳
我正在使用zsh，我已经安装了gcloud，以便通过我的Mac上的本地终端与GCP交互。我遇到了这个错误“zsh: no matches :apache-beamgcp”。但是，当我在GCP控制台上的bash终端上直接运行命令时，没有这样的错误。我该怎么处理？谢谢。
浏览 5修改于2020-03-11得票数 10
pip install -q apache-beam[gcp]
p | beam.Create
浏览 22修改于2021-01-08得票数 0
apache-beam是否支持jdk版本1.12。如果不支持，apache-beam支持的最新jdk版本是什么
浏览 11修改于2019-07-13得票数 0
回答已采纳
我正在执行一个简单的单词统计程序，其中我使用一个Kafka主题(生产者)作为输入源，然后应用pardo来计算单词计数。现在我需要帮助写单词到不同的主题的基础上，他们的频率。让我们说所有频率为偶数的单词将转到主题1，其余的将转到主题2。
浏览 7提问于2020-07-07得票数 0
我可以在看到最新的可用版本是v2.22.0但是，当我尝试使用conda install -c conda-forge/label/cf201901 apache-beam安装时，它尝试安装2.16.0版本：Collecting package metadata (current_repodata.json## Package Plan ##
environment location:
浏览 6提问于2021-01-13得票数 3
回答已采纳
我正在使用ApacheBEAM2.5.0pythonSDK有办法并行化吗？ parser = argparse.ArgumentParser() options = PipelineOptions
浏览 0修改于2019-02-11得票数 1
当我运行pip install apache-beam[gcp]时，我得到以下错误 command: /
浏览 0修改于2020-10-16得票数 1
我在中有一个工作流管道，它从pub/sub中获取数据，在数据流中执行充实并将其传递给大查询。所以，我想我应该使用与beam不同的方法，但是一旦我使用它，我的管道中断(不能再继续，任何本地打印也是不可见的)。 with beam.Pipeline(options=options) as p:
message = (p | "ReadFromPubSub" >> beam.io.ReadFromPubSub(topic=known_args.t
浏览 1提问于2019-07-25得票数 1
回答已采纳
我正在尝试构建一个ETL来加载维度表。我使用的是Apache Bea，Python和DataFlow，还有BigQuery。我认为我需要DataFlow来进行前面的聚合和连接，以获得添加序列号的最终pcollection，但此时我需要停止并行处理，并将pcollection转换为一个列表(就像使用.collect()时在Spark中一样)，然后执行一个简单的循环来分配序列号。是对的吗？p | ReadFromAvro(known_args.inpu
浏览 0修改于2017-12-03得票数 1
回答已采纳
让我们假设我有以下格式的PCollection：| sale_id | product_id | amount || 1 | a | 1 || 2 | b | 12 |
|-----------|----------
浏览 0提问于2019-03-13得票数 0
回答已采纳
在我的apache-beam作业中，我调用了一个外部源，GCP存储，这可以被认为是一个通用的http调用，重要的是它是一个外部调用来丰富作业。
浏览 16提问于2019-06-06得票数 0
目前，我在Python中有一个apache-beam管道，在该管道中，我正在读取拼花，将其转换为dataframe来进行一些熊猫的清理，然后将其转换回我想要编写文件的parquet。
浏览 8提问于2022-10-24得票数 2
回答已采纳
我正在尝试使用cloud dataflow runner从我的beam管道中读取bigquery中的数据。我想提供一个凭证来访问该项目。 我在Java中见过示例，但在Python中没有见过。 我发现唯一的可能性是使用：--service_account_email参数，但如果我想在所有选项中的代码中给出.json键信息怎么办: google_cloud_options.service_account = '/path/ to /credential.json‘ options = PipelineOptions(flags=argv)
google_cloud_options = o
浏览 15修改于2021-01-08得票数 1
回答已采纳
ERROR: Could not find a version that satisfies the requirement grpcio<2,>=1.29.0 (from apache-beam[gcp
浏览 5提问于2021-08-04得票数 0
我在使用从CircleCI启动的GCP Dataflow runner运行python Apache光束管道时遇到了严重的问题。如果有人能给我一些关于如何解决这个问题的提示，我将不胜感激，我已经尝试了所有的方法，但似乎都不起作用。 基本上，我运行的是在数据流中运行并使用google-api-python-client-1.12.3的python Apache光束管道。如果我在我的机器(python3 main.py --runner dataflow --setup_file /path/to/my/file/setup.py)中运行该作业，它就能正常工作。如果我从CircleCI中运行相同
浏览 10提问于2020-10-13得票数 2
回答已采纳
我写了一些流水线(从Pub/Sub开始)，我想给它添加一些窗口机制。现在我想以适当的方式来测试它，那么如何创建一些“虚拟”流呢？ 我的代码： pipeline_options = PipelineOptions()pipeline_options.view_as(StandardOptions).streaming = Truexm
浏览 9提问于2019-06-18得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号