回答情况：
提问时间：
问题标签：
我正试图通过中间的一个帖子构建一个Google数据流管道。但是，我似乎缺少了一个项目参数，它引发了以下错误。我很感激你能帮我渡过难关。ERROR:apache_beam.runners.direct.executor:Giving up after 4 attempts.
WARNING:apache_beam.runners.direct.executor:A task failed with exception:
浏览 0修改于2020-08-24得票数 0
回答已采纳
试图将简单的Parquet文件读入我的Google DataFlow管道Read.Bounded<KV<Void, GenericData>> results = HadoopFileSource.readFrom
浏览 1提问于2017-01-28得票数 0
当我尝试运行以下命令时： D:\Dev\spring-cloud-dataflow> set DATAFLOW_VERSION=2.1.0.RELEASE
D:\Dev\spring-cloud-dataflowERROR: Missing mandatory value for "image" option in service "dataflow-server": DATAFLOW_VERSION is notD:\Dev\spring-c
浏览 31修改于2019-05-30得票数 2
com.google.cloud.dataflow.sdk.util.UserCodeException: java.nio.channels.ClosedChannelException at com.google.cloud.dataflow.sdk.util.DoFnRunner.processElement(DoFnRunner.java:
浏览 0修改于2015-11-21得票数 2
1回答
我需要在我的数据流管道中使用JNI。JNI使用C++库，它对其他系统库具有大量的外部依赖。当工作人员运行使用DoFn库的C++时，确保库在操作系统中的位置的最佳方法是什么？
浏览 0修改于2018-02-08得票数 5
在谷歌云平台-数据流中，当流式传输未绑定的PCollection (比如使用PubSubIO的PubSub主题)时，有没有一种有效的方法来启动和停止数据流中的波束管道？(示例在一天开始时运行，在一天结束时结束)是让调度程序拥有Cron App engine服务并启动上面的管道作业然后停止该作业的唯一方法吗？只是看看有没有其他的选择。
浏览 8提问于2018-07-14得票数 3
回答已采纳
堆栈驱动程序日志显示它正在/var/opt/google/dataflow/class-name.jar!/data.json.中查找该文件当我通过ssh进入工作进程的VM实例时，文件实际上在/var/opt/google/dataflow/dataflow/class-name.jar.中这在昨天是有效的catch (Exception e) { }
果然，在
浏览 0修改于2018-05-11得票数 3
我在一个独立版本中使用了NIFI，现在我已经用HDF安装了一个集群NIFI版本，我想将我的DataFlow从我的独立版本迁移到集群版本。
做这件事最好的方法是什么？
浏览 9提问于2017-01-04得票数 1
回答已采纳
我正在创建一个流，其中源(生产者)在大约8分钟内产生了大约1200万条记录，转换器(消费者)开始使用它们，但在大约4分钟的某个时候，应用程序的日志中显示了以下内容，并且它停止接收超过这一点的任何内容：
2018-07-11 21:59:18,811 24043857 [kafka-coordinator-heartbeat-thread | cdSomeApp] INFO o.a.k.c.c.i.AbstractCoordinator - [Consumer clientId=consumer-2, groupId=cdSomeApp] Marking the coordinator 10.
浏览 0提问于2018-07-12得票数 0
我曾尝试使用ADF dataflow通过toFlaot()函数将数据为'630.180004119873‘的列转换为浮点数据类型，但是当输出时，我可以看到数据被转换为'630.18’。有谁知道如何防止ADF DataFlow toFloat函数将结果保持为'630.180004119873‘而不是转换为'630.18'？
代码如下：
浏览 0修改于2020-06-18得票数 0
使用GCP提供的标准存储/文本文件到PubSub工作节点模板，但是尽管我设置了# DataFlow eq1，但对于下游组件，处理消息的吞吐量是“高”的。有没有办法控制DataFlow的处理速度？需要更软/更慢的启动，以便下游组件有时间扩大规模。 有没有人？
浏览 11提问于2020-04-24得票数 0
作为参考，完整的跟踪： File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 642,in do_work File "/usr/local/lib/python2.7/dist-packages/dataflow_worker
浏览 32提问于2019-02-27得票数 1
回答已采纳
:111} INFO -开始等待DataFlow进程完成。from datetime import datetime, timedeltafrom airflow.contrib.hooks.gcp_dataflow_hookdataflowHook = DataFlowHook(gcp_conn_id='google_cloud_platform_id')
dataflowHook.start_python_dataflow(task_id='
浏览 1提问于2018-06-06得票数 0
File "<myPC_DIRPATH>/webapi-dataflow/pubsubtemplate.py", line 327, in <module> result =p.run()
File "<
浏览 0修改于2018-07-02得票数 1
回答已采纳
我的命令行：mvn exec:java -pl examples -Dexec.mainClass=com.google.cloud.dataflow.examples.TrafficStreamingMaxLaneFlowto execute goal org.codehaus.mojo:exec-maven-plugin:1.1:java (default-cli) on project google-cloud-dataflow-java-examples-allnull: InvocationTargetException: Failed to co
浏览 0提问于2015-03-10得票数 0
(Pipeline.java:186) at com.google.cloud.dataflow.sdk.coders.AvroCoder.of(AvroCoder.java:144:748)
at com.google.cloud.dataflow.sdk.coders.CoderRegistr
浏览 0修改于2017-05-23得票数 0
回答已采纳
我在Azure数据工厂数据流中收到以下错误条件，如下图所示。 ? {"message":"DSL stream has parsing errors\nLine 11 Position 207: token recognition error at: '\\n'. Details:DSL stream has parsing errors\nLine 11 Position 207: token recognition error at: '\\n'","failureType":"UserE
浏览 39修改于2020-08-11得票数 1
回答已采纳
运行Apache后，我成功地运行了12天(11月5-17日)的流管道，然后DataFlow作业停止了数据处理。我在接触AI平台预测时看到了SSL错误，DataFlow显示：版本Python 2.7 Apache Beam GCP: 2.16.0-> PubSub ->
浏览 1修改于2019-12-07得票数 0
当我处理一个大文件(5行million+行)时，会看到一些奇怪的东西。在代码中，我的碎片数被设置为1。然而，当我看到超过15个文件被踢出时，我不知道为什么。谷歌搜索并没有给我任何解释为什么会发生这种情况。 results.get(valid).setCoder(StringUtf8Coder.of()).apply("Build Window For Valid Entries", Window.<String>into(new GlobalWindows()).triggering(Repeatedly.forever(Af
浏览 0提问于2018-10-19得票数 0
回答已采纳
{gcp_dataflow_hook.py:108} INFO - Start waiting for DataFlow process to complete. hook.start_java_dataflow(self.task_id, dataflow_options, self.jar)
File"/usr/lib/python2.7/site-pa
浏览 2修改于2017-09-12得票数 2
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号