我测试数据流有一段时间了,今天我遇到了一些故障,错误消息是:
原因:(b8a42e32d0888f60):无法将输出文件从gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/@DAX.json重命名为gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/@*.json.原因:(b8a42e32d0888fdb):无法将"gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/-shard-00000-of-00940-endshard.json“重命名为"gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/-00000-of-00940.json.
这可能是GCS的问题吗?除了失败之外,还有警告抱怨“无法从GCS文件夹中删除临时文件”,我可以做些什么来避免它?
发布于 2015-04-22 07:36:58
我们已经确定了服务中的一个问题,该问题将在某些极少数情况下导致此故障。我们正在努力解决这个问题。同时,我们对给您带来的不便深表歉意。如果您使用BigQueryIO.Write输出数据,则更有可能出现此错误。
https://stackoverflow.com/questions/29639230
复制相似问题