我有azure数据工厂管道,它通过调用Azure数据流来存储带有一些操作的数据。这里,blob存储中的文件名应该是pipeline-run-id。
流水线复制活动有‘复制行为’,我在数据流的接收器流中找不到相关的选项?
现在我有一种情况,我将在同一管道中多次调用相同的azure数据流执行。正因为如此,我的文件在blob中被覆盖。但我希望将新数据附加到同一文件中。
例如。如果流水线运行id '9500d37b-70cc-4dfb-a351-3a0fa2475e32‘且来自流水线数据流调用执行2次。在这种情况下,9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv只有第二个azure数据流进程的数据。
发布于 2020-01-20 10:22:43
数据流不支持copyBehavior。这意味着数据流不支持合并/追加文件。

每次调用数据流时,都会创建一个新文件'9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv‘,并替换现有的'9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv’。
希望这能有所帮助。
https://stackoverflow.com/questions/59807525
复制相似问题