Azure数据流

Question

我需要用新的数据定期更新现有的一组30+ CSV文件(追加到末尾)。还需要在将Y行添加到末尾时可能删除前X行。

我是否以正确的方式使用正确的服务？

• Azure Blob存储以存储现有和更新的文件.

• Azure DataFactory和DataFlows。每个CSV都要转换一个PipeLine和DataFlow，它进行数据集的合并(现有+更新)，生成一个接收器文件集，将新的组合CSV重新放入Blob存储。

。

• 存储更新目录上的触发器，以便在上传新的更新文件时触发管道。

问题：

• 是解决这个问题的最好方法，我需要一个用户输入最少的解决方案(只要他们只需要上传一个文件并下载新的文件就可以了)
• ，每个CSV文件需要管道和数据流吗？或者我是否可以为每个转换类型创建一个数据集(即仅用于追加，另一个用于追加和删除前X行)
• I将为每个CSV (30+ Dir)在blob存储区中创建一个目录，并为每个现有目录和更新文件创建一个数据集。
• 然后为每个输出文件创建一个数据集到一些新的/目录

中

Answer 1

根据CSV的大小，您可以在数据流中执行追加操作，方法是将新数据和现有CSV文件作为源，然后将这2个文件合并到一起创建一个新文件。

或者，对于较大的文件，使用复制活动“合并文件”设置将两个文件合并在一起。