我正在探索以增量方式将S3斑点复制到蓝色斑点的方法。我尝试过azure数据工厂,但是我找不到这个选项。
S3有数以百万计的对象,如果没有增量选项,它需要几个小时才能完成。
我愿意探索其他工具/选项。
发布于 2018-10-31 09:50:29
如果您需要每天/每小时执行增量复制,则应该选择scheduled/tumbling window触发器。Here就是一个值得参考的例子。ADFv2还支持在副本中压缩,您可以指定s3对象的压缩类型和压缩级别,单击here了解更多信息。
https://stackoverflow.com/questions/53074516
复制相似问题