从onprem到数据湖存储的azure数据湖增量复制任务

Question

我在prem servefr上有3个文件夹，每个文件夹都有几个文件。我的目标是以增量方式将文件从onprem服务器加载到数据湖中，因此，一旦我们下次将文件复制到数据湖中，只需移动新文件。

提前感谢vipin jha

Answer 1

你看过Azure Data Factory的数据移动吗？

否则，你将不得不实现一个上传过程，保持一个“高水位线”，告诉你你已经上传了什么，然后只在水印之后才开始文件的上传。例如，如果你每天上传，把最后一天写到一个文件中，比如你读到的文件，以确定第二天从哪里开始。此外，还要确保以一种简单的方式组织数据。