azure数据迁移工具的插入或跳过选项？

Question

我目前正在使用Azure数据迁移工具从表存储迁移到Cosmos，我正在寻找一种方法来识别记录是否存在，以避免重复的处理开销--我的期望是跳过现有记录将节省时间。我更喜欢使用这个工具而不是AzCopy，因为据我所知，它是一个更流线型的过程。然而，在查看了here的文档之后，我还没有找到一种用它来标识现有记录的方法。我正在寻找在AzCopy中可用的类似"InsertOrSkip"标志的东西。有没有人知道数据迁移工具中是否有等价物，只是在指南中没有明确指出？谢谢大家。

Answer 1

spb。根据我对Azure数据迁移工具github source code的研究，它没有这样的Insert or skip机制。

但是，也许我可以为您提供两种变通方法。

首先，您可以使用Azure Data Factory服务来实现您的数据transmission.Make作为源的table storage，并使cosmos db表api作为sink.You可以在azureTableSourceQuery属性中编写query sql来过滤重复数据。

第二个，你可以使用Azure Function CosmosDB Trigger。数据的任何增量都将触发该方法检查数据是否已存在于数据库中。如果是，则删除。

希望能对你有所帮助。