如何用同步链路代替数据导出服务

Question

我们在很大程度上依赖于DES，因为它存在于今天，并一直在监测同步链接在过去一年来的发展，因为DES的反对声明。到目前为止，我们还没有找到关于如何充分利用Synapse链接和管道来准确复制DES功能的全面指南--这种服务会导致Server数据库(相比之下，无服务器/专用池不能充分执行)，延迟复制配置为导出的数据厌恶实体(包括OptionsetMetadata实体)的延迟时间长达15分钟。我们已经考虑并测试了通过以下链接可以找到的所有方法，但没有一个是DES的真正替代品：

https://powerapps.microsoft.com/en-us/blog/do-more-with-data-from-data-export-service-to-azure-synapse-link-for-dataverse/

https://learn.microsoft.com/en-us/power-apps/maker/data-platform/azure-synapse-incremental-updates

https://learn.microsoft.com/en-us/power-apps/maker/data-platform/azure-synapse-link-pipelines?tabs=synapse-analytics

https://learn.microsoft.com/en-us/power-apps/maker/data-platform/azure-synapse-link-synapse#access-near-real-time-data-and-read-only-snapshot-data

https://powerapps.microsoft.com/en-us/blog/do-more-with-data-from-data-export-service-to-azure-synapse-link-for-dataverse/

是用于Dataverse的Synapse，甚至可以替换数据导出服务。这里有什么秘密的酱汁吗？Microsoft docs似乎只提供有限的用例/预览功能，而不关注于对现有服务进行类似的替换。

Answer 1

我很理解你，因为我们目前正面临着同样的问题。

我们已经成功地使用Synapse将数据传输到Dataverse中。然后，我们努力使用数据管道，使用各种数据映射流，使用Azure SQL数据库中的所有数据，但这变得非常昂贵，而且过于昂贵，因为这将用于大数据，而不是用于简单的导出服务。由于我不是一个数据工程师，所以很难找到正确的解决方案。

根据我们的经验，我可以告诉你，我们找到了两个可能的解决方案，复制了以前的DES，没有让我们头痛。

1. 使用Azure Database，为Dataverse创建链接服务，然后为SQL创建一个链接服务，然后在ADF管道中创建一个简单的复制活动，使用这两个链接服务配置该活动，并且在Dataverse中出现新数据时，将频繁更新该SQL。请学习以下链接：https://learn.microsoft.com/en-us/azure/data-factory/connector-dynamics-crm-office-365?tabs=data-factory和https://learn.microsoft.com/en-us/azure/data-factory/tutorial-copy-data-dot-net (只研究复制数据活动特性，而不是整个https://learn.microsoft.com/en-us/azure/data-factory/tutorial-copy-data-dot-net副本)。我们还没有实现这个解决方案，但它仍然是一个后备计划。(https://learn.microsoft.com/en-us/azure/data-factory/copy-data-tool-metadata-driven)据我所知，这可以用于将数据从数据湖复制到SQL，而不会出现重大问题，但我尚未尝试此解决方案。

希望这能有所帮助！

Answer 2

没有服务器的SQL看起来太慢了，qyery性能就像扫描文本文件.)构建另一个将数据推送到专用SQL池的管道，会增加另一个复杂的层，甚至会增加更多的延迟。

限制对无服务器SQL池的访问也非常困难，因为禁用公共internet访问似乎会破坏Data链接，“允许Azure服务和资源访问此工作区”选项没有帮助。

真的期待微软在这个功能上投入更多，看起来第三方正在加入：https://projectum.com/power-hub/。