我可以在Azure环境之外使用Azure Synapse功能吗？

Question

论坛，

我目前正在研究Azure Synapse作为迁移我们的on数据架构的一种选择。我对它提供的功能感到兴奋- SQL池、火花池和附带的笔记本。我知道Synapse可以在一个数据平台中发挥作用，我的数据科学家和数据分析者可以利用它的功能随意提供见解。然而，我的团队所做的大部分工作是创建数据产品。

我们目前有一个kubernetes集群，它有几个独立的API，在我们软件的更大的整体中执行数据科学操作。它们可以被认为是微型服务。K8S集群中的微服务(通常是python +一些python包+ FastAPI)通常通过使用ODBC连接器从SQL-server获取所需的数据。

现在我的问题是，Synapse是否适合这样的架构？我是否可以调用SQL池或火花池从蔚蓝的环境之外(例如从kubernetes吊舱)进行繁重的数据提升？

Answer 1

不幸的是，您无法将Azure Synapse Analytics与Kubernetes服务集成。

Synapse SQL帮助执行SQL查询，而Apache则对大数据执行批处理/流处理。SQL池用于处理存储在专用SQL池中的数据，而Spark SQL可以与您可能在Azure Databricks或Azure Machine Learning Services中持有的现有数据准备或数据科学项目集成。

此外，根据这个第三方文件，Analytics不能与Kubernetes服务集成。

​

​

作为解决办法，您可以将数据从Kubernetes复制/移动到Azure服务，如Azure专用SQL池、Azure Blob存储或Azure Data Lake Storage，然后将其与Azure Synapse管道或Spark Pool集成。