如何利用数据库服务原理通过spark dataframe将批量数据插入Sql Server数据仓库

Question

我正在尝试通过spark dataframe将批量数据插入到Databricks中的Sql server数据仓库。为此，我正在使用具有服务原则的pyodbc模块(而不是通过使用jdbc)，.I已经实现了单次插入。我找不到一种方法将批量数据插入到sql server数据warehouse.Can中，有人能帮我找到批量插入数据的方法吗？

Answer 1

示例如下：https://docs.databricks.com/spark/latest/data-sources/azure/sql-data-warehouse.html

尽管这倾向于建议您在这两者之间使用blob存储帐户。

您还可以使用标准的SQL接口：https://docs.databricks.com/spark/latest/data-sources/sql-databases.html

但是您不能使用服务主体-您将需要SQL登录。我会将连接字符串作为密钥存储在密钥库中(使用SQL登录)。使用您的服务主体获取密钥，然后使用connetionstring连接到SQL。

Answer 2

你可以使用polybase很好地做到这一点，它需要一个位置来存储临时文件：

https://docs.databricks.com/data/data-sources/azure/sql-data-warehouse.html#azure-sql-data-warehouse