首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何通过Azure Databricks更新azure SQL数据库/数据仓库表?

问如何通过Azure Databricks更新azure SQL数据库/数据仓库表?
EN

Stack Overflow用户
提问于 2019-01-24 19:01:54
回答 1查看 3.2K关注 0票数 3

我在我的项目中有一个需求,我在Azure SQL DW中实现SCD类型2表。我可以使用JDBC连接器插入新记录,但我需要将旧记录更新为“过期”,并根据更新值更新其他记录。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-01-24 23:02:32

推荐的模式是使用Databricks Azure SQL DW Connector来大容量加载临时表,或者将新数据写入blob存储中的文件,或者进行数据记录并使用Polybase外部表来保存新行。

然后,一旦新数据被加载到临时表中,或者在Polybase外部表中可用,就编写一个TSQL存储过程来“将旧记录更新为”过期“,并根据更新值更新其他记录”。

Spark只知道如何运行查询和加载表。但是您已经安装了JDBC驱动程序,并且可以从Scala或Java使用JDBC访问。例如:

代码语言:javascript
复制
%scala

import java.util.Properties
import java.sql.DriverManager

val jdbcUsername = dbutils.secrets.get(scope = "kv", key = "sqluser")
val jdbcPassword = dbutils.secrets.get(scope = "kv", key = "sqlpassword")
val driverClass = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

// Create the JDBC URL without passing in the user and password parameters.
val jdbcUrl = s"jdbc:sqlserver://xxxxx.database.windows.net:1433;database=AdventureWorks;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"

val connection = DriverManager.getConnection(jdbcUrl, jdbcUsername, jdbcPassword)
val stmt = connection.createStatement()
val sql = """

exec usp_someproc ...

"""

stmt.execute(sql)

connection.close()
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54345110

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档