我在我的项目中有一个需求,我在Azure SQL DW中实现SCD类型2表。我可以使用JDBC连接器插入新记录,但我需要将旧记录更新为“过期”,并根据更新值更新其他记录。
发布于 2019-01-24 23:02:32
推荐的模式是使用Databricks Azure SQL DW Connector来大容量加载临时表,或者将新数据写入blob存储中的文件,或者进行数据记录并使用Polybase外部表来保存新行。
然后,一旦新数据被加载到临时表中,或者在Polybase外部表中可用,就编写一个TSQL存储过程来“将旧记录更新为”过期“,并根据更新值更新其他记录”。
Spark只知道如何运行查询和加载表。但是您已经安装了JDBC驱动程序,并且可以从Scala或Java使用JDBC访问。例如:
%scala
import java.util.Properties
import java.sql.DriverManager
val jdbcUsername = dbutils.secrets.get(scope = "kv", key = "sqluser")
val jdbcPassword = dbutils.secrets.get(scope = "kv", key = "sqlpassword")
val driverClass = "com.microsoft.sqlserver.jdbc.SQLServerDriver"
// Create the JDBC URL without passing in the user and password parameters.
val jdbcUrl = s"jdbc:sqlserver://xxxxx.database.windows.net:1433;database=AdventureWorks;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"
val connection = DriverManager.getConnection(jdbcUrl, jdbcUsername, jdbcPassword)
val stmt = connection.createStatement()
val sql = """
exec usp_someproc ...
"""
stmt.execute(sql)
connection.close()https://stackoverflow.com/questions/54345110
复制相似问题