Databricks:将数据帧合并到sql数据仓库表中

Question

有没有什么方法可以把数据插入到SQL数据仓库表中？假设我有一个Azure SQL数据仓库表: col1 col2 col3 2019 09 10 2019 10 15

我有一个dataframe col1 col2 col3 2019 10 20 2019 11 30

然后合并到Azure数据仓库表的原始表中

col1 col2 col3 2019 09 10 2019 10 20 2019 11 30

感谢大家的点子

Answer 1

问得好。我需要在几天内做同样的事情；只需要先完成一件初步的事情。尝试下面的概念，看看它是否适用于你。

写入Azure SQL数据库或SQL Server：

import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._

// Aquire a DataFrame collection (val collection)

val config = Config(Map(
  "url"          -> "mysqlserver.database.windows.net",
  "databaseName" -> "MyDatabase",
  "dbTable"      -> "dbo.Clients",
  "user"         -> "username",
  "password"     -> "xxxxxxxx"
))

import org.apache.spark.sql.SaveMode

collection.write.mode(SaveMode.Append).sqlDB(config)

请给我反馈，让我知道它是否适合你。我必须马上做这件事。

https://docs.databricks.com/data/data-sources/sql-databases-azure.html

https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-connect-to-sql-database

Answer 2

您可以将输出保存到一个文件中，然后使用azure数据工厂中的存储过程活动进行upsert。这只是一个小过程，它将插入来自文件的值。我假设您在这里使用的是Azure数据工厂。

Answer 3

请参阅数据掌握中的这篇很棒的文章，了解可重用SQLType2SCD函数，以便从数据库写入专用PySpark池(正式的Azure DW)！欢迎使用:)

https://www.linkedin.com/pulse/databricks-pyspark-type-2-scd-function-azure-pools-rory-mcmanus/