使用Pyspark连接到Amazon Aurora

Question

我是新来的。我正在尝试使用Pyspark从Databricks连接到Aurora。任何人都可以共享一个示例代码来连接Aurora，从Databricks使用Pysparks连接到Aurora。

Answer 1

在做了一些分析之后，我得到了自己问题的答案。这与连接到其他oracle数据库是一样的。

在这里，我们需要安装后置gres驱动程序作为先决条件。

SparkSession.builder.appName("Aurora_Database_Connection").getOrCreate()
driver_aurora = "org.postgresql.Driver"
query="your query"
df = spark.read.format("jdbc").option("driver", driver).option("url", url).option("user", username).\
option("password", password).option("query", query).load()