spark.sql()和spark.read.format("jdbc").option("query“、"")之间有什么区别？

Question

我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？

Answer 1

是的，斯派克也做得更多！

Spark-Jdbc:

来自星火博士 Jdbc()用于从其他数据库(oracle、mysql、sqlserver、postgres、db2..etc)读取/写入数据。

spark.read.format("jdbc").option("query", "(select * from <db>.<tb>)e")

Spark-Sql:

从医生那里 Spark的模块用于处理结构化数据，并允许您使用、DataFrame、API、或SQL API查询数据。

1. 我们可以使用Spark读取hive/presto/athena/delta/csv/parquet.等文件中的数据。
2. 在dataframe上创建一个临时视图/表，然后运行SQL查询。
3. 容易将RDD的/Dataframes写入Hive或Parquet文件。

​

​