如何将注册为spark表的表放入数据帧

Question

我已经使用spark-thriftserver connection将表从PostgreSQL数据库导入到spark-sql中，现在我可以从直线上看到这些表。

有没有办法把这些表格转换成spark数据帧？

Answer 1

这适用于Spark > 2.0：df = spark.table('table')

Answer 2

spark 2.0.0 http://spark.apache.org/docs/latest/sql-programming-guide.html

SparkSession上的sql函数使应用程序能够以编程方式运行SQL查询，并以DataFrame形式返回结果。

# spark is an existing SparkSession
df = spark.sql("SELECT * FROM table")

spark 1.6.2 http://spark.apache.org/docs/1.6.2/sql-programming-guide.html

以编程方式运行SQL查询

SQLContext上的sql函数使应用程序能够以编程方式运行SQL查询，并以DataFrame形式返回结果。

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.sql("SELECT * FROM table")

Answer 3

这更简单(spark2.4)：

df = spark.table('your_table')
display(df)