SparkSQL -直接读取拼花文件

Question

我正在从Impala迁移到SparkSQL，使用以下代码读取表：

my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table')

如何调用上面的SparkSQL，这样它就可以返回如下内容：

'select col_A, col_B from my_table'

Answer 1

在从parquet文件中创建Dataframe之后，您必须将其注册为临时表才能在其上运行sql queries。

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val df = sqlContext.read.parquet("src/main/resources/peopleTwo.parquet")

df.printSchema

// after registering as a table you will be able to run sql queries
df.registerTempTable("people")

sqlContext.sql("select * from people").collect.foreach(println)

Answer 2

使用普通SQL

JSON、ORC、Parquet和CSV文件可以被查询为，而无需在DataFrame上创建表。

//This Spark 2.x code you can do the same on sqlContext as well
val spark: SparkSession = SparkSession.builder.master("set_the_master").getOrCreate

spark.sql("select col_A, col_B from parquet.`hdfs://my_hdfs_path/my_db.db/my_table`")
   .show()

Answer 3

假设您有HDFS中的拼花文件ventas4：

hdfs://localhost:9000/sistgestion/sql/ventas4 4

在这种情况下，步骤如下：

1. 为SQL上下文充电： val sqlContext =新的org.apache.spark.sql.SQLContext(sc)
2. 请阅读地板文件： val ventas=sqlContext.read.parquet("hdfs://localhost:9000/sistgestion/sql/ventas4")
3. 注册一个时态表： ventas.registerTempTable("ventas")
4. 执行查询(在这一行中，可以使用toJSON传递JSON格式，也可以使用collect())： sqlContext.sql("select * from ventas").toJSON.foreach(println(_)) sqlContext.sql("select * from ventas").collect().foreach(println(_))