从PySpark创建的HiveContext分区数据

Question

我正在从HiveContext中获取数据并创建DataFrame。为了获得性能上的好处，我想在应用联接操作之前对DF进行分区。如何在“ID”列上定义数据，然后在“ID”上应用联接

spark = SparkSession.builder.enableHiveSupport().getOrCreate()
hiveCtx = HiveContext(spark)
df1 = hiveCtx.sql("select id,name,address from db.table1")
df2 = hiveCtx.sql("select id,name,marks from db.table2")

需要对数据执行以下操作

1. Dataframe partitionBy‘ID’
2. 由'ID'

加入

Answer 1

您可以使用重新分区。

参考火花文档：https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=repartition#pyspark.sql.DataFrame.repartition

根据您的数据大小，选择no.of.partition。

df1= df1.repartition(7, "id")