如何在pyspark中创建动态数据帧名称

Question

如何在pyspark中创建动态数据帧名称此处我无法使用以下代码创建新的数据帧它将只给我最后一个数据帧名称，我需要所有的数据帧名称

for prime2 in pdf2:
    ol2 =  Bucket_path + prime2['S3_File_with_Path']
    t = 1
    sd = {}  
    testR = "df" + str(t)
    print("testR",testR)
    sd[testR] = spark.read.format("parquet").load(ol2).cache() 
    t = t + 1 

Answer 1

看起来你是在循环中创建字典，所以得到一个只有一个(最后)条目的字典。尝试将代码更改为如下所示：

sd = {}  
for prime2 in pdf2:
    ol2 =  Bucket_path + prime2['S3_File_with_Path']
    t = 1
    testR = "df" + str(t)
    print("testR",testR)
    df = spark.read.format("parquet").load(ol2).cache() 
    sd[testR] = df
    t = t + 1 

# sd dict is available here, all the dataframes are inside
print(len(sd))