这是我的数据帧,我正在尝试使用index删除同名的重复列:
df = spark.createDataFrame([(1,2,3,4,5)],['c','b','a','a','b'])
df.show()输出:
+---+---+---+---+---+
| c| b| a| a| b|
+---+---+---+---+---+
| 1| 2| 3| 4| 5|
+---+---+---+---+---+我拿到了数据帧的索引
col_dict = {x: col for x, col in enumerate(df.columns)}
col_dict输出:
{0: 'c', 1: 'b', 2: 'a', 3: 'a', 4: 'b'}现在我需要删除具有相同名称的重复列名
发布于 2019-12-19 06:48:16
没有使用索引删除列的方法。实现这一点的一种方法是重命名重复的列,然后删除它们。
这里有一个你可以适应的例子:
df_cols = df.columns
# get index of the duplicate columns
duplicate_col_index = list(set([df_cols.index(c) for c in df_cols if df_cols.count(c) == 2]))
# rename by adding suffix '_duplicated'
for i in duplicate_col_index:
df_cols[i] = df_cols[i] + '_duplicated'
# rename the column in DF
df = df.toDF(*df_cols)
# remove flagged columns
cols_to_remove = [c for c in df_cols if '_duplicated' in c]
df.drop(*cols_to_remove).show()
+---+---+---+
| c| a| b|
+---+---+---+
| 1| 4| 5|
+---+---+---+https://stackoverflow.com/questions/59398215
复制相似问题