首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用pyspark中的列索引删除同名的列

问使用pyspark中的列索引删除同名的列
EN

Stack Overflow用户
提问于 2019-12-19 02:35:24
回答 1查看 2.5K关注 0票数 4

这是我的数据帧,我正在尝试使用index删除同名的重复列:

代码语言:javascript
复制
df = spark.createDataFrame([(1,2,3,4,5)],['c','b','a','a','b'])
df.show()

输出:

代码语言:javascript
复制
+---+---+---+---+---+
|  c|  b|  a|  a|  b|
+---+---+---+---+---+
|  1|  2|  3|  4|  5|
+---+---+---+---+---+

我拿到了数据帧的索引

代码语言:javascript
复制
col_dict = {x: col for x, col in enumerate(df.columns)}
col_dict

输出:

代码语言:javascript
复制
{0: 'c', 1: 'b', 2: 'a', 3: 'a', 4: 'b'}

现在我需要删除具有相同名称的重复列名

EN

回答 1

Stack Overflow用户

发布于 2019-12-19 06:48:16

没有使用索引删除列的方法。实现这一点的一种方法是重命名重复的列,然后删除它们。

这里有一个你可以适应的例子:

代码语言:javascript
复制
df_cols = df.columns
# get index of the duplicate columns
duplicate_col_index = list(set([df_cols.index(c) for c in df_cols if df_cols.count(c) == 2]))

# rename by adding suffix '_duplicated'
for i in duplicate_col_index:
    df_cols[i] = df_cols[i] + '_duplicated'

# rename the column in DF
df = df.toDF(*df_cols)

# remove flagged columns
cols_to_remove = [c for c in df_cols if '_duplicated' in c]
df.drop(*cols_to_remove).show()

+---+---+---+
|  c|  a|  b|
+---+---+---+
|  1|  4|  5|
+---+---+---+
票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59398215

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档