将电火花列值左移1

Question

我有一个火花放电数据，它看起来像这样：

|name|age|height      |weight             
+-------------+--------------------+------------------------+------------------------+-------------------------+--------------------+------------------+------------------+------------+
|  |Mike       |20|6-7|

如您所见，值和列名没有对齐。例如，"Mike“应该在"name”的列下，而不是年龄。

如何将值由1移至左，以使其与列名匹配？理想的dataframe如下所示：

   |name|age|height  |weight             
    +-------------+--------------------+------------------------+------------------------+-------------------------+--------------------+------------------+------------------+------------+
    | Mike  |20  |6-0|160|

请注意，以上数据只是一个例子。实际上，我有200多个列和超过100万行数据。

Answer 1

通过从dataframe中删除.toDF名称列，尝试使用具有新列名的。

Example:

df=spark.createDataFrame([('','Mike',20,'6-7',160)],['name','age','height','weight'])
df.show()
#+----+----+------+------+---+
#|name| age|height|weight| _5|
#+----+----+------+------+---+
#|    |Mike|    20|   6-7|160|
#+----+----+------+------+---+

#select all columns except name
df1=df.select(*[i for i in df.columns if i != 'name'])

drop_col=df.columns.pop()
req_cols=[i for i in df.columns if i != drop_col]

df1.toDF(*req_cols).show()
#+----+---+------+------+
#|name|age|height|weight|
#+----+---+------+------+
#|Mike| 20|   6-7|   160|
#+----+---+------+------+

Using spark.createDataFrame():

cols=['name','age','height','weight']

spark.createDataFrame(df.select(*[i for i in df.columns if i != 'name']).rdd,cols).show()
#+----+---+------+------+
#|name|age|height|weight|
#+----+---+------+------+
#|Mike| 20|   6-7|   160|
#+----+---+------+------+

如果您正在创建dataframe reading a file，而则定义具有第一个列名为dummy的模式，那么一旦您读取数据，使用.drop()函数删除该列。

spark.read.schema(<struct_type schema>).csv(<path>).drop('<dummy_column_name>')

spark.read.option("header","true").csv(<path>).toDF(<columns_list_with dummy_column>).drop('<dummy_column_name>')