使用lower函数在文本清理中将pyspark dataframe中的单个列中的值转换为小写

Question

尝试使用.lower函数将pyspark dataframe单列中的值转换为小写，以便进行文本清理

import pyspark.sql.functions as f
f.lower(f.col(col("subject")).show()

获取：

SyntaxError: unexpected EOF while parsing

Answer 1

您的问题是一个括号，而且您只需要使用一次f.col()。

import pyspark.sql.functions as f
f.lower(f.col("subject")).show()

您需要将其分配给您的数据帧：

import pyspark.sql.functions as f
df = df.withColumn("subject",f.lower(f.col("subject")))
df.show()

Answer 2

show是一种用于数据帧的方法。

假设你的数据帧是df，你可以这样做：

df.withColumn(
    "subject", 
    F.lower(F.col("subject"))
).show()