火花: DataFrame中的类型转换

Question

我在dataframe中有一个字段，它是string类型的。我正在使用覆盖模式来保存到mysql。字符串字段被保存为mysql中的文本字段。我想把它保存为varchar (40)。

df.write.mode("overwrite").jdbc(mysqlUrl,tableName,properties)

我怎样才能达到同样的目的？

同时，是否可以将索引应用于数据访问？

Answer 1

在写入数据库之前，使用cast函数转换数据帧中的数据类型。

df.selectExpr(cast(column name) as int)  fromid).write.mode("overwrite").jdbc(mysqlUrl,tableName,properties)

索引可以使用窗口函数应用。