假设我有一个这样的数据文件:
foo12345
bar45612我想把它解析成:
+----+-------+
| id| amt|
+----+-------+
| foo| 123.45|
| bar| 456.12|
+----+-------+也就是说,我需要选择df.value.substr(4,5).alias('amt'),但我希望将该值解释为一个五位数,其中最后两位位于小数点之后。
当然有比“除以100”更好的方法吗?
发布于 2017-12-19 04:11:49
from pyspark.sql.functions import substring, concat, lit
from pyspark.sql.types import DoubleType
#sample data
df = sc.parallelize([
['foo12345'],
['bar45612']]).toDF(["value"])
df = df.withColumn('id', substring('value',1,3)).\
withColumn('amt', concat(substring('value', 4, 3),lit('.'),substring('value', 7, 2)).cast(DoubleType()))
df.show()输出为:
+--------+---+------+
| value| id| amt|
+--------+---+------+
|foo12345|foo|123.45|
|bar45612|bar|456.12|
+--------+---+------+https://stackoverflow.com/questions/47839527
复制相似问题