首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >读取带有隐式小数点的定长文件?

问读取带有隐式小数点的定长文件?
EN

Stack Overflow用户
提问于 2017-12-16 04:35:19
回答 1查看 166关注 0票数 0

假设我有一个这样的数据文件:

代码语言:javascript
复制
foo12345
bar45612

我想把它解析成:

代码语言:javascript
复制
+----+-------+
|  id|    amt|
+----+-------+
| foo| 123.45|
| bar| 456.12|
+----+-------+

也就是说,我需要选择df.value.substr(4,5).alias('amt'),但我希望将该值解释为一个五位数,其中最后两位位于小数点之后。

当然有比“除以100”更好的方法吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-12-19 04:11:49

代码语言:javascript
复制
from pyspark.sql.functions import substring, concat, lit
from pyspark.sql.types import DoubleType

#sample data
df = sc.parallelize([
    ['foo12345'],
    ['bar45612']]).toDF(["value"])

df = df.withColumn('id', substring('value',1,3)).\
    withColumn('amt', concat(substring('value', 4, 3),lit('.'),substring('value', 7, 2)).cast(DoubleType()))
df.show()

输出为:

代码语言:javascript
复制
+--------+---+------+
|   value| id|   amt|
+--------+---+------+
|foo12345|foo|123.45|
|bar45612|bar|456.12|
+--------+---+------+
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47839527

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档