首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在Spark中提高小数精度?

问如何在Spark中提高小数精度?
EN

Stack Overflow用户
提问于 2017-06-01 05:29:06
回答 1查看 18K关注 0票数 7

我有一个很大的DataFrame,由大约550列双精度和两列长整型(ids)组成。550列是从csv读取的,我添加了两个id列。我对数据所做的唯一其他事情是将一些csv数据从字符串更改为双精度("Inf“-> "0”,然后将列转换为双精度),并将NaN的数据替换为0:

代码语言:javascript
复制
df = df.withColumn(col.name + "temp", 
                             regexp_replace(
                                 regexp_replace(df(col.name),"Inf","0")
                                 ,"NaN","0").cast(DoubleType))
df = df.drop(col.name).withColumnRenamed(col.name + "temp",col.name)
df = df.withColumn("timeId", monotonically_increasing_id.cast(LongType))
df = df.withColumn("patId", lit(num).cast(LongType))
df = df.na.fill(0)

当我进行计数时,我得到以下错误:

代码语言:javascript
复制
IllegalArgumentException: requirement failed: Decimal precision 6 exceeds max precision 5

有数十万行,我正在读取来自多个csvs的数据。如何提高小数精度?还有其他可能发生的事情吗?只有当我读入一些csvs时,我才会得到这个错误。他们可能比其他人有更多的小数吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-06-01 06:15:55

我认为这个错误是不言而喻的--你需要使用DecimalType而不是DoubleType。

试试这个:

代码语言:javascript
复制
...
.cast(DecimalType(6)))

继续阅读:

https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/types/DecimalType.html

http://spark.apache.org/docs/2.0.2/api/python/_modules/pyspark/sql/types.html

datatype for handling big numbers in pyspark

票数 11
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44294972

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档