首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Dask dataframe concat将列类型从“int”更改为“float”

问Dask dataframe concat将列类型从“int”更改为“float”
EN

Stack Overflow用户
提问于 2020-01-13 05:42:54
回答 1查看 692关注 0票数 0

我处理大数据时间序列数据集。数据存储在拼花文件中。随着时间的推移,将添加新的列。我使用concat连接不同文件中的数据,这非常好,但是我遇到了一个小问题,当连接dask数据帧时,数据类型不稳定。示例:

我有两个数据帧,具有不同的列集,同时具有浮点数和整数数据类型:

代码语言:javascript
复制
import pandas as pd 
import dask.dataframe as dd

x = pd.DataFrame( [[1., 2.],[3., 4.]], columns=["a", "b"], index=[1,3])
y = pd.DataFrame( [[5., 6., 7], [8.,9., 10]], columns=["a", "b", "c"], index=[5,8])

在dataframe 'y‘上的D类型是’float64 64‘、’float64 64‘、'int64'。

如果我将a和b转换为dask数据格式和contatenate:

代码语言:javascript
复制
ddfs = [ dd.from_pandas( a, npartitions=1 ), dd.from_pandas( b, npartitions=1 ) ]
z = dd.concat(ddfs, axis=0)

dataframe 'z‘上的d类型是’ float 64‘、’float 64‘、'float64',所以当连接时,列'c’的类型从int更改为float。数据在其他方面是正确的。

这是个虫子吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-13 13:01:40

这不应该是个惊喜。在熊猫1.0之前,不可能有一个整数级数的NaN (参见新的)。如果您尝试执行pd.concat([x,y]).info(),您将看到完全相同的输出。所以不,这不是一种虫子,它直接取决于熊猫是如何工作的。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59711110

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档