我处理大数据时间序列数据集。数据存储在拼花文件中。随着时间的推移,将添加新的列。我使用concat连接不同文件中的数据,这非常好,但是我遇到了一个小问题,当连接dask数据帧时,数据类型不稳定。示例:
我有两个数据帧,具有不同的列集,同时具有浮点数和整数数据类型:
import pandas as pd
import dask.dataframe as dd
x = pd.DataFrame( [[1., 2.],[3., 4.]], columns=["a", "b"], index=[1,3])
y = pd.DataFrame( [[5., 6., 7], [8.,9., 10]], columns=["a", "b", "c"], index=[5,8])在dataframe 'y‘上的D类型是’float64 64‘、’float64 64‘、'int64'。
如果我将a和b转换为dask数据格式和contatenate:
ddfs = [ dd.from_pandas( a, npartitions=1 ), dd.from_pandas( b, npartitions=1 ) ]
z = dd.concat(ddfs, axis=0)dataframe 'z‘上的d类型是’ float 64‘、’float 64‘、'float64',所以当连接时,列'c’的类型从int更改为float。数据在其他方面是正确的。
这是个虫子吗?
发布于 2020-01-13 13:01:40
这不应该是个惊喜。在熊猫1.0之前,不可能有一个整数级数的NaN (参见新的)。如果您尝试执行pd.concat([x,y]).info(),您将看到完全相同的输出。所以不,这不是一种虫子,它直接取决于熊猫是如何工作的。
https://stackoverflow.com/questions/59711110
复制相似问题