在使用Pandas/Dask处理大数据集之后,我将结果数据帧保存到csv文件中。
当我尝试使用Dask读取输出CSV时,默认情况下数据类型都是对象。每当我试图使用传统方法(例如,在读取数据时定义数据类型或阅读后重新分配数据类型)来转换它们时,我总是会遇到与转换有关的错误,如下所示:
# ATTEMPT 1
import dask.dataframe as dd
header = ['colA', 'colB', ...]
dtypes = {'colA' : 'float', ...}
df = dd.read_csv('file.csv', names=header, dtype=types)
> TypeError: Cannot cast array from dtype('O') to dtype('float64') according to the rule 'safe'
> ...
> ValueError: could not convert string to float: 'colA'
-----------------------------------------------------------------------------------
# ATTEMPT 2
import dask.dataframe as dd
header = ['colA', 'colB', ...]
df = dd.read_csv('file.csv', names=header)
df['colA'] = df['colA'].astype(str).astype(float)
> ...
> File "/home/routar/anaconda3/lib/python3.6/site-packages/pandas/core/dtypes/cast.py", line 730, in astype_nansafe
> ValueError: could not convert string to float: 'colA'原始数据帧中的所有属性(在转换到CSV之前)都是ints/floats,所以转换是100%可能的。我也确信这些值是有效的。
我猜这与Python关于数据转换的安全策略有关。
有没有办法解决这个问题,或者有什么办法强制转换?
发布于 2018-09-19 17:07:39
当您使用names=header从csv中读取dataframe时,您将在您的dataframe的第一行中使用列名。
这就是为什么你会犯错误
ValueError:无法将字符串转换为浮动:“colA”
因为colA是列的第一个值。
因此,只需将header=0 param添加到read_csv (显式使用第一行作为列名)就可以解决这个问题:
df = dd.read_csv('file.csv', names=header, dtype=types, header=0)https://stackoverflow.com/questions/52410696
复制相似问题