首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >无法转换dataframe列数据类型

问无法转换dataframe列数据类型
EN

Stack Overflow用户
提问于 2018-09-19 16:48:13
回答 1查看 3.2K关注 0票数 4

在使用Pandas/Dask处理大数据集之后,我将结果数据帧保存到csv文件中。

当我尝试使用Dask读取输出CSV时,默认情况下数据类型都是对象。每当我试图使用传统方法(例如,在读取数据时定义数据类型或阅读后重新分配数据类型)来转换它们时,我总是会遇到与转换有关的错误,如下所示:

代码语言:javascript
复制
# ATTEMPT 1

import dask.dataframe as dd
header = ['colA', 'colB', ...]
dtypes = {'colA' : 'float', ...}
df = dd.read_csv('file.csv', names=header, dtype=types)

> TypeError: Cannot cast array from dtype('O') to dtype('float64') according to the rule 'safe'
> ...
> ValueError: could not convert string to float: 'colA'

-----------------------------------------------------------------------------------

# ATTEMPT 2

import dask.dataframe as dd
header = ['colA', 'colB', ...]
df = dd.read_csv('file.csv', names=header)
df['colA'] = df['colA'].astype(str).astype(float)

> ...
> File "/home/routar/anaconda3/lib/python3.6/site-packages/pandas/core/dtypes/cast.py", line 730, in astype_nansafe
> ValueError: could not convert string to float: 'colA'

原始数据帧中的所有属性(在转换到CSV之前)都是ints/floats,所以转换是100%可能的。我也确信这些值是有效的。

我猜这与Python关于数据转换的安全策略有关。

有没有办法解决这个问题,或者有什么办法强制转换?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-09-19 17:07:39

当您使用names=header从csv中读取dataframe时,您将在您的dataframe的第一行中使用列名。

这就是为什么你会犯错误

ValueError:无法将字符串转换为浮动:“colA”

因为colA是列的第一个值。

因此,只需将header=0 param添加到read_csv (显式使用第一行作为列名)就可以解决这个问题:

代码语言:javascript
复制
df = dd.read_csv('file.csv', names=header, dtype=types, header=0)
票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52410696

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档