首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Python熊猫中,有什么方法可以提高数据转换的速度吗?

问在Python熊猫中,有什么方法可以提高数据转换的速度吗?
EN

Stack Overflow用户
提问于 2017-11-10 10:17:26
回答 1查看 1.3K关注 0票数 1

我必须将带有100万行的DataFrames转换为dict。标准的熊猫方法运行时间很长。

代码语言:javascript
复制
import pandas as pd
import numpy as np

df = pd.DataFrame(data={"col": np.ones(100000)})
%time dict = df.to_dict(orient="index").values()

CPU times: user 5.88 s, sys: 81.3 ms, total: 5.96 s
Wall time: 6.23 s

有没有办法提高这一过程的速度?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-11-10 11:14:08

如果您只需要这些值,那么使用orient='records'可以极大地提高性能。

代码语言:javascript
复制
In [43]: %timeit df.to_dict('i').values()
1 loop, best of 3: 6.23 s per loop

In [42]: %timeit df.to_dict('r')
1 loop, best of 3: 822 ms per loop

'r'是'records'的别名。

另外,请注意使用r的优点是,结果已经是一个列表,而对于前者,需要在之后将dict_values转换为list。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47220447

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档