我必须将带有100万行的DataFrames转换为dict。标准的熊猫方法运行时间很长。
import pandas as pd
import numpy as np
df = pd.DataFrame(data={"col": np.ones(100000)})
%time dict = df.to_dict(orient="index").values()
CPU times: user 5.88 s, sys: 81.3 ms, total: 5.96 s
Wall time: 6.23 s有没有办法提高这一过程的速度?
发布于 2017-11-10 11:14:08
如果您只需要这些值,那么使用orient='records'可以极大地提高性能。
In [43]: %timeit df.to_dict('i').values()
1 loop, best of 3: 6.23 s per loop
In [42]: %timeit df.to_dict('r')
1 loop, best of 3: 822 ms per loop'r'是'records'的别名。
另外,请注意使用r的优点是,结果已经是一个列表,而对于前者,需要在之后将dict_values转换为list。
https://stackoverflow.com/questions/47220447
复制相似问题