如何在大型数据集上进行EDA

Question

我在Postgres有一张桌子，里面有五百万张唱片。当我使用熊猫加载数据集来执行EDA时，内存就用完了。

dataframe_chunk = pd.read_sql("SELECT * from table", con = credentials)

如何以一种格式加载和存储表，以便运行所有用于数据分析的熊猫/numpy函数？所采取的一般做法是什么？

Answer 1

您可以尝试采样数据，分块，或使用火花。

这个帖子似乎是一篇类似的文章，对读取/写入大型数据集的技术有了更深入的了解。