我学的是数据科学。我有一个5kk记录和3.9G大小的.csv文件。处理它的最好的实践是什么?我通常使用vscode或jupyter,甚至当我将最大内存设置为10G时,加载等操作也需要太多时间才能完成。
你有什么建议来改进我的工作吗?
notebook lenovo S145 20gigas ram i7-8565U - Ubuntu
谢谢
发布于 2021-02-24 08:18:39
如果您想要将CSV带入数据库以进行报告,一种相当快速简单的选择是使用外部表。它使用与create table定义中的SQLLDR类似的语法。一旦建立,最新保存的CSV数据将立即以表的形式出现在数据库中。
https://stackoverflow.com/questions/66342822
复制相似问题