首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >打开大型CSV文件?

问打开大型CSV文件?
EN

Stack Overflow用户
提问于 2015-07-04 04:38:15
回答 3查看 738关注 0票数 2

我有一个文件需要导入到MS-SQL数据库,但我无法打开它,因为我的计算机只有4 of的RAM。我通常使用CSV拆分器来使大文件变小,但对此文件(155 it )无效

谁能告诉我一个方法来处理这个文件导入到数据库(除了购买一台新的计算机与更好的硬件)

谢谢

EN

回答 3

Stack Overflow用户

发布于 2015-07-05 06:27:51

在这种情况下,我建议使用SSIS (如果可能)或更简单的小PowerShell脚本。您可以找到工作脚本here和here。

这两个PowerShell脚本都将迭代几行并导入它们,然后从内存中卸载它们并获取下一行。在最后一个链接中,您可以只指定变量$batchsize,该变量将在已定义的块中加载数据。

票数 3
EN

Stack Overflow用户

发布于 2015-07-05 07:02:09

流式CSV拆分器将更高效,因为它以块(字节)的形式处理文件,而不是在处理文件之前尝试将整个文件加载到内存中。node-csv可以做到这一点,但是您需要安装node.js才能使用它。

https://github.com/voodootikigod/node-csv

https://nodejs.org/

票数 0
EN

Stack Overflow用户

发布于 2015-07-05 21:32:22

如果您的文件只是简单的逗号分隔值(没有包含逗号的列,因此没有双引号),您也可以使用BCP加载数据。如果文件中没有任何特殊的东西,那么它就非常容易使用。

对于更复杂的情况,SSIS可能是更好的解决方案。在导入如此大的文件时,请确保设置了-b选项,以便整个文件不是一个批处理文件,并根据文件内容使用-c (ascii)或-w (unicode)

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31213938

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档