我希望增加将大量CSV文件导入数据库中的表的能力。我已经构建了一个SSIS包来实现这个功能,但我只想确保这是正确的方法。
文本文件是数以百万计的行,有50列。它们不会在记事本或notepad++中打开很多次。SSIS包毫无问题地处理它们,并获取导入的所有内容。SSIS是处理这个问题的正确方法吗?我只需要将文件位置参数传递给作业并执行它,对吗?有什么更简单的方法可以让我忽略吗?
发布于 2014-03-20 17:32:19
文本文件是数百万行,有50列。
小的。为什么是SSIS包?
它们不会在记事本或notepad++中打开
因为两者都打开它们--不需要打开它们并将它们全部加载到内存中,一个适当的应用程序可以逐行读取它们。
SSIS是处理这个问题的正确方法吗?
不是的。SImply,因为标题是:使用c# winforms将大量数据从文本文件导入到sql
Winforms可以有效地做到这一点--我正在向数据库中插入大约100.000行--在C#中使用file (除了一些页面和一天来使sqlbulkcopy正常工作),而且您对任何转换都没有说过,SSIS只是另一种不需要的技术,使事情变得复杂(比如:在服务器上安装更多的包,或者在服务器上拥有一个包,然后找到服务器可以到达的文件的位置等等)。
我完全支持SSIS,如果您有一个更大的SSIS基础设施,或者做了大量的处理等等,那么它在更大的上下文中具有架构意义-是的。但就目前的情况而言,没有其他理由--绝对不是。
见鬼,由于SQL server具有一些CSV处理功能,所以很有可能在一个命令中将整个过程加载到SQL Server中:
https://stackoverflow.com/questions/22538784
复制相似问题