使用SSIS或类似技术加载一个巨大的列

Question

我需要从SQL-Server-2012源文件加载一个表，它有一个varchar(max)列，该列很大。

表中列总大小约为2.02 TB，表大小为3.5 TB。加载这样一个有这么大列的表的最佳方法是什么？在每日增量加载之后，我必须进行初始加载。

谢谢,

Answer 1

SSIS用于处理不同的数据源和不同的数据大小，包括大数据。并且它被声明为Microsoft Big Data Solutions的一部分

创建一个从SQL读取数据的简单包并不是一个坏主意，但是您可以尝试在read方法中添加并行性(多次从同一个源读取)，您可以在下面的链接中获得更多详细信息：

• http://henkvandervalk.com/reading-as-fast-as-possible-from-a-table-with-ssis-part-ii

用于提高ssis包性能的其他有用链接

• https://www.mssqltips.com/sqlservertip/2684/importing-sql-server-data-using-ssis--which-option-is-fastest/