将48 GB csv文件中的数据导入Server

Question

我正在使用Server默认导入工具导入大小约为48 gb的大型数据文件。它继续执行良好的应用程序。13000000行插入，但之后任务失败，出现以下错误。我不能打开csv，因为它的巨大，我也不能在其中一排排移动，并分析统计。我真的很困惑如何处理这件事。

Answer 1

您可以使用powershell将大型CSV快速导入sql服务器。这个脚本使用PowerShell将CSV导入服务器的高性能技术 -由Chrissy LeMaire (巴多醇的作者)

以下是所达到的基准：

非索引表为每分钟535万行，具有聚集索引的表为每分钟435万行。

脚本甚至将您的导入分批到50K行，以便在导入过程中不会占用内存。

编辑:在Server端-

• 确保你有正确的恢复模式。对于这样的负载，批量恢复是最佳设置。
• 自动增长设置为正确的MB，而不是百分比。
• 数据和日志文件都有足够大的配置，因此自动增长事件很少。
• 在非高峰时间进行进口。
• 遵循数据加载参考指南和或我的回答中描述的最佳实践。
• 启用即时文件初始化，并将电源设置设置为高perf。