SSIS DataFlowTask DefaultBufferSize和DefaultBufferMaxRows

Question

我有一个任务，它使用数据流任务将记录从Oracle db拉到我们的SQL。这个包裹每天运行大约45分钟。此包将刷新大约15个表。除了一个，其他的都是增量更新。所以几乎每项任务都要持续2到10分钟。

完全替换的一个包长达25分钟。我想调优这个数据流任务，使其运行得更快。

表中只有400 K行。我确实读过一些关于DefaultBufferSize和DefaultBufferMaxRows的文章。我没有疑问。

1. 如果我可以将DefaultBufferSize设置为100 MB，是否有任何地方可以查看或分析我可以提供多少。
2. DefaultBufferMaxRows设置为10k。即使我给了50k，并且我为DefaultBufferSize提供了10 MB，如果这只能容纳大约20k，那么SSIS将做什么。忽略那些30k的记录，否则它会拉出所有的50k线(假脱机)？
3. 我可以使用日志选项来设置适当的限制吗？

Answer 1

作为一种一般的实践(如果您有足够的内存)，少量的大型缓冲区比更多的小型缓冲区要好，但要等到分页到磁盘(这显然是不好的)之前。

要测试它，可以记录事件BufferSizeTuning，这将显示每个缓冲区中有多少行。

此外，在开始调整缓冲区的大小之前，最重要的改进是通过移除不需要的列和适当配置数据类型来减少每一行数据的大小。