首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从C#运行SSIS包,并限制内存使用

问从C#运行SSIS包,并限制内存使用
EN

Stack Overflow用户
提问于 2012-09-02 16:06:43
回答 1查看 1.4K关注 0票数 0

我正在运行来自C#代码的SSIS包,如下所示:

代码语言:javascript
复制
ErrorHandler errorHandler = new ErrorHandler();
Application app = new Application();
DTSExecResult res;
Package pkg = app.LoadPackage(packagePath, null);
res = pkg.Execute(null, null, errorHandler, null, null);

我有两个问题:

  1. 什么“引擎”运行这个包裹?是Server运行它,还是只需要一个较小的SSIS引擎。
  2. 当这个c#代码(它是一个控制台应用程序)长时间运行时,它会逐渐消耗越来越多的内存。如何限制正在运行的包的内存使用?

*想到的一个想法是,这种行为类似于SQL Server行为,即它占用内存,永远不释放它,当然是在所定义的内存限制下。因此,也许运行包的“引擎”设置有一定的内存限制,并逐渐被填满。

EN

回答 1

Stack Overflow用户

发布于 2012-09-08 16:33:27

这是合理的推断,但不准确。

  1. 运行包的“引擎”是您在C#应用程序中引用的库。它与DTExec中的代码相同--当您使用代理SSIS作业步骤时,该实用程序执行SSIS包(在SQL2008R2及以下)。(SSIS2012使用服务内部的相同代码执行它们,而不是可执行文件。)不需要安装Server数据库服务。在运行代码的计算机上需要一个完整的Server许可证。SQL安装中需要的部分只是SSIS“共享”组件。
  2. 在这个问题上,我没有一个很好的答案,因为我自己也经历过类似的问题,还没有得到真正的答案。如果您查看任务管理器,您将看到私有工作集(您的进程实际使用的内存量)始终保持合理。是“承诺的规模”变得不合理。提交大小包括您的进程没有实际使用的内存,但是Windows已将内存分配给它。在我的例子中,在运行了相当长一段时间的包(它有一个处理大量文件的循环)之后,我可以看到私有工作集稳定在2GB,但是看到提交大小增长并超过4GB,直到包失败,因为它无法获得内存。我不明白为什么会这样,因为我的理解是,为我的进程保留了大量内存,而这些内存实际上并没有被使用。我只能假设(没有根据)进程内部已经将内存分割了。它必须使用2GB“分散”在4GB中,这样的话,分散在内存块周围的空空间太小,无法填满任何一个请求。我不知道有一个SSIS调用来“整理”内存:)

我可以建议的是你创建你的包来限制自己。在我的例子中,使用一个循环,我可以实现一个"20循环最大值“,其中包只是在20个循环之后完成,即使还有文件要处理。返回值或数据库表可能表示仍有更多的处理工作要做。在您的C#应用程序中,您可以循环调用pkg.Execute,可能会在其中进行一些GC尝试。我不知道这是否足以触发进程释放获得的内存和/或连续地重新分配内存,但这正是我所尝试的。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/12237510

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档