如何限制GitLab启动的git进程数？

Question

我在Jenkins上运行了一个持续集成设置，每次我将更改推送到特定分支时，Jenkins都会启动50个EC2从站。每个从站签出分支，并针对分支运行一些测试。

问题是50个EC2从站一次启动，它们从我的GitLab服务器检查分支，这会为每个从站启动一个git进程，并很快耗尽内存(尽管服务器有7.5 git的内存)。

如果我看一下顶部，我可以看到，一旦从进程开始运行，许多git进程就会出现，并开始快速消耗所有内存。kern.log告诉我，内核必须周期性地终止git进程，因为系统内存不足。

我的问题是，如何限制GitLab启动的git进程的数量，使从机不会认为GitLab已经消失。(例如，我希望GitLab将请求放入队列中，一次为10个请求提供服务。)

我还考虑了一些其他的想法。例如，我可以让少数从属(种子从属)从GitLab中提取分支，然后让其余的从属从这些种子从属中提取分支。但这看起来可能涉及到一些工作。

另一个想法是，我可以将EC2启动错开几秒钟，以将请求分散到几分钟内。或者，我可以获得更多的内存。

我欢迎任何处理这个问题的其他方法的想法。

Answer 1

我认为你的最后一个想法是最好的:试着分散你的gitlab实例的负载。

例如，您可以通过构建工件来启动配置项：

假设您使用的是java，那么您可以在CI服务器上构建war文件，并通过共享的S3存储桶分发它。

这样，您每次构建时只需查询一次gitlab，并根据需要运行任意多个副本。每个实例都会下载构建并运行其测试。