首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >分割大型git存储库

问分割大型git存储库
EN

Stack Overflow用户
提问于 2013-06-07 14:47:39
回答 2查看 3.3K关注 0票数 5

我们有一个大小为80 GB的大型c++存储库,有将近200000个文件,包含多个组件。

库(归档)对于更多具有紧密耦合的组件来说是常见的。

这样,所有的git操作和编译/构建特定组件的时间都太长了。

请建议我如何将这个单一回购分成多个回购。

EN

回答 2

Stack Overflow用户

发布于 2013-06-07 16:25:04

首先,200000源文件很可能占用不到80 of的空间(除非每个文件代表400 of的源文件!)

更新2015年:git-lts实际上可以管理这样的容量。

见"在git存储库中高效存储二进制文件“。

原答复(2013年)

这意味着:

  • 任何生成的二进制文件都需要排除在git repo中。
  • 任何大型二进制文件都需要存储在其他地方(要么存储在尼克斯样 工件存储库中,要么存储在任何其他存储空间中,比如git-附件)。

第二,只有当我们谈论的是一个巨大的回购时,git操作才是缓慢的。

git是用来管理多个小型repos的(即使是git Linux内核回购也远没有提到的文件大小和数量)

所以你需要:

  • 把巨大的git回购分成几个部分:
代码语言:javascript
复制
- functional components (a component being a coherent group of file representing a major feature of your program: the GUI, a dispatcher, a launcher, anything that implements your program main functional blocks)
- technical components (all those common technical libraries, reused by multiple other components, providing features not visible by the end users, only used by the developers)

​

  • 通过使用二进制依赖关系来加快编译过程,特别是在进行单元或小型集成测试时:可以设置每个项目,而不是获取所有源和重新编译所有内容,以便它们使用生成的其他项目的二进制文件/exe,以便特定项目能够编译和运行。 这取决于库与其他组件的耦合程度。

OP user2463892添加了在评论中:

我听说了一些关于GIT子模块的事情,这些模块将有助于划分或分割大型代码库。 我对此并不熟悉,有谁能帮我理解以下几个问题呢? 1) git子模块是如何工作的?它会把巨大的代码分成多个repos吗?这样我们就能解决GIT慢度问题了吗?

子模块是在另一个回购(这成为“父”回购)中声明的git。

父回购作为特殊条目对子模块回购有一个固定的知道引用,这意味着:

当您克隆父回购时,默认不克隆它中声明的所有子模块()

在您的例子中,这可能很有趣,因为您不需要克隆所有的源就可以进行您提到的增量编译。

此外,多个repos意味着较小的repos,其中checkout、log、diff和status等命令运行得更快。

2)假设我们使用该子模块将主回购划分为多个repos。这会解决我们所面临的问题(回购之间的依赖)吗? 假设我们将主要的核心回购分为Super、RepoA、RepoB、RepoC等。 那么,是否可以将所有这些repos编译在一起呢? RepoA能否从其他repos (Super、RepoB、RepoC等)访问库,反之亦然?

相互依赖关系仍然存在,但您可以:

  • 只检查给定步骤所需的repos。
  • 将编译好的库存储在这些repos之外,以便repoB或repoC使用。

目标是从纯源依赖切换到(生成)二进制依赖,其中repoB可以基于repoA编译步骤生成的二进制文件进行编译。

票数 4
EN

Stack Overflow用户

发布于 2014-10-19 20:48:51

您可以使用以下命令为Github中的文件夹创建存储库。

代码语言:javascript
复制
git filter-branch --prune-empty --subdirectory-filter foldername master

这假设您已经确定了要提取哪些组件,并且一旦创建了存储库,就会对构建过程进行排序。

参考资料:

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/16986961

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档