如何优化2000 Git数据

Question

我们使用git作为数据仓库，现在数据超过2000 We。每次提交的时间都会很长，那么本地的拉取时间也会很长，gc会导致内存过多。有没有什么策略可以优化如此大量的数据？

​

感谢您的回复。我们已经看到了这种解决方案，它似乎不适合我们的情况。之所以在本地拉取数据，是因为本地程序需要随时从2000G数据中快速读取所需数据，时间不超过20ms。事实上，我们正在做图片识别。中央存储是训练生成的数据(这些数据是增量的，可以随时增加)。由于图片识别程序是分布式的，如果通过网络分散数据，数据识别速度会很慢，并发性不高，所以我们需要将这些图片模型放在本地，以提高识别速度和并发性。

Answer 1

如果你在你的git库中存储大文件，你可以使用Git大文件存储。

GitHub大文件存储(LFS)在

中使用文本指针替换音频样本、视频、数据集和图形等大文件，同时将文件内容存储在GitHub.com或GitHub企业版等远程服务器上。

https://git-lfs.github.com/