粗面皮和吉特有什么区别？

Question

我学到了一些工具，比如Pachyderm版本控制数据，但是我看不出这个工具和Git之间有什么区别。我从这个职位了解到：

• 它将您的所有数据保存在一个中心可访问的位置。
• 当数据添加到数据集中或在数据集中更改时，它会更新所有取决于数据集的数据集。
• 它可以运行任何转换，只要它在Docker中运行，并接受一个文件作为输入，并输出一个文件作为结果。
• 它为您的所有数据提供版本。
• 它同时处理修改后的数据和新添加的数据部分。
• 在测试新的转换管道时，它可以保持数据集的分支。

看来吉特能处理好所有的问题。也许数据的大小总是比代码大，那么git-lfs就是为此目的而创建的。

相反，杜尔特提供了结合SQL和Git的不同方向。

像普莱姆这样的工具现在在数据科学中应用吗？

Answer 1

Git是为代码设计的。

粗面皮是为机器学习资产设计的:数据、管道和笔记本。

您可以将机器学习资产放入git中。但是，git将把机器学习资产视为代码原语。一个例子是笔记本，它是JSON。git中的JSON很快就变得难以管理了。厚皮将以笔记本特有的方式来管理它们。