使用Python在unix/linux中限制单个目录中的文件数量

Question

在unix/linux中输出多个文件到同一个目录是不是很糟糕？我在一个集群上运行数千个作业，每个作业输出一个文件到一个目录。这里的上限是大约50,000个文件。因此，IO是否可以在速度上受到限制？如果是这样的话，嵌套目录结构会解决这个问题吗？

谢谢。

Answer 1

请参见：

How many files can I put in a directory?

Answer 2

我认为，大多数文件系统将所包含文件的名称存储在列表(或其他线性时间访问数据结构)中，因此在单个目录中存储大量文件可能会导致诸如列出等简单操作的速度变慢。拥有嵌套结构可以通过创建名称的树结构(甚至是Trie，如果有意义的话)来改善这个问题，这可以减少检索文件统计信息所需的时间。

Answer 3

我的建议是使用嵌套目录结构(即分类)。您可以使用时间戳、每个应用程序的特殊前缀等来命名它们。当您需要搜索特定文件时，这会给您一种顺序的感觉，并使您的文件更容易管理。