我正在创建一个基于一些输入创建小文件(8kb)的程序,所以它是这样的
#include <iostream>
#incclude <string.h>
#include <errno.h>
void func()
{
const char * file_name = NULL;
// we get file_name from somewhere , ex : pic.png
FILE * fp = fopen();
if (fp == NULL)
{
std::cout << "failed to open file , " << strerror(errno) << std::endl ;
return 0;
}
// some code to deal with the file
}我创建了很多文件(大约420万个,我正在尝试测试性能),尽管我每次都会创建新的唯一文件,但它总是在相同的数量上造成EFBIG (文件太大)的错误。
文件是在8个线程中创建的。
对此有什么解释吗?
我想要澄清的是,这显然不是确切的代码,但你可以认为这个函数在8个线程中运行,频率很高,直到产生这个错误,而且这个错误是从那个点到程序结束为止的所有文件都会产生的
发布于 2020-05-14 02:06:07
实际上,我在Linux anywhere上找不到这方面的文档,但是由于您的文件数量显然已经达到了最大的32位无符号整数(4,294,967,295),听起来您的文件系统无法在单个目录中处理超过这个数量的文件。错误“太大”实际上指的是目录,而不是您试图打开的文件。
单个目录中的文件数量之多令人抓狂。只需将它们拆分到不同的目录中。
此外,请注意不要一次打开无数个文件句柄;您的操作系统会对此进行限制(您可以使用ulimit -a检查)。然而,当你耗尽这些资源时,你应该得到EMFILE。
https://stackoverflow.com/questions/61781338
复制相似问题