首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在C (Linux)目录上迭代和“存储”文件的最佳方法是什么?

问在C (Linux)目录上迭代和“存储”文件的最佳方法是什么?
EN

Stack Overflow用户
提问于 2010-04-23 08:14:23
回答 1查看 297关注 0票数 1

我编写了一个函数来检查文件是否是复制的。这个函数的签名是:

代码语言:javascript
复制
int check_dup_memmap(char *f1_name, char *f2_name)

它返回:

  • (-1) -如果出了什么问题;
  • (0) -如果两个档案相似;
  • (+1) -如果两个文件不同;

下一步是编写一个函数,迭代某个目录中的所有文件,应用前面的函数,并给出每个现有副本的报告。

最初,我想编写一个函数,生成一个包含某个目录中所有文件名的文件,然后再读取该文件,并获得和比较每两个文件。下面是函数的那个版本,它获取某个目录中的所有文件名。

代码语言:javascript
复制
void *build_dir_tree(char *dirname, FILE *f)
{
    DIR *cdir = NULL;
    struct dirent *ent = NULL;
    struct stat buf;
    if(f == NULL){
        fprintf(stderr, "NULL file submitted. [build_dir_tree].\n");
        exit(-1);   
    }
    if(dirname == NULL){
        fprintf(stderr, "NULL dirname submitted. [build_dir_tree].\n");
        exit(-1);
    }
    if((cdir = opendir(dirname)) == NULL){
        char emsg[MFILE_LEN];
        sprintf(emsg, "Cannot open dir: %s [build_dir_tree]\t",dirname);
        perror(emsg);
    }
    chdir(dirname);
    while ((ent = readdir(cdir)) != NULL) {
        lstat(ent->d_name, &buf);
        if (S_ISDIR(buf.st_mode)) {
            if (strcmp(".", ent->d_name) == 0 ||
                    strcmp("..", ent->d_name) == 0) {
                continue;
            }
            build_dir_tree(ent->d_name, f);
        }
        else{
            fprintf(f, "/%s/%s\n",util_get_cwd(),ent->d_name);
        }
    }
    chdir("..");
    closedir(cdir);
}

不过,我仍然认为这种方法有点低效,因为我不得不一次又一次地解析该文件。

在你看来,我应该遵循哪些其他方法:

  • 编写一个数据结构并保存这些文件,而不是将它们写入文件中?我认为对于一个拥有大量文件的目录,内存将变得非常零碎。
  • 在自动展开数组中保存所有文件名,这样我就可以通过索引轻松地访问每个文件,因为它们将位于一个连续的内存位置。
  • 使用mmap()将此文件映射到内存中?但是当文件变得很大时,mmap可能会失败。

对此有任何意见。我希望选择最有效的路径,并尽可能少地访问资源。这是程序的要求..。

编辑:是否有一种方法可以获得某个目录中的文件数,而不需要遍历它?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2010-04-23 08:20:04

您可能希望使用散列或校验和;创建每个文件内容的散列,并将每个哈希与文件名列表与该哈希关联起来。然后,当您构造哈希时,您将看到哪些其他文件也共享相同的哈希。只有当你遇到冲突时,你才需要比较完整的文件。如果您选择了一个好的散列函数,那么冲突应该是相对较少的,因此完全比较很少。

请注意,在哈希大小和冲突次数之间存在权衡;如果使用较小的哈希,冲突可能会更频繁,但每个文件使用的空间会更少,如果使用更大的哈希,则必须进行更少的完整文件比较,但需要保持和比较更大的哈希。另外,一些哈希函数比其他哈希函数产生的冲突更少,但是一些更好的哈希函数可能比较差的哈希函数花费更多的时间和计算强度。

文件和目录遍历的一种有效方法是使用ftw或nftw。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/2697090

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档