用C读/写一个大文件

Question

我必须做一个项目，在这个项目中，我需要生成一个结构的最大数量的记录，将它们保存在一个文件中(我认为二进制模式是最好的选择)，然后读取它们。生成的文件应该有不同的大小{1 1gb，10 1gb，20 1gb ...}但是我如何分配内存来访问它们呢？我使用链表来存储数据，下面是我使用的代码列表：

#include "Lista.h"
#include <stdlib.h>
#include <stdio.h>

void inicializa_lista(Lista *l, int t)
{
    l->tamInfo = t;
    l->cabeca = NULL;
}

int insereNoInicio(Lista *l, void *info)
{
    Elemento *p = aloca_elemento(l->tamInfo, info);

    if(p == NULL)
        return 0;/*Erro na alocação.*/

    p->info = malloc(l->tamInfo);

    if(p->info == NULL)
    {
        free(p);
        return 0;/*Erro.*/
    }

    memcpy(p->info, info, l->tamInfo);

    p->proximo = l->cabeca;

    l->cabeca = p;

    return 1;
}

int insereNoFim(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return insereNoInicio(l, info);

    Elemento *p = aloca_elemento(l->tamInfo, info);

    if(p == NULL)
        return 0;

    Elemento *aux = l->cabeca;

    while(aux->proximo != NULL)
        aux = aux->proximo;

    p->proximo = NULL;

    aux->proximo = p;

    return 1;
}

int removeNoInicio(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return ERRO_LISTA_VAAZIA;

    Elemento *p = l->cabeca;

    l->cabeca = p->proximo;/*equivalentes l->cabeca = l->cabeca->proximo;*/

    memcpy(info, p->info, l->tamInfo);

    free(p->info);

    free(p);

    return 1;
}

int removeNoFim(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return ERRO_LISTA_VAAZIA;

    if(l->cabeca->proximo == NULL)/* somente quando a lista tem um elemento */
        return removeNoInicio(l, info);

    Elemento *p = l->cabeca;

    while(p->proximo->proximo != NULL)
        p = p->proximo;

    memcpy(info, p->proximo->info, l->tamInfo);

    free(p->proximo->info);
    free(p->proximo);

    p->proximo = NULL;

    return 1;
}

int lista_vazia(Lista l)
{
    return l.cabeca == NULL;
}

Elemento *aloca_elemento(int tamInfo, void *info)
{
    Elemento *p = malloc(sizeof(Elemento));

    if(p == NULL)
        return NULL;

    p->info = malloc(tamInfo);

    if(p->info == NULL)
    {
        free(p);

        return NULL;
    }

    memcpy(p->info, info, tamInfo);

    return p;
}

void mostra_lista(Lista l, void (*mostra_info)(void *))
{
    if(lista_vazia(l))
        printf("A lista está vazia\n");
    else
    {
        Elemento *p = l.cabeca;

        printf("Dados da Lista:\n");

        while(p != NULL)
        {
            mostra_info(p->info);
            p = p->proximo;
        }
    }
}

void limpa_lista(Lista *l)
{
    Elemento *p = l->cabeca;

    while(p != NULL)
    {
        Elemento *aux = p->proximo;

        free(p->info);
        free(p);

        p = aux;
    }

    l->cabeca = NULL;
}

int insereNaPosicao(Lista *l,void *info,int pos){
    if(pos<0)
        return ERRO_POSICAO_INVALIDA;
    if(pos==0)
        return insereNoFim(l,info);
    Elemento *p=l->cabeca;
    int cont =0;
    while(cont<pos-1 && p->proximo!=NULL){
        p=p->proximo;
        cont++;
    }
    if(cont!=pos-1)
        return ERRO_POSICAO_INVALIDA;
    Elemento *novo = aloca_elemento(l->tamInfo,info);
    if(novo==NULL)
        return 0; // ERRO ALOCACAO
    novo->proximo=p->proximo;
    p->proximo=novo;
    return 1;
}

int removeNaPosicao(Lista *l,void *info,int pos){
    if(lista_vazia(*l)) return ERRO_LISTA_VAAZIA;
    if(pos<0) return ERRO_POSICAO_INVALIDA;
    Elemento *p = l->cabeca;
    if(pos==0){
        removeNoInicio(l,info);
    }
    int cont;
    while(cont<pos-1 &&p->proximo!=NULL){
        p=p->proximo;
        cont++;
    }
    if(cont!=pos-1) return ERRO_POSICAO_INVALIDA;
    Elemento *aux = p->proximo;
    p->proximo = aux ->proximo;
    free(aux->info);
    free(aux);
    return 1;
}


int compara_float(void *a,void *b){
    float *p1=a,*p2=b;
    if(*p1>*p2) return 1;
    if(*p1<*p2) return -1;
    return 0;
}


int insereEmOrdem(Lista *l,void *info,int(*compara)(void*,void*)){
    int cont =0;
    Elemento *p = l->cabeca;
    while(p!=NULL && compara(info,p->info)>0){
        cont++;
        p=p->proximo;
    }
    return insereNaPosicao(l,info,cont);

}

/ HEADER

#define ERRO_LISTA_VAAZIA -1
#define ERRO_POSICAO_INVALIDA -2


typedef struct{
    char* nome;
    int matricula;
    int notas;
    int faltas;
}Diario;

typedef struct ele
{
    void *info;
    struct ele *proximo;
}Elemento;

typedef struct
{
    int tamInfo;
    Elemento *cabeca;
}Lista;

void inicializa_lista(Lista *l, int t);

int insereNoInicio(Lista *l, void *info);

int insereNoFim(Lista *l, void *info);

int removeNoInicio(Lista *l, void *info);

int removeNoFim(Lista *l, void *info);

int lista_vazia(Lista l);

Elemento *aloca_elemento(int tamInfo, void *info);

void mostra_lista(Lista l, void (*mostra_info)(void *));

void limpa_lista(Lista *l);

int insereNaPosicao(Lista *l,void *info,int pos);

int insereEmOrdem(Lista *l,void *info,int(*compara)(void*,void*));

int compara_float(void *a,void *b);

Answer 1

你有那么多的内存吗？而不是麻烦的花招，只需将内存转储到文件中，反之亦然。

但我打赌你没有那么多的记忆力(我已经看到未来的读者在几年内完全不敢相信地扬起眉毛)。因此，您需要将数据分成多个部分，每个部分都足够小，以便放入合理数量的RAM中。

实际数据在名为Diario的结构中，对吗？这使得它成为可能最小的切片。它的完整内容可以写成纯文本，不需要二进制文件，所有你需要的是一个简单的CSV文件。

写一个CSV很容易，读起来有点复杂，但由于你有一个固定的格式，它应该是相对简单的。

搜索一个条目可能意味着搜索整个文件，这可能会持续一段时间。我建议添加一些索引来减少搜索时间。

Answer 2

这完全取决于您计划如何使用数据。从技术上讲，你拥有介于ram和虚拟内存之间的内存。但请记住，如果你这样做，通过你的文件随机访问数据可能(意思是很可能)导致你的系统崩溃(减慢)。您可能能够按顺序访问该文件。

一些相当标准的技术: 1)使用多个theads:几个访问文件，一个或多个处理数据(角色模式) 2)对数据进行排序3)多个缓存

现在，在您实现这些之前，这正是SQL数据库为您做的事情(以及其他几件事)。至少，一个小的数据建模(在您的例子中是一个表数据库)将允许您测试使用这些技术可以将您的数据处理算法加速多少。

Ps:我曾经实现了一个树状结构，因为我被告知要这样做。这个结构运行良好，但它需要时间来实现。然而，如果做一点数据建模，并首先在算法上工作会更快，因为我们知道结构会起作用，算法被证明不能很好地扩展，所以需要对项目进行一些重构。在这种情况下，数据库更容易更改。