我试图找出一种方法来修改文本文件(特别是删除特定的行),而不是将文件的大部分内容读取到内存中或重写整个文件。这里我讨论的文件比主内存大,大约15-50 50。
附言:我使用的是Linux。
发布于 2014-07-08 00:44:04
您无法创建一个新文件,所以请咬紧牙关去做吧。使用带有适当选项的grep并将结果通过管道传输到第二个文件:
$ grep -fv patternsToExcludeFromInput input > output另一种方法是将模式放入哈希表(Perl)、字典(Python)或unordered_map (C++)中,并处理输入文件的每一行以查找匹配项。
如果不匹配,则将该行打印到标准输出流(您可以通过管道将其输出到常规文件)。您的内存使用将主要限于哈希表和您正在查询的输入行。
发布于 2014-07-08 00:49:14
您可以在"rw“模式下打开文件,并使用fseek、fread、fwrite来读/写文件的各个部分。你必须注意不要覆盖你还没有读过的部分。因此,要删除您向前读写的行,要插入您向后读写的行(从文件末尾开始)。
示例
要删除文件开头的前100个字节,您可以执行以下操作:
FILE *fp = fopen(filename,"rw");
size_t BLOCK_SIZE = 1024;
char buffer[BLOCK_SIZE];
size_t offset = 100;
fseek(fp,0,SEEK_END);
size_t length = ftell(fp);
for (size_t i=0; i< (length-offset+BLOCK_SIZE-1) / BLOCK_SIZE; ++i) {
fseek(fp,i*BLOCK_SIZE + offset,SEEK_SET);
size_t count = fread(fp,buffer,sizeof(char),BLOCK_SIZE);
fseek(fp,i*BLOCK_SIZE,SEEK_SET);
fwrite(fp,buffer,sizeof(char),count);
}发布于 2014-07-08 01:47:29
如果文件比内存大得多,那么sed就是你的朋友。它充当旧文件和新文件之间的过滤器,最后,您只需将新文件重命名为旧名称。对于新手来说,它的语法有点奇怪,但它的功能非常强大,能够按数字、正则表达式或范围选择行,并应用插入、删除或字符串子填充。
https://stackoverflow.com/questions/24615237
复制相似问题