首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >修改文本文件而不读入内存

问修改文本文件而不读入内存
EN

Stack Overflow用户
提问于 2014-07-08 00:20:02
回答 3查看 384关注 0票数 2

我试图找出一种方法来修改文本文件(特别是删除特定的行),而不是将文件的大部分内容读取到内存中或重写整个文件。这里我讨论的文件比主内存大,大约15-50 50。

附言:我使用的是Linux。

EN

回答 3

Stack Overflow用户

发布于 2014-07-08 00:44:04

您无法创建一个新文件,所以请咬紧牙关去做吧。使用带有适当选项的grep并将结果通过管道传输到第二个文件:

代码语言:javascript
复制
$ grep -fv patternsToExcludeFromInput input > output

另一种方法是将模式放入哈希表(Perl)、字典(Python)或unordered_map (C++)中,并处理输入文件的每一行以查找匹配项。

如果不匹配,则将该行打印到标准输出流(您可以通过管道将其输出到常规文件)。您的内存使用将主要限于哈希表和您正在查询的输入行。

票数 1
EN

Stack Overflow用户

发布于 2014-07-08 00:49:14

您可以在"rw“模式下打开文件,并使用fseek、fread、fwrite来读/写文件的各个部分。你必须注意不要覆盖你还没有读过的部分。因此,要删除您向前读写的行,要插入您向后读写的行(从文件末尾开始)。

示例

要删除文件开头的前100个字节,您可以执行以下操作:

代码语言:javascript
复制
FILE *fp = fopen(filename,"rw");
size_t BLOCK_SIZE = 1024;
char buffer[BLOCK_SIZE];
size_t offset = 100;
fseek(fp,0,SEEK_END);
size_t length = ftell(fp);
for (size_t i=0; i< (length-offset+BLOCK_SIZE-1) / BLOCK_SIZE; ++i) {
  fseek(fp,i*BLOCK_SIZE + offset,SEEK_SET);
  size_t count = fread(fp,buffer,sizeof(char),BLOCK_SIZE);
  fseek(fp,i*BLOCK_SIZE,SEEK_SET);
  fwrite(fp,buffer,sizeof(char),count);
}
票数 0
EN

Stack Overflow用户

发布于 2014-07-08 01:47:29

如果文件比内存大得多,那么sed就是你的朋友。它充当旧文件和新文件之间的过滤器,最后,您只需将新文件重命名为旧名称。对于新手来说,它的语法有点奇怪,但它的功能非常强大,能够按数字、正则表达式或范围选择行,并应用插入、删除或字符串子填充。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24615237

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档