从大文件中删除特定行的最快方法是什么？

Question

从文件中删除一行(包含特定子字符串)的最佳方法是什么？

我试图将整个文件加载到一个切片中，修改该切片，然后将该切片打印到一个工作良好的文件中，但是当我想使用大文件(例如50GB+)时，这是行不通的，因为我没有那么多内存。

我认为这在流中是可能的，但我不知道如何同时读写(因为我必须通过子字符串搜索行，然后删除它)。这是可能的吗?还是我必须读取整个文件并确保索引安全？如果是这样的话，最好的办法是什么？

Answer 1

这将从标准输入读取并写入标准输出。请注意，我根据reading file line by line in go第二个答案中的代码对其进行了修改(没有测试)。

scanner := bufio.NewScanner(os.Stdin)
for scanner.Scan() {
    line := scanner.Text()
    if line != "unwanted" {
        fmt.Println(line)
    }
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}