组合超大文本文件的最佳方法

Question

我有几个文本文件，我想把它们合并成一个文件。包含所有独立文本文件的文件夹大小接近8 8Gb。我在powershell中尝试了以下操作：

cat example*.txt | sc allexamples.txt

但是，一旦合并文件的大小达到接近800Mb，笔记本电脑就挂起了，我无法继续。有没有其他方法可以让我做到这一点？

Answer 1

这也可以在PowerShell中完成，你只需要把它拆分一下，或者使用一个流编写器，这样做的工作量就更少了，这样你就不会挂在内存中了。

$file = [system.io.file]::OpenWrite("$($pwd.Path)\allexamples.txt")
$writer = New-Object System.IO.StreamWriter($file)

cat example*.txt | ForEach-Object { $writer.WriteLine($_) }

$writer.Close()
$file.Close()

Answer 2

它挂起的原因是内存不足。您的命令实际上所做的是将输出通过管道传输到缓冲区，然后重定向到另一个文件。您应该做的是用python编写一个简单的脚本来为您合并文件。Python具有支持此类操作的函数/类。

Answer 3

Get-Content -readcount可以很好地帮助您在内存消耗和速度之间找到正确的平衡。我会尝试像这样的东西

Foreach ($File in (Get-Childitem <Folder> -Filter example*.txt)) {
    Get-Content $File -Readcount 1000 | Out-File allexamples.txt -Append
}

readcount的最佳值取决于文件大小、可用内存和处理能力。