如何合并多个文件？

Question

我的文件是txt格式的，我编写了一段简短的代码来将这三个文件合并为一个。输入文件是(1)超过16K列的18.8MB，(2)超过16K列的18.8MB和(3)超过7K列的10.5MB。代码可以工作，但是它只合并前两个文件并创建输出文件。不包括来自第三个输入文件的数据。这里有什么问题吗? txt文件的大小有限制吗？

filenames = ['/Users/icalic/Desktop/chr_1/out_chr1_firstset.txt', '/Users/icalic/Desktop/chr_1/out_chr1_secondset.txt', '/Users/icalic/Desktop/chr_1/out_chr1_thirdset.txt']
with open('/Users/icalic/Desktop/chr1_allfinal.txt', 'w') as outfile:
    for fname in filenames:
       with open(fname) as infile:
           for line in infile:
               outfile.write(line)

Answer 1

只需使用标准库中的fileinput：

import fileinput

filenames = [ '...' ]
with open(output_file, 'w') as file_out, fileinput.input(filenames) as file_in:
    file_out.writelines(file_in)

如果您需要对内存使用进行更精细的控制，或者需要处理二进制文件，请使用shutil.copyfileobj

filenames = [ '...' ]
buffer_length = 1024*1024*10 # 10 MB

with open('output_file.txt', 'wb') as out_file:
    for filename in filenames:
        with open(filename, 'rb') as in_file:
            shutil.copyfileobj(in_file, out_file, buffer_length)