合并具有不同字符编码的文本文件

Question

我正在尝试将目录中的文本文件的内容合并到一个文本文件中。

有些文本文件采用ANSI编码，有些采用UTF-8编码，有些采用带有BOM和其他字符编码的UTF-8编码。

我尝试使用type和copy命令进行合并，但结果文件可能包含奇怪的字符。例如，"ö“就变成了”？？“。其他的欧洲字母/重音字母也是乱码。此外，还有一些以“ai»»？”开头的行，经过一些调查后，它实际上是看不见的BOM字符。

我怎样才能将这些文本文件合并成一个保留其可读形式的文件呢？我对Windows CMD之外的建议持开放态度。

Answer 1

你不能盲目地合并文件。如果您知道哪些文件是哪些编码，那么您可以在合并之前使用工具将每个文件重新编码为一个通用的表示形式，如UTF-8。例如，在Python 3.x中，这将把四个不同编码的文件连接成一个通用的UTF-8编码文件(未测试)：

#!python3

files = [('file1.txt','cp1252'),
         ('file2.txt','utf8'),
         ('file3.txt','utf-8-sig'),
         ('file4.txt','chinese')]

with open('output.txt','w',encoding='utf8') as out:
    for filename,encoding in files:
        with open(filename,encoding=encoding) as f:
            out.write(f.read())