大容量汉字插入

Question

我想将包含汉字的csv数据文件大容量插入到sql server 2012。csv数据文件的原始编码为utf8，fmt文件由bcp工具生成。问题是，如果我通过记事本将csv数据文件的编码从utf8转换为unicode (用记事本打开数据文件，然后选择'save‘并选择'unicode’格式)，则可以将数据批量插入数据库。如果我保留它的原始编码，任何东西都不会插入到数据库中。

任何人都知道是否存在任何脚本，如python或powershell，可以自动将数据文件从utf-8转换为unicode，并保持汉字不变。谢谢。

Answer 1

使用Python将UTF-8文档(可能带有UTF-8 BOM )转换为UTF-16-LE：

import io
with io.open("my_input_file.txt", "r", encoding="utf-8-sig") as my_input:
    with io.open("my_output_file.txt", "w", encoding="UTF-16-LE") as my_output:
        my_ouput.write( u"\uFEFF" ) # write a UTF BOM
        my_ouput.write( my_input.read() )