如果文件编码为utf-16le，则获取垃圾字符

Question

用于编码为utf-16le的csv文件。当我尝试读取csv的数据时，它会显示垃圾字符

要获得文件编码，我使用以下命令

 file -bi test.csv

它为我提供text/plain；charset=utf-16le

要读取文件数据，请使用以下命令

head -n1 test.csv | tr '^' ','

它给我提供了Colon1，colon2，colon3，��

为什么它给了我垃圾字母表

Answer 1

由于csv文件采用UTF-16LE编码，因此文件以BOM (字节顺序标记)、0xff和0xfe开头。您可以使用以下命令来标识它：

head -n1 test.csv | xxd

现在最常用的是UTF-8，而UTF-16则越来越少使用(包括Windows)。您的区域设置也将默认为UTF-8。因此，请尝试：

iconv -f UTF-16LE -t UTF-8 test.csv | head -n1 | tr '^' ','

它将csv文件转换为UTF-8编码。