我们需要从Oracle DB表中提取数据,并将该数据转储到csv文件和普通管道分离的文本文件中。在应用程序上给用户一个链接,这样用户就可以查看生成的csv/文本文件。
由于涉及到大量的解析,所以我们编写了一个Unix shell脚本,并从Struts/J2ee应用程序中调用它。
早些时候,我们在生成的文件中丢失了中文和罗马字符,生成的文件使用us-ascii字符集(使用->文件-i检查)。后来我们使用了NLS_LANG=AMERICAN_AMERICA.AL32UTF8,这给了我们utf-8格式的文件。
但是字符仍然是乱码,所以我们再次尝试了iconv命令,并将utf-8文件转换为utf-16le字符集。iconv -f utf-8 -t utf-16le $recordFile > $tempFile
这对于生成的文本文件很有效。但在CSV中,中文和罗马字符仍然不正确。现在,如果我们在记事本中打开此csv文件,并通过从键盘上按Enter键给出一个换行符,请保存它。用MS-Excel打开它,所有的字符都可以,包括中文和罗马字符,但现在文本在每行中是单行,而不是列。
不知道是怎么回事。
Java代码
PrintWriter out = servletResponse.getWriter();
servletResponse.setContentType("application/vnd.ms-excel; charset=UTF-8");
servletResponse.setCharacterEncoding("UTF-8");
servletResponse.setHeader("Content-Disposition","attachment; filename="+ fileName.toString());
FileInputStream fileInputStream = new FileInputStream(fileLoc + fileName);
int i;
while ((i=fileInputStream.read()) != -1) {
out.write(i);
}
fileInputStream.close();
out.close(); 如果我遗漏了任何细节,请告诉我。感谢所有人抽出时间来了解这一点。
发布于 2014-12-30 17:32:08
能够解决这个问题。首先,正如Aaron所提到的,删除了UTF-16LE编码以避免将来的问题,并将文件编码为UTF-8。将Java代码中的PrintWriter更改为OutputStream,并且能够在我的文本文件中看到正确的字符。
CSV仍然显示垃圾信息。我知道我们需要在文件的开头加上EF BB BF,因为像MS-Excel这样的BOM感知软件需要这样做。因此,如下所示更改Java代码就可以解决csv的问题。
OutputStream out = servletResponse.getOutputStream();
os.write(239); //0xEF
os.write(187); //0xBB
out.write(191); //0xBF
FileInputStream fileInputStream = new FileInputStream(fileLoc + fileName);
int i;
while ((i=fileInputStream.read()) != -1) {
out.write(i);
}
fileInputStream.close();
out.flush();
out.close();发布于 2014-12-29 23:38:14
与Unicode问题一样,转换链的每一个步骤都必须完美地工作。如果你在一个地方犯了错,数据将会被悄悄地损坏。没有简单的方法来找出它发生在哪里,你必须调试代码或编写单元测试。
仅当文件实际包含UTF-8编码的数据时,上面的Java代码才有效;它不会“神奇地”找出文件中的内容并将其转换为UTF-8。因此,如果文件已经包含垃圾,您只需在其上贴上"this is UTF-8“标签,但它仍然是垃圾。
这意味着您需要创建测试用例,这些测试用例采用已知的测试数据,并通过链的每个步骤进行移动:插入数据库、从数据库读取、写入CSV、写入文本文件、读取这些文件并下载给用户。
对于每一步,您都需要编写单元测试,该测试接受一个已知的Unicode字符串,如abc öäü,并对其进行处理,然后检查结果。为了更容易在Java代码中输入,使用"abc \u00f6\u00e4\u00fc"您可能还希望在字符串的开头和结尾添加空格,以查看它们是否被正确保留。
file -i在这里帮不了你太多,因为它只是猜测文件包含的内容。在文本文件中没有显示"this is UTF-8“的指示符(数据或元数据)。UTF-16为此支持BOM头,但几乎没有人使用UTF-16,因此许多工具不支持它(正确地)。
https://stackoverflow.com/questions/27690286
复制相似问题