我将csv文件中的数据添加到数据库中。如果我打开CSV文件,一些条目包含项目符号-我可以看到它们。file说它被编码为ISO-8859。
$ file data_clean.csv
data_clean.csv: ISO-8859 English text, with very long lines, with CRLF, LF line terminators我按如下方式读取它,并将其从ISO-8859-1转换为UTF-8,这是我的数据库所需的。
row = [unicode(x.decode("ISO-8859-1").strip()) for x in row]
print row[4]
description = row[4].encode("UTF-8")
print description这为我提供了以下内容:
'\xa5 Research and insight \n\xa5 Media and communications'
¥ Research and insight
¥ Media and communications 为什么要将\xa5项目符号字符转换为yen符号?
我假设是因为我将其作为错误的编码读取,但在这种情况下,正确的编码是什么?它也不是cp1252。
更广泛地说,有没有工具可以指定(i) string (ii)已知字符,并找出编码?
发布于 2010-08-17 00:17:21
我不知道有什么通用的工具,但是this Wikipedia page (链接自the page on codepage 1252)表明A5是Mac OS Roman代码页中的一个要点。
发布于 2010-08-21 11:11:52
一般来说,有没有工具可以指定(i)字符串(ii)已知字符,并找出编码?
您可以很容易地用Python编写一个。(示例使用3.x语法。)
import encodings
ENCODINGS = set(encodings._aliases.values()) - {'mbcs', 'tactis'}
def _decode(data, encoding):
try:
return data.decode(encoding)
except UnicodeError:
return None
def possible_encodings(encoded, decoded):
return {enc for enc in ENCODINGS if _decode(encoded, enc) == decoded}所以如果你知道你的要点是U+2022,那么
>>> possible_encodings(b'\xA5', '\u2022')
{'mac_iceland', 'mac_roman', 'mac_turkish', 'mac_latin2', 'mac_cyrillic'}发布于 2010-08-16 23:16:24
你可以试一试
iconv -f latin1 -t utf8 data_clean.csv 如果你知道它确实是iso-拉丁语-1
尽管在iso-拉丁语-1 \xA5中确实是元
编辑:实际上这似乎是Mac上的一个问题,使用Word或类似的和Arial (?)以及打印或转换为PDF。一些关于字体的问题以及其他的问题。也许你需要先显式地处理这个文件。听起来耳熟吗?
https://stackoverflow.com/questions/3494322
复制相似问题