首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >文件编码:我知道字符串,知道字符,编码是什么?

问文件编码:我知道字符串,知道字符,编码是什么?
EN

Stack Overflow用户
提问于 2010-08-16 22:53:34
回答 3查看 1.3K关注 0票数 1

我将csv文件中的数据添加到数据库中。如果我打开CSV文件,一些条目包含项目符号-我可以看到它们。file说它被编码为ISO-8859。

代码语言:javascript
复制
$ file data_clean.csv 
data_clean.csv: ISO-8859 English text, with very long lines, with CRLF, LF line terminators

我按如下方式读取它,并将其从ISO-8859-1转换为UTF-8,这是我的数据库所需的。

代码语言:javascript
复制
    row = [unicode(x.decode("ISO-8859-1").strip()) for x in row]
    print row[4]    
    description = row[4].encode("UTF-8")
    print description

这为我提供了以下内容:

代码语言:javascript
复制
'\xa5 Research and insight \n\xa5 Media and communications'
¥ Research and insight 
¥ Media and communications 

为什么要将\xa5项目符号字符转换为yen符号?

我假设是因为我将其作为错误的编码读取,但在这种情况下,正确的编码是什么?它也不是cp1252。

更广泛地说,有没有工具可以指定(i) string (ii)已知字符,并找出编码?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2010-08-17 00:17:21

我不知道有什么通用的工具,但是this Wikipedia page (链接自the page on codepage 1252)表明A5是Mac OS Roman代码页中的一个要点。

票数 2
EN

Stack Overflow用户

发布于 2010-08-21 11:11:52

一般来说,有没有工具可以指定(i)字符串(ii)已知字符,并找出编码?

您可以很容易地用Python编写一个。(示例使用3.x语法。)

代码语言:javascript
复制
import encodings

ENCODINGS = set(encodings._aliases.values()) - {'mbcs', 'tactis'}

def _decode(data, encoding):
    try:
        return data.decode(encoding)
    except UnicodeError:
        return None

def possible_encodings(encoded, decoded):
    return {enc for enc in ENCODINGS if _decode(encoded, enc) == decoded}

所以如果你知道你的要点是U+2022,那么

代码语言:javascript
复制
>>> possible_encodings(b'\xA5', '\u2022')
{'mac_iceland', 'mac_roman', 'mac_turkish', 'mac_latin2', 'mac_cyrillic'}
票数 1
EN

Stack Overflow用户

发布于 2010-08-16 23:16:24

你可以试一试

代码语言:javascript
复制
 iconv -f latin1 -t utf8 data_clean.csv 

如果你知道它确实是iso-拉丁语-1

尽管在iso-拉丁语-1 \xA5中确实是元

编辑:实际上这似乎是Mac上的一个问题,使用Word或类似的和Arial (?)以及打印或转换为PDF。一些关于字体的问题以及其他的问题。也许你需要先显式地处理这个文件。听起来耳熟吗?

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3494322

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档