首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >python 2.7中的非英语文本处理

问python 2.7中的非英语文本处理
EN

Stack Overflow用户
提问于 2013-11-12 22:06:15
回答 1查看 165关注 0票数 1

我正在尝试处理从Twitter流API中获得的文本,我得到了一条外国文本,当我试图将它保存到mysql数据库时,我一直收到错误:

代码语言:javascript
复制
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-1: character maps to <undefined>

我收到的短信是这样的:

代码语言:javascript
复制
\u0421\u043c\u043e\u0440\u0438\u0442\u0435

我的系统的编码设置是

代码语言:javascript
复制
>>> print sys.stdout.encoding
cp437

现在,我想知道处理文本并将其保存到mysql数据库的最佳方法是什么?

谢谢..

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-11-12 22:11:41

显然不能将文本保存为cp437,因为cp437没有任何与U+0421匹配的字符,等等。

因此,您必须选择一个有效的编码,并使用它。UTF-8是最明显的选择。

您可以在创建MySQL数据库时设置它的字符集。Python脚本在连接时必须设置相同的字符集。例如,如果您使用的是pyMySQL:

代码语言:javascript
复制
conn = pymysql.connect(usual=parameters, blah=blah, charset='utf8')

然后你就可以按-原样给它unicode对象了。

如果您有一个使用不同字符集的预先存在的数据库,则必须转换它。并将与数据库对话的任何其他脚本更改为也使用UTF-8。

请注意,一些MySQL绑定(特别是对于其他语言,如PHP或perl)可能根本不理解字符集。您必须在将每个字符串参数显式编码到UTF-8之后,再将其传递给SQL语句,并将每个字符串解码为从行集中接收的UTF-8。(在第一次连接时,可能还需要显式执行SET NAMES UTF-8,我不确定。)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/19940907

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档