我正在尝试处理从Twitter流API中获得的文本,我得到了一条外国文本,当我试图将它保存到mysql数据库时,我一直收到错误:
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-1: character maps to <undefined>我收到的短信是这样的:
\u0421\u043c\u043e\u0440\u0438\u0442\u0435我的系统的编码设置是
>>> print sys.stdout.encoding
cp437现在,我想知道处理文本并将其保存到mysql数据库的最佳方法是什么?
谢谢..
发布于 2013-11-12 22:11:41
显然不能将文本保存为cp437,因为cp437没有任何与U+0421匹配的字符,等等。
因此,您必须选择一个有效的编码,并使用它。UTF-8是最明显的选择。
您可以在创建MySQL数据库时设置它的字符集。Python脚本在连接时必须设置相同的字符集。例如,如果您使用的是pyMySQL:
conn = pymysql.connect(usual=parameters, blah=blah, charset='utf8')然后你就可以按-原样给它unicode对象了。
如果您有一个使用不同字符集的预先存在的数据库,则必须转换它。并将与数据库对话的任何其他脚本更改为也使用UTF-8。
请注意,一些MySQL绑定(特别是对于其他语言,如PHP或perl)可能根本不理解字符集。您必须在将每个字符串参数显式编码到UTF-8之后,再将其传递给SQL语句,并将每个字符串解码为从行集中接收的UTF-8。(在第一次连接时,可能还需要显式执行SET NAMES UTF-8,我不确定。)
https://stackoverflow.com/questions/19940907
复制相似问题