我使用可读性分析器API从网页中提取内容。当网页是拉丁文字符集时,这是可以的,但当我用西里尔语提取文章时,它的结尾如下:
<div>Ввоскресень</div>...etc有趣的是,网页的标题是用西里尔字母正确提取的,而不是内容。我的尝试是按照这个所以回答中的建议做以下事情
content = unicodedata.normalize('NFKD', content).encode('ascii','ignore')但这不起作用。您能告诉我在保存到数据库之前是否有方法转换这个字符串吗?
请告诉我问题的标题是否正确地解释了我需要什么。谢谢。
发布于 2014-10-27 01:07:08
单向(Python3.3):
>>> s='<div>Ввоскресень</div>'
>>> import html.parser
>>> h=html.parser.HTMLParser()
>>> h.unescape(s)
'<div>Ввоскресень</div>'Python 2.7:
>>> s='<div>Ввоскресень</div>'
>>> import HTMLParser
>>> h=HTMLParser.HTMLParser()
>>> print(h.unescape(s))
<div>Ввоскресень</div>我去找了文档链接,看起来unescape没有文档化。这里有一种不用使用无文档化API的方法:
>>> re.sub(r'&#x(.*?);',lambda x: chr(int(x.group(1),16)),s)
'<div>Ввоскресень</div>'在每条评论中,它看上去终于用Python3.4记录了(并移动):
https://stackoverflow.com/questions/26579067
复制相似问题