首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为什么我不能规范化这个随机的unicode字符串?

问为什么我不能规范化这个随机的unicode字符串?
EN

Stack Overflow用户
提问于 2013-01-18 23:05:37
回答 1查看 545关注 0票数 3

我需要在unicode字符串上评估levenshtein编辑距离,这意味着需要对包含相同内容的两个字符串进行标准化,以避免偏置编辑距离。

下面是为我的测试生成随机unicode字符串的方法:

代码语言:javascript
复制
def random_unicode(length=10):
    ru = lambda: unichr(random.randint(0, 0x10ffff))
    return ''.join([ru() for _ in xrange(length)])

下面是一个失败的简单测试用例:

代码语言:javascript
复制
import unicodedata
uni = random_unicode()
unicodedata.normalize(uni, 'NFD')

下面是错误:

代码语言:javascript
复制
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

我检查以确保uni确实是unicode对象:

代码语言:javascript
复制
u'\U00020d93\U000fb2e6\U0005709a\U000bc31e\U00080262\U00034f00\U00059941\U0002dd09\U00074f6d\U0009ef7a'

有没有人能开导我?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-01-18 23:10:28

您已经切换了normalize的参数。来自the relevant documentation

unicodedata.normalize(form, unistr)

返回Unicode字符串* unistr*的范式。form的有效值为‘NFC’、‘NFKC’、‘NFD’和‘NFKD’。

第一个参数是表单,第二个参数是要规范化的字符串。这个很好用:

代码语言:javascript
复制
unicodedata.normalize('NFD', uni)
票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/14401703

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档