我需要在unicode字符串上评估levenshtein编辑距离,这意味着需要对包含相同内容的两个字符串进行标准化,以避免偏置编辑距离。
下面是为我的测试生成随机unicode字符串的方法:
def random_unicode(length=10):
ru = lambda: unichr(random.randint(0, 0x10ffff))
return ''.join([ru() for _ in xrange(length)])下面是一个失败的简单测试用例:
import unicodedata
uni = random_unicode()
unicodedata.normalize(uni, 'NFD')下面是错误:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)我检查以确保uni确实是unicode对象:
u'\U00020d93\U000fb2e6\U0005709a\U000bc31e\U00080262\U00034f00\U00059941\U0002dd09\U00074f6d\U0009ef7a'有没有人能开导我?
发布于 2013-01-18 23:10:28
您已经切换了normalize的参数。来自the relevant documentation
unicodedata.normalize(form, unistr)
返回Unicode字符串* unistr*的范式。form的有效值为‘NFC’、‘NFKC’、‘NFD’和‘NFKD’。
第一个参数是表单,第二个参数是要规范化的字符串。这个很好用:
unicodedata.normalize('NFD', uni)https://stackoverflow.com/questions/14401703
复制相似问题