将文本分解为字母(常规Unicode graphemes+language特定有向图)

Question

在英语中，"Sh“是两个字母。在其他语言中，它被认为是一个字母。我试图在一种Unicode感知方式中计算字符串的长度，考虑到这一点。我在想象一个函数

def count_letters(my_string, lang="en")

但是，我只使用一种语言，使用自2015年以来就没有新版本的库uniseg：

from uniseg.graphemecluster import grapheme_clusters


def albanian_digraphs(s, breakables):
    digraphs = ["Dh", "Gj", "Ll", "Nj", "Rr", "Sh", "Th", "Xh", "Zh"]
    digraphs += [d.lower() for d in digraphs]
    for i, breakable in enumerate(breakables):
        for first, second in digraphs:
            if s.endswith(first, 0, i) and s.startswith(second, i):
                yield 0
                break
        else:
            yield breakable


# from https://sq.wiktionary.org/wiki/Speciale:PrefixIndex?prefix=dh
for text in ('dhallanik', 'dhelpëror', 'dhembshurisht', 'dhevështrues', 'dhimbshëm', 'dhjamosje', 'dhjetëballësh', 'dhjetëminutësh', 'dhogaç', 'dhogiç', 'dhomë-muze', 'dhuratë', 'dhëmbinxhi', 'dhëmbçoj', 'dhëmbëkatarosh'):
    print(list(grapheme_clusters(text, albanian_digraphs)))

#['dh', 'a', 'll', 'a', 'n', 'i', 'k']
#['dh', 'e', 'l', 'p', 'ë', 'r', 'o', 'r']
#['dh', 'e', 'm', 'b', 'sh', 'u', 'r', 'i', 'sh', 't']
#['dh', 'e', 'v', 'ë', 'sh', 't', 'r', 'u', 'e', 's']
#['dh', 'i', 'm', 'b', 'sh', 'ë', 'm']
#['dh', 'j', 'a', 'm', 'o', 's', 'j', 'e']
#['dh', 'j', 'e', 't', 'ë', 'b', 'a', 'll', 'ë', 'sh']
#['dh', 'j', 'e', 't', 'ë', 'm', 'i', 'n', 'u', 't', 'ë', 'sh']
#['dh', 'o', 'g', 'a', 'ç']
#['dh', 'o', 'g', 'i', 'ç']
#['dh', 'o', 'm', 'ë', '-', 'm', 'u', 'z', 'e']
#['dh', 'u', 'r', 'a', 't', 'ë']
#['dh', 'ë', 'm', 'b', 'i', 'n', 'xh', 'i']
#['dh', 'ë', 'm', 'b', 'ç', 'o', 'j']
#['dh', 'ë', 'm', 'b', 'ë', 'k', 'a', 't', 'a', 'r', 'o', 'sh']

Answer 1

对于初学者来说，每次调用函数时都不需要创建digraphs列表:它们不会改变，所以最好将它们作为全局常量创建一次。您还忘记在列表中添加大写版本，以便将'HELLO'拆分为['H', 'E', 'LL', 'O']，而不是当前的['H', 'E', 'L', 'L', 'O']。

其次，当您只想知道digraphs位置的字符(如果有的话)和i在列表中形成有向图时，您在list列表中的线性研究可能会很费时。我宁愿把它写成yield 0 if s[i-1:i+1] in digraphs else breakable。当然，为了有效地工作，您需要digraphs成为一个set，而不是一个查找是\mathcal{O}(1)而不是\mathcal{O}(n)的list。

最后，我只考虑小写变量，并在检查之前将选定的两个字符小写：

from uniseg.graphemecluster import grapheme_clusters


DIGRAPHS = {"dh", "gj", "ll", "nj", "rr", "sh", "th", "xh", "zh"}


def albanian_digraphs(s, breakables):
    for i, breakable in enumerate(breakables):
        yield 0 if s[i-1:i+1].lower() in DIGRAPHS else breakable


if __name__ == '__main__':    
    # from https://sq.wiktionary.org/wiki/Speciale:PrefixIndex?prefix=dh
    for text in ('dhallanik', 'dhelpëror', 'dhembshurisht', 'dhevështrues', 'dhimbshëm', 'dhjamosje', 'dhjetëballësh', 'dhjetëminutësh', 'dhogaç', 'dhogiç', 'dhomë-muze', 'dhuratë', 'dhëmbinxhi', 'dhëmbçoj', 'dhëmbëkatarosh'):
        print(list(grapheme_clusters(text, albanian_digraphs)))

还请注意使用if __name__ == '__main__'将实际代码与测试分开。