无法区分单字单词和单词

Question

当我使用libunibreak库中的set_word_breaks_utf32()在单词中导航时，我看到了单个字母单词(即英文中的a，汉语中的北，.)消失是因为它们总是计算到WORDBREAK_BREAK，因此与周围的空格没有区别。下面的代码演示了这个问题：

#include <stdio.h>
#include "wordbreak.h"

int main(int argc, const char* argv[]) {
    int i;
    uint32_t text[] = { 'T', 'h', 'i', 's', ' ', 'i', 's', ' ', 'a', ' ', 't', 'e', 's', 't', '.', '\n' };
    char breaks[1024];
    size_t length = sizeof(text) / sizeof(text[0]);
    set_word_breaks_utf32(text, length, "", breaks);
    for(i = 0; i < length; i++) putchar(text[i]);
    for(i = 0; i < length; i++) putchar(breaks[i] + '0');
    putchar('\n');
    return 0;
}

这段代码的输出清楚地表明，字母'a‘与周围的空格是无法区分的：

This is a test.
1110010000111000

如何确保在set_word_breaks_utf32()输出中区分单个字母单词的边界？

很抱歉使用line-breaks标记，但是word-break标记与CSS属性相关。

Answer 1

Unicode标准附件29并不是为此而设计的。set_wordbreaks_utf32()所做的就是找到每个单词的边界。

This is a test.
1110010000111000

  T   h   i   s  ' '  i   s  ' '  a  ' '  t   e   s   t   .  '\n'
|   _   _   _   |   |   _   |   |   |   |   _   _   _   |   |    |

上面的每个|都是一个单词边界，可以帮助查找单词，但不是完整的解决方案。注意，字符串的开头有一个隐式的单词边界。一个完整的单词检测算法将必须确定每个相邻单词边界之间的字符是否为unicode字母，并相应地将该字符标记为一个单词。