用于检测UTF-8的宏

Question

我正在编写一个处理UTF-8字符的程序。我做了以下宏来检测UTF-8。我用几千个单词测试过它们，它们似乎很有效。

稍后我会添加另一个来进行错误检查，但是现在我想知道我犯了哪些错误，以及如何改进这些宏。

//check if value is in range of leading byte
#define IS_UTF8_LEADING_BYTE(b) (((unsigned char)(b) >= 192) && (unsigned char)(b) < 248)

//check if value is in range of sequence byte
#define IS_UTF8_SEQUENCE_BYTE(b) ((unsigned char)(b) >= 128 && (unsigned char)(b) < 192)

//can be any utf8 byte, first, last...
#define IS_UTF8_BYTE(b) (IS_UTF8_LEADING_BYTE(b) || IS_UTF8_SEQUENCE_BYTE(b))

//no error checking, it must be used only on leading byte
#define HOW_MANY_UTF8_SEQUENCE_BYTES(b) ((((unsigned char)(b) & 64) == 64) + (((unsigned char)(b) & 32) == 32) + (((unsigned char)(b) & 16) == 16)) 

Answer 1

如果您确信只有有效的编码UTF8，则可以简化

#define IS_UTF8_BYTE(b) (IS_UTF8_LEADING_BYTE(b) || IS_UTF8_SEQUENCE_BYTE(b))

至

#define IS_UTF8_BYTE(b) ((unsigned char)(b) >= 128)

因为每个不是ASCII的字节都必须是一个UTF8 8字节.

Answer 2

有很多神奇的数字。这些数字对任何优秀的程序员来说都是熟悉的，但还是神奇的数字。此外，使用按位操作来思考这个问题更为有用，因为它们与UTF-8背后的概念设计有着更密切的联系。

您只接受两字节、三字节和四字节的序列，即只接受U+0080到U+1FFFFF的代码点，即基本的多语言平面(减去ASCII集)加上补充的多语言平面。应在评论中明确指出这一点。

我建议将IS_UTF8_BYTE()重命名为IS_UTF8_MULTIBYTE()，因为ASCII字符≤127也是有效的UTF--也是8个字节--而不是多字节序列的成员。

//check if value is in range of leading byte (0b11?????? but not 0b11111???)
#define IS_UTF8_LEADING_BYTE(b) (((b) & 0xc0) && !((b) & 0xf8))

//check if value is in range of sequence byte (0b10??????)
#define IS_UTF8_SEQUENCE_BYTE(b) (((b) & 0x80) && !((b) & 0xc0))

//can be any byte within a UTF-8 multibyte sequence
#define IS_UTF8_MULTIBYTE(b) (IS_UTF8_LEADING_BYTE(b) || IS_UTF8_SEQUENCE_BYTE(b))

//no error checking; it must be used only on leading byte
#define HOW_MANY_UTF8_SEQUENCE_BYTES(b) (((b) & 0x40 == 0x40) + ((b) & 0x20 == 0x20) + ((b) & 0x10 == 0x10))

IS_UTF8_SEQUENCE_BYTE()可能会更聪明。

//check if value is in range of sequence byte (0b10??????)
#define IS_UTF8_SEQUENCE_BYTE(b) ((b) & 0xc0 == 0x80)