Token 化差异背后的 BPE 机制：为何单个汉字「夔」会被拆成多 Token，而常用词组「中国」只占一个 Token

在 GPT 家族使用的 tiktoken 编码方案里，汉字并不是简单地“一字一 token”。罕见字符可能被拆分成数个 token，而高频词组却可能被直接映射到一个 token。究其原因，要从 byte‑pair encoding (BPE) 的合并过程、 UTF‑8 多字节表示、词频统计与压缩效率多重视角综合解读。下文将先梳理 BPE 的工作逻辑，再对 夔 与 中国 两个案例做逐层拆解，并用可运