- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习养成记
NLP基础（分词）：wordpiece 算法
今天，我们将深入探讨其升级版算法——WordPiece。作为BERT、GPT等主流模型的分词核心，WordPiece在BPE的基础上引入了更智能的合并策略。它究竟有何独特之处？ 本文将通过原理剖析、代码实战和实例对比，带你彻底掌握WordPiece！ 1 WordPiece vs BPE BPE的核心是合并高频字符对（例如将“u”和“g”合并为“ug”），而WordPiece的合并策略更进一步——每次选择合并后能最大化语言模型概率的字符对。 简而言之，BPE是“频率驱动”，而WordPiece是“概率驱动”。 WordPiece的选择：计算合并后句子的整体概率提升，优先合并语义更连贯的字符对（如low和est）。 2 算法原理 1.
26710编辑于 2025-11-28 - 来自专栏深度学习自然语言处理
【NLP Subword】三大算法原理：BPE、WordPiece、ULM
编码序列 [“the</w>”, “high”, “est</w>”, “moun”, “tain</w>”] # 解码序列 “the</w> highest</w> mountain</w>” WordPiece WordPiece算法可以看作是BPE的变种。 不同点在于，WordPiece基于概率生成新的subword而不是下一最高频字节对。 WordPiece和ULM都利用语言模型建立subword词表。
5.3K10发布于 2020-02-21 - 来自专栏机器学习爱好者社区
【Subword】 NLP Subword三大算法原理：BPE、WordPiece、ULM
编码序列 [“the</w>”, “high”, “est</w>”, “moun”, “tain</w>”] # 解码序列 “the</w> highest</w> mountain</w>” WordPiece WordPiece算法可以看作是BPE的变种。 不同点在于，WordPiece基于概率生成新的subword而不是下一最高频字节对。 WordPiece和ULM都利用语言模型建立subword词表。
1.7K20发布于 2020-03-03 - 来自专栏DeepHub IMBA
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
2、WordPiece WordPiece是Google为的BERT模型开发的一种标记化方法，并用于其衍生模型，如DistilBERT和MobileBERT。 WordPiece算法的全部细节尚未完全向公众公布，因此本文介绍的方法是基于Hugging Face[12]给出的解释。WordPiece算法类似于BPE，但使用不同的度量来确定合并规则。 这是WordPiece和BPE的主要区别，因为BPE不考虑单个字符本身的总体频率。 d)创建合并规则 高分代表通常一起出现的字符对。 比较BPE、WordPiece和Unigram 根据训练集和要标记的数据，一些标记器可能比其他标记器表现得更好。 与BPE和Unigram相比，WordPiece似乎产生了更多的单词标记，但无论模型选择如何，随着词汇量的增加，所有标记器似乎都产生了更少的标记[14]。
1.1K10编辑于 2024-01-17 - 来自专栏人工智能
深入解析 BERT 的 WordPiece 子词分割机制：理论与实践
笔者看书时，看到书中提到的这个 WordPiece，只是短短的一句带过。于是查了些资料，做了深入了解。 本文将详细阐述 WordPiece 的工作原理，并通过实例与代码进行深度解析。WordPiece 的背景与目标在自然语言处理中，词汇表的大小直接影响模型的性能与效率。 WordPiece 通过将单词进一步分解为子词单元，从而在保持词汇表规模适中的同时，显著提高了词汇覆盖率。WordPiece 的核心思想WordPiece 基于子词单元构建词汇表。 通过频率统计和合并规则，WordPiece 逐步生成最优的子词分割方案。WordPiece 的分割过程可以总结为以下几个步骤：初始化词汇表：将所有字符（Unicode）作为初始词汇表的基本单元。 具体案例解析为说明 WordPiece 的工作机制，以下是一个实际示例，展示如何从零构建一个简单的词汇表。
56500编辑于 2024-12-30 - 来自专栏大模型应用
大模型应用：大模型的词元化处理详解：BPE、WordPiece、Unigram.11
三、WordPiece 分词1. 基础原理 WordPiece与BPE类似，也是从字符开始，迭代合并子词。 WordPiece流程总结流程步骤说明：1. 输入中文语料。2. 预处理：将文本拆分为单字，并在每个词后面加上结束符（或按WordPiece的方式，将文本拆分为单个字符，并在词尾添加特殊符号）。3. 注意：在WordPiece中，通常使用一个语言模型来评估合并后的似然变化，但这里我们使用对数似然增益的公式作为合并标准。6. 1.1.2 BPE/WordPiece 算法：合并规则优先级错误若改用 BPE/WordPiece，出现 “北京是” 的原因是：相邻字符对统计时，“北 / 京”“京 / 是” 的共现频率被错误累加，导致 BPE 和 WordPiece 是 “自底向上合并”：从单字开始，BPE 合并高频字符对，WordPiece 则优先合并能提升文本似然性的组合，二者适合处理中文常用词，实现简单且效果稳定。
39022编辑于 2026-02-08 - 来自专栏NewBeeNLP
机器如何认识文本 ？NLP中的Tokenization方法总结
subword粒度切分算法又有以下几种： BPE WordPiece ULM BPE BPE全称Byte Pair Encoding，字节对编码，首先在Neural Machine Translation 它不是从一组基本符号开始，更具某些规则进行合并，如BPE或WordPiece，而是从一个庞大的词汇量开始，例如所有预处理的单词和最常见的子字符串，并逐步减少。 WordPiece WordPiece首先在 JAPANESE AND KOREAN VOICE SEARCH[5] 中提出，最初用于解决日语和韩语语音问题。 基于第3步数据训练语言模型 从所有可能的subword单元中选择加入语言模型后能最大程度地增加训练数据概率的单元作为新的单元 重复第5步直到达到第2步设定的subword词表大小或概率增量低于某一阈值 WordPiece SentencePiece集成了两种subword算法，BPE和UniLM， WordPiece 则是谷歌内部的子词包，没对外公开。
2.8K20发布于 2020-12-22 - 来自专栏大鹅专栏：大数据到机器学习
NLP BERT GPT等模型中 tokenizer 类别说明详解
常用tokenize算法 最常用的三种tokenize算法：BPE（Byte-Pair Encoding），WordPiece和SentencePiece image.png 2.1 Byte-Pair 2.2 WordPiece WordPiece，从名字好理解，它是一种子词粒度的tokenize算法subword tokenization algorithm，很多著名的Transformers模型， 2.3 Unigram 与BPE或者WordPiece不同，Unigram的算法思想是从一个巨大的词汇表出发，再逐渐删除trim down其中的词汇，直到size满足预定义。 切分实例与代码分析 3.1 BertTokenizer / WordPiece 先试一个BertTokenizer，它基于WordPiece算法，base版本的词汇表大小为21128. from transformers wordpiece_tokenizer 则是将词切成字符级别，例如 doing->['do', '###ing']。
20.4K127发布于 2021-08-20 - 来自专栏数据派THU
原创 | 一文读懂 BERT 源代码
分词方法为wordpiece 方法。 在英文文本中，由字母组成单词，词与词之间利用空格来切分单词，利用空格切分单词往往还不充分，需要对单词做进一步切分转换，在BERT 模型中，通过调用wordpiece 方法将输入的单词再进一步切分，利用wordpiece 在这里，利用wordpiece 方法将读入的单词进行再次切分，把输入的单词序列切分成更为基本的单元，从而更加便于模型学习。 在中文系统中，通常把句子切分成单个的字，切分完成之后，把输入用wordpiece转化成wordpiece结构之后，再做一个判断，看是否有第二句话输入，如果有第二句话输入，则用wordpiece对第二句话做相同的处理 做完wordpiece转换之后，再做一个判断，判断实际句子的长度是否超过max_seq_length 的值，如果输入句子的长度超过max_seq_length规定的数值，则需要进行截断操作。
89010编辑于 2022-09-14 - 来自专栏ShowMeAI研究中心
斯坦福NLP课程 | 第12讲 - NLP子词模型
仍然广泛应用于2018年WMT https://github.com/rsennrich/nematus 3.3 Wordpiece / Sentencepiece模型 [Wordpiece / Sentencepiece 模型] 谷歌 NMT (GNMT) 使用了它的一个变体 V1: wordpiece model V2: sentencepiece model 不使用字符的 n-gram count，而是使用贪心近似来最大化语言模型的对数似然函数值 ，选择对应的 pieces 添加最大限度地减少困惑的 n-gram [Wordpiece / Sentencepiece模型] Wordpiece模型标记内部单词 Sentencepiece模型使用原始文本 可以通过将片段连接起来并将它们重新编码到空格中，从而在末尾将内容反转 https://github.com/google/sentencepiece https://arxiv.org/pdf/1804.10959.pdf [Wordpiece / Sentencepiece模型] BERT 使用了 wordpiece 模型的一个变体 (相对) 在词汇表中的常用词 at, fairfax, 1910s 其他单词由wordpieces组成 hypatia
1K31编辑于 2022-05-16 - 来自专栏相约机器人
哈工大讯飞联合实验室发布基于全词覆盖的中文BERT预训练模型
应用该技术后，在预训练阶段，同属同一个词的WordPiece会被全部覆盖掉，而不是孤立的覆盖其中的某些WordPiece，进一步提升了Masked Language Model （MLM）的难度。 简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个词缀，在生成训练样本时，这些被分开的词缀会随机被[MASK]替换。 在全词Mask中，如果一个完整的词的部分WordPiece被[MASK]替换，则同属该词的其他部分也会被[MASK]替换，即全词Mask。
4.9K20发布于 2019-07-05 - 来自专栏自然语言处理
【LLM系列之Tokenizer】如何科学地训练一个LLM分词器
WordPiece 最早在《Japanese and korean voice search》中提出，并应用于解决日语和韩语语音问题。 **它与 BPE 最大区别在于选择两个子词进行合并的原则：BPE 按频率，WordPiece 按能够使得 LM 概率最大的相邻子词加入词表。 ** 对于 WordPiece 构造词表的原理如下： 假设由句子 s=\{t_1,t_2,t_3,... 这种方法与 WordPiece 相同点是：同样使用语言模型来挑选子词。与 WordPiece 最大区别：WordPiece 算法的词表大小都是从小到大变化。 WordPiece：类似于 BPE，使用频率出现来识别潜在的合并，但根据合并令牌的可能性做出最终决定 Unigram：不使用频率出现的完全概率模型。
5.9K31编辑于 2023-08-25 - 来自专栏磐创AI技术团队的专栏
用微调的BERT回答问题
Bert使用 wordpiece tokenization 。在BERT中，稀有词被分解成子词/片段。Wordpiece标记化使用##来分隔已拆分的标记。 举个例子：“Karin”是一个普通的词，所以wordpiece不会把它分开。然而，“Karingu”是一个罕见的词，所以wordpiece把它分为“Karin”和“gu”。 使用wordpiece背后的想法是减少词汇的大小，从而提高训练性能。 考虑单词， run, running, runner 。没有wordpiece，模型必须独立地存储和学习所有三个单词的含义。
1.7K30发布于 2021-11-10 - 来自专栏新智元
谷歌最强NLP模型BERT官方中文版来了！多语言模型支持100种语言
为了平衡这两个因素，我们在训练前数据创建（以及WordPiece词汇创建）期间对数据进行了指数平滑加权。 Tokenization 对于Tokenization，我们使用110k共享的WordPiece词汇表。单词计数的加权方式与数据相同，因此低资源语言的加权会增大。 因为中文没有空白字符，所以在使用WordPiece之前，我们在CJK Unicode范围内的每个字符周围添加了空格。这意味着中文被有效地符号化了。 请注意，CJK Unicode block仅包含汉字字符，不包括朝鲜文/韩文或日语片假名/平假名，这些与其他语言一样使用空格+ WordPiece进行标记化。
4.7K41发布于 2018-12-07 - 来自专栏深度学习自然语言处理
Tokenizer的系统梳理，并手推每个方法的具体实现
subword的切分包括: BPE(/BBPE), WordPiece 和 Unigram三种分词模型。其中WordPiece可以认为是一种特殊的BPE。 分词模型包括：BPE，WordPiece 和 Unigram 三种分词模型。 WordPiece WordPiece分词与BPE非常类似，只是在训练阶段合并pair的策略不是pair的频率而是互信息。 WordPiece算法也是从一个字符级别的词表为基础，逐步扩充成大词表。合并规则为选择相邻pair互信息最大的进行合并。 下面进行具体手工实现。 Unigram Unigram分词与BPE和WordPiece不同，是基于一个大词表逐步裁剪成一个小词表。
4.5K34编辑于 2023-09-11 - 来自专栏新智元
刚刚，Google发布24个小型BERT模型，直接通过MLM损失进行预训练
新智元原创 编辑：鹏飞 【新智元导读】Google刚刚发布了24个小型BERT模型，使用WordPiece masking进行训练，具有更少的层数，在MLM蒸馏的更精细的预训练策略方面极具优势 该24个模型使用WordPiece masking进行训练，直接通过MLM损失进行预训练，可以通过标准训练或最终任务提炼针对下游任务进行微调，在MLM蒸馏的更精细的预训练策略方面极具优势。
1.7K00发布于 2020-03-16 BERT如何处理复杂的文本分词过程
WordPiece分词： WordPiece是一种基于贪心算法的子词划分方法。它试图找到一个最优的子词划分，使得词汇表中的单词和子词的总数最少。
44500编辑于 2025-04-05- 来自专栏数据科学（冷冻工厂）
掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（1）
但这里有一个不同之处：BERT 使用 WordPiece 标记化。它将单词分成更小的部分，比如把“running”变成“run”和“ning”。 WordPiece 标记：[“Chat”、“##G”、“##PT”、“is”、“fascinating”、“.”] 在本章中，我们将揭开 BERT 的嵌入，包括其上下文词嵌入、WordPiece 标记化和位置编码。 词嵌入与上下文词嵌入 将词嵌入视为词的代码词。 BERT 通过上下文词嵌入更进一步。 WordPiece 标记化：处理复杂词汇 BERT 的词汇就像一个由称为子词的小块组成的拼图。它使用 WordPiece 标记化将单词分解为这些子词。
6.7K11编辑于 2023-10-08 - 来自专栏量子位
1美元训练BERT，教你如何薅谷歌TPU羊毛 | 附Colab代码
BERT文件使用WordPiece分词器，在开源中不可用。我们将在unigram模式下使用SentencePiece分词器。虽然它与BERT不直接兼容，但是通过一个小的处理方法，可以使它工作。 下面是使用来自官方的预训练英语BERT基础模型的WordPiece词汇表标记的语句。 >>> wordpiece.tokenize("Colorless geothermal substations are generating furiously") ['color', '##less ', 'geo', '##thermal', 'sub', '##station', '##s', 'are', 'generating', 'furiously'] WordPiece 因此，为了获得类似于WordPiece的词汇表，我们需要执行一个简单的转换，从包含它的标记中删除“_”，并将“##”添加到不包含它的标记中。 我们还添加了一些BERT架构所需的特殊控制符号。
2K20发布于 2019-07-30 - 来自专栏数据分析与挖掘
bert之token embeddings、segmentation embeddings、position embeddings
（1）使用WordPiece嵌入（Wu et al., 2016）和30,000个token的词汇表。用##表示分词。
1.9K20发布于 2020-08-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号