- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
解读大模型（LLM）的token
个人认为，token 对大模型的影响集中在两个方面： 上下文窗口: 这是模型一次可以处理的令牌的最大数量。如果要求模型比上下文窗口生成更多的标记，它将在块中这样做，这可能会失去块之间的一致性。 但是，词汇表越大，模型所需的内存和计算资源就越多。因此，词汇表的选择取决于模型的质量和效率之间的权衡。 基于用于与模型交互的token数量以及不同模型的不同速率，大模型的使用成本可能大不相同。 LLM应用中token 的使用 我们需要知道当前任务的token 使用状况，然后，面对大模型的token长度限制，可以尝试一些解决方案 5.1 token 的使用状态 这里采用OpenAI 的API ， 的长度限制与应对 像 GPT-3/4，LLaMA等这样的大模型有一个最大token 数量限制，超过这个限制，它们就不能接受输入或生成输出。 解读Toolformer 解读TaskMatrix.AI 解读LangChain 浅析多模态机器学习 Agent 与对象的辨析 深度学习架构的对比分析 老码农眼中的大模型（LLM） 系统学习大模型的
20.5K51编辑于 2023-10-08 DeepSeek为什么按Token计费 —— 通俗解释什么是大模型Token
被 “刁难” 的博主最近 DeepSeek 可是火遍了大模型圈，我也一直在研究。结果前几天，我发小突然冷不丁地问我：“大模型里的Token 到底是啥东西啊？” 我就跟她打比方，说像Deepseek、GPT 这些大语言模型，都有个“厉害助手”叫分词器。当大模型收到一段文字，就会让分词器把它切成好多小块，这些小块就叫token。 今天，我就来好好给大家通俗地解释一下，大模型token究竟是啥，以及为什么会是这样，顺便也讲讲为啥按token计费。什么是大模型 Token简单来说，Token就是大模型处理文本的最小单位。 其实，这背后的原因很简单，token 的数量直接对应了大模型在处理文本时所需要的计算量 。当大模型接收输入文本并生成回复时，每一个token 都需要模型进行一系列复杂的计算。 所以，大模型公司按照token 的数量计费，实际上是在根据模型处理任务所消耗的计算资源来收费 。这种计费方式既公平合理，又能够准确反映用户使用大模型服务的实际成本 。
3.2K10编辑于 2025-03-18- 来自专栏AI相关
大模型API的token是如何计算的？
今天来讲一个比较简单且常见的话题：大模型调用时token数量是如何计算的？ 在我们日常使用大语言模型（LLM）API时，比如OpenAI、Anthropic或其他厂商的接口，token数量几乎是一个绕不开的问题。 无论是控制调用成本，还是预估模型上下文长度，都离不开对token计算方式的理解。比如我在某个平台调用大模型API的时候就会有一些相关的参数：看着这些参数有时我会不禁发问：token到底是什么？ 空格标点大多计入token成本优化减少冗余上下文、控制输出长度、拆分任务#####最后我想说的是Token是大模型世界的“货币单位”。 理解它，才能真正掌握大模型API的成本和性能。希望这篇文章能帮你在与LLM的交互中，更“省钱”、也更“聪明”。
2.6K20编辑于 2025-11-10 - 来自专栏bisal的个人杂货铺
大模型中的Token有什么用？
可以说大模型已经融入了我们日常的工作生活，不管你是不是技术人员，随着现在大模型产品的演进，都可能得到他的帮助，这就从侧面再次印证了，降低技术的使用成本门槛，就可能带来突破性的冲击。 谈到大模型，尤其针对一些需要本地搭建模型的场景，token是个非常重要的词汇，到底什么是token？ Token是自然语言文本的最小单位，可以是单词、子词或字符，具体取决于模型使用的分词器。 Token的作用， 文本分割：将输入文本分割成模型可以理解和处理的单位。 模型输入：模型通过处理这些token生成输出。 计算效率：token化帮助模型高效处理文本，避免处理过长的字符串。 Token更加实际的一个作用就是计费，作为计费单元，计算使用大模型的成本，如下是DeepSeek关于Token用量计算的介绍， https://api-docs.deepseek.com/zh-cn/quick_start ://cdn.deepseek.com/api-docs/deepseek_v3_tokenizer.zip 综上来讲，Token是大模型处理文本的基本单位，通过分词器将文本分割成token，模型根据这些
1.9K10编辑于 2025-03-17 大模型中的Token，到底是个啥子？
在自然语言处理（NLP）和人工智能领域，Token是大模型（如GPT、BERT、Transformer等）处理文本数据的基础单元。 与区块链中的Token（代币）不同，大模型中的Token是数据表征的最小单位，是模型理解、生成和处理语言的核心机制。 三、Token在大模型中的关键挑战分词粒度的平衡细粒度分词：增加词汇覆盖率，但可能引入冗余（如“un” + “happy”）。 上下文窗口限制大模型的Token处理能力受限于上下文长度（如GPT-3的2048 Token、GPT-4的32768 Token），超出部分需截断或滑动窗口处理。 结大模型中的Token是连接人类语言与机器智能的桥梁，其设计直接影响模型的性能、效率与应用场景。从基础的分词策略到前沿的多模态融合，Token技术的每一次迭代都在推动NLP和AI的边界。
8.9K32编辑于 2025-04-06玩OpenClaw烧Token太快，两个节省95%AI大模型token的神器
OpenClaw的Token烧的太快了，1百万Token最多玩1个小时、token消耗完任务老失败。给大家介绍两个帮你省token省钱的工具。 简单说，就是让AI能"记住"你之前做过的事情，不用每次都重新喂一遍上下文，这样就能省下大量Token。工作原理：它会自动捕获你的操作记录，生成语义摘要，然后在需要的时候提供给AI。 核心特点主要功能持久化内存-上下文可以跨会话保存渐进式披露-分层内存检索，可见token成本基于技能的搜索-使用mem-search技能查询项目历史Web查看器界面-在http://localhost: 上下文自迭代自动压缩对话内容、资源引用、工具调用等提取长期记忆,让Agent越用越聪明技术要求环境要求Python版本:3.10或更高操作系统:Linux、macOS、Windows网络连接:需要稳定的网络连接模型依赖 VLM模型:用于图像和内容理解Embedding模型:用于向量化和语义检索安装方式PythonSDK展开代码语言：BashAI代码解释pipinstallopenvikingCLI工具展开代码语言：BashAI
2.9K80编辑于 2026-03-10- 来自专栏程序员分享
Agent记忆模块：让大模型“记住”你，还能省Token！
Agent记忆模块：让大模型“记住”你，还能省Token！ 在人工智能飞速发展的今天，大语言模型（LLM）已经能帮我们写代码、做菜、解答问题……但你有没有想过一个问题：为什么每次和AI聊天，它好像都不记得上一句说了什么？ 答案很简单：大模型本身是“无状态”的（Stateless） 。就像HTTP协议一样，每一次请求都是独立的——这是为了高并发、低延迟、节省算力而设计的。但现实中的任务往往是连续的、有上下文依赖的。 但问题来了：对话越长，Token 越多，成本越高，还可能超出模型上下文窗口（比如 128K）！三、如何解决“记忆太长”的问题？ 这样既保留关键信息，又大幅减少 Token。LangChain 支持自动触发总结（比如当 Token 使用率达 80% 时），也可以手动触发命令如 /compact。
78810编辑于 2026-03-18 - 来自专栏AI工程落地
大语言模型--Llama3 token结束符问题
背景 结束符是一个句子（prompt）的结尾标记，再大语言模型中，句子中的每个单词都会被编码成数字才能被模型处理。同样的，结尾标记也会被编码成一个数字。 transformers中现在是不支持pad_id=-1的，当同时给模型输入了多个句子（batch>1），我们就没法标记单个句子结束的地方。 解决办法 再Llama的源码中，我们看到向分词器（tokenizer模型）中添加了很多special_tokens，并且代码里也有用<|end_of_text|>、<|eot_id|>两个令牌来判断生成的句子是否结束 [i][start : len(prompt_tokens[i]) + max_gen_len] # cut to after eos tok if any for stop_token 我们可以直接把结束符设置为self.tokenizer.pad_token = "<|eot_id|>" 2.
1.6K10编辑于 2024-07-09 - 来自专栏未来先知
创新之举：不丢 Token，大语言模型效率提升 35% !
因此，提升具有扩展上下文窗口的大语言模型的效率至关重要。 在这一背景下，众多研究者提出了通过舍弃上下文中某些Token来提升大语言模型推理效率的方法。 Methodology 作者的方法包含三个关键步骤（图2）： 1）分析给定长上下文大语言模型中各层注意力分数的相似性，并将连续相似的层分组为块； 2）在每个块内应用注意力共享并对大语言模型进行后训练； 3）通过使用后训练的大语言模型进行高效的推理。 3) Stream 大语言模型（Xiao等，2024）：除了相邻的Token外，每个Token还会关注初始的几个Token。 4) LM-Infinite（Han等，2024）：每个Token关注的Token与 Stream 大语言模型相同，但位置嵌入有所不同。
77310编辑于 2025-02-12 - 来自专栏从0开始学Go
老婆问我：“大模型的 Token 究竟是个啥？”
什么是 Token？最近 DeepSeek 很火，老婆又问我：大模型里的 Token 到底是个什么东西？我：所谓 Token，Token，分而治之。“Token 就是模型眼中的‘最小语言单位’。” 所以，大模型必须找到一种“最优拆分”方式，把句子切成既方便计算、又能保留意义的 Token。 所以，大模型的关键在于找到一个平衡点，既能让 Token 足够精准地表达意思，又不会让计算量飙升。Token 和大模型的关系如果把大模型比作一台“超级翻译机”，Token 就是它的“输入语言”。 Token 的核心思想大模型的 Token 机制看似复杂，但本质上就是：把文本拆成最小的计算单位（Token）用数学方法处理这些 Token，找到语言的规律生成新的 Token 作为回答下次听到“大模型一次最多能处理 所以，Token 的合理设计，就是大模型高效运转的关键！
91620编辑于 2025-03-12 - 来自专栏程序员
主流大模型Token计算方式全解析：从原理到选型
一、Token基础与核心原理Token定义与作用在大语言模型的交互场景中，一句简单的“你好，AI助手！” 二、主流大模型Token计算方式详解国际模型（GPT系列、Claude等）国际主流大模型如GPT系列和Claude在Token计算方式上存在显著差异，尤其在中文处理效率和成本方面表现突出。 -4个字母混元大模型约等于1.8个中文汉字3个英文字母星火大模型约等于1.5个中文汉字约0.8个英文单词或4个字符由表可知，通义千问与文心一言（千帆大模型）实现了Token与汉字的1:1映射关系，这一设计显著提升了中文文本处理的直观性与成本可控性 国内大模型在中文Token效率上展现显著优势。 例如，通义千问、千帆大模型、豆包等模型实现1汉字≈1 Token，腾讯模型约1 Token≈1.8汉字，而GPT系列等海外模型通常需1.5-2 Token/汉字[2][3][23]。
7.4K10编辑于 2025-07-31 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
引言 在大模型应用日益普及的今天，对模型交互过程中Token消耗的深入理解和有效管理变得至关重要。 Token作为大模型处理文本的基本单位，不仅直接关系到模型的响应速度和质量，更影响着计算资源的消耗和使用成本。 随着模型规模的不断扩大和应用场景的多样化，如何在不牺牲对话质量的前提下优化Token使用效率，已成为提升大模型应用经济性和实用性的关键问题。 助理回复："我是通义千问，一个由开发的大语言模型。我致力于帮助用户解答问题、提供信息和执行各种任务。" ，确保系统在不同硬件环境下的可用性通过持续的技术迭代和优化，我们相信Token效率优化将在推动大语言模型普惠应用方面发挥越来越重要的作用。
47832编辑于 2026-02-06 - 来自专栏明明如月的技术专栏
为什么说模型需要 token 来思考，token 就像是⼤模型的时间
模型需要token来思考，因为在大型语言模型（如GPT系列）中，token是处理和生成文本的基本单位。 这些模型通过接收一系列的token（可以是单词、字符或者其他形式的数据片段），根据这些输入的token来预测下一个token或者生成文本。 在这个过程中，每个token都可以被看作是模型进行信息处理、推理和生成回应的一个时间步骤。 因此，token在模型的“思考”过程中起到了决定性的作用，它们就像是模型处理信息和进行推理的“时间”，每个token都是模型在特定时间点上的思考和处理的结果。 这种方式使得模型能够基于累积的token序列进行复杂的语言理解和生成任务。
40800编辑于 2024-05-25 - 来自专栏用户8927754的专栏
碳基大模型--人一生处理多少个token？
其中老黄提到两个有趣的点，一是普通人终其一生接触到的单词可能不超过 10 亿个/次，二是人的思考、反省，也是一种 self-instruct（大语言模型的领域下的“自我指导”）。 现在大语言模型具备一种在没有外部监督或指导的情况下学习和提高任务性能的能力。模型依靠其自身内部机制来识别数据中的模式、进行预测并从错误中学习，有效地“自我教育”来完成任务。 反过来看，人类也许是一种具备“自我指导”进行深度学习的大语言模型的生化机器！那么人终其一生能供其进行训练的数据有多少？于是我问了一下ChatGPT。 某种意义上，你，作为一台能吞吐 30 亿个 token 和颅内处理 958 亿个 token 的生化机器，也是拥有一个属于自己的大模型的，你得学习和自训练，这是我想说的，让 ChatGPT 以鸡汤文补全了 创造，全在于一念（an idea），这是硅基大模型目前貌似还不能自生成的。正如这篇文章本身，撑起来的就是一些灵感、几个 idea，剩余的事情，就没有了。
1.6K10编辑于 2023-03-30 - 来自专栏后台技术汇
大模型应用之概念篇（2）：预训练、Transformer算法、token计算
大模型的预训练 预训练值得特别关注有2个原因： 1. 前期预训练的成本高（GPT-4预训练成本超1亿美元）但效果好；后期的模型微调则投入产出比低； 2. 预训练依赖大规模数据，企业长期积累的优质数据是核心竞争力（数据质量与大模型生成效果呈正相关） 数据集和训练数据 Transformer算法 ►Transformer 是什么？ 变形金刚？ ►大语言模型是基于概率的模型，它基于训练数据中的统计信息，预测下一个词； ►由于基于概率去决策，即使是相同问题，每次回答都稍微不同 Transformer架构工作流程： ►组成 Transformer 计算 影响大模型 token 生成速率的采样概率参数有 max_token、top_k/top_p、temperature "大模型通过Token处理文本时，中文的Token-字符映射呈现阶梯式特征： 基础层：单个汉字=1 Token（例：'我'） 复合层：双字词=1 Token（例：'人工智能'） 成语层：四字短语=1 Token（例：'守株待兔'） 最大上下文长度 上下文是指大模型处理任务的时候，
68610编辑于 2025-07-31 - 来自专栏大模型应用
大模型应用：大模型的token频率偏见：高频词与低频词的嵌入表示差异分析.46
这种看似偏心的表现，并非大模型学艺不精，而是其底层运行机制中一个绕不开的特性，Token 频率偏见在发挥作用，Token 频率偏见是大模型基于训练语料中 Token 出现频次差异，所产生的嵌入表示与处理效果的不对等现象 搞懂 Token 频率偏见，就等于理解了大模型底层逻辑，能帮我们更好的理解“为什么 AI 对生僻词不敏感”、“专业领域的大模型为何需要额外训练”，更能让我们在使用和优化大模型时，避开因频率偏见带来的陷阱 Token 大模型的最小语言单位，大模型看不懂人类文字，只能处理数字代码，Token 就是把文字拆成的最小积木。 Token 频率偏见 简单说：大模型对高频词和低频词的待遇不同，导致它们的嵌入表示出现明显差异，进而影响模型处理效果，高频词的嵌入向量更精准、稳定，低频词的则更模糊、分散。 基础原理1.1 训练目标的资源倾斜大模型的核心训练目标是预测下一个 Token 出现的概率，高频词出现概率高，模型会重点学习它的上下文规律；低频词出现概率低，模型分配的学习资源自然更少。
30143编辑于 2026-03-15 - 来自专栏机器之心
3.6万亿token、3400亿参数，谷歌大模型PaLM 2细节遭曝光
机器之心报道 编辑：杜伟、陈萍 谷歌内部文件又泄露了，这次是谷歌新一代大模型 PaLM 2 的训练细节：训练数据量是前代的近 5 倍、参数量是前代的三分之二左右。 上周四，在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成能力。 PaLM 2 模型提供了不同尺寸规模的四个版本，从小到大依次为 Gecko、Otter、Bison 和 Unicorn，更易于针对各种用例进行部署。 其实这样做的不只谷歌一家，OpenAI 也缄口不言其最新多模态大模型 GPT-4 的细节。他们都表示不披露细节是源于业务的竞争属性。 不过，随着 AI 军备竞赛的持续升温，研究界越来越要求提高透明度。 还有人对 PaLM 2 的训练成本进行了一波预测，根据历代大模型的发展来看，这位网友表示，打造 PaLM 2 需要耗资 1 亿美元。
49220编辑于 2023-05-22 - 来自专栏AI
从输入到回复：大模型靠 Token 接龙 “猜” 出你的答案
大模型作为人工智能领域的明星产物，其诞生与迭代始终以人类语言及行为数据的深度学习为核心。 通过吸纳书面文字、影音字幕、日常对话等海量多元数据，借助数百亿甚至上千亿级参数构建起庞大的数学模型（本质是语言规律与语义关联的编码网络），大模型得以实现对语言逻辑的高效习得与灵活运用 —— 这便是人们常说的 回归核心，理解了大模型的训练逻辑，便不难发现其对话输出、多模态输出的本质：一场 “文字接龙”，而在模型内部，这一过程以 Token（语义最小单元）为单位展开，具体流程如下图所示：用户输入自然语言（如 “ 推荐一本科幻小说”）；模型将自然语言拆解为 Token 序列（如中文场景：[推荐，一本，科幻，小说]）；基于输入 Token 序列与自身参数，预测回复的首个 Token；把 “原始输入 Token 序列 ，生成终止，模型整理完整 Token 序列；按模型发布时的词表，将 Token 序列解码为自然语言，最终返回给用户。
14300编辑于 2026-03-03 - 来自专栏机器学习与统计学
支持100 万 token 上下文的大模型——MiniMax- M1
，总共包含 4560 亿个参数，每个 token 激活 459 亿个参数。M1 模型原生支持 100 万个 token 的上下文长度，是 DeepSeek R1 上下文大小的 8 倍。 此外，MiniMax-M1 中的闪电注意力机制使测试时计算能够高效扩展——例如，与 DeepSeek R1 相比，在生成长度为 10 万个 token 时，M1 仅消耗 25% 的 FLOPs。 模型在复杂的软件工程、工具使用和长上下文任务上优于其他强大的开放权重模型，如原始的 DeepSeek-R1 和Qwen3-235B。 ，也是目前唯一支持 100 万 token 上下文窗口的开源推理模型。 虽然 Llama 4 系列支持 100 万/1000 万上下文，但 Meta 尚未发布任何 Llama 4 推理模型。
89300编辑于 2025-07-08 2026 深度解析：大模型词元（Token）的运行机制与经济逻辑
对于开发者而言，Token不仅仅是计费的尺度，更是衡量模型理解能力、记忆深度以及工程稳定性的核心指标。一、词元的本质：AI视角的“原子”拆解大语言模型（LLM）并非直接读取人类感知的字符或单词。 语义特征的携带：Token不仅仅是切片，它在进入模型后会被转化为多维向量。这意味着模型对语义的理解是建立在Token之间的概率关联之上的。 二、2026年的Token经济学：成本与性能的博弈进入2026年，大模型的调用成本已大幅下降，但随之而来的是调用频率的指数级增长。 一旦对话产生的总Token数超过限制，模型就会丢失早期的信息。 任务拆解与路由：将复杂的长任务拆解为多个子任务，分别路由到不同能力的模型分组中，既能节省高昂的高阶模型Token费，也能避免单次请求超过上下文上限。
20410编辑于 2026-03-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号