今天来讲一个比较简单且常见的话题：**大模型调用时token数量是如何计算的？**

在我们日常使用大语言模型（LLM）API 时，比如 OpenAI、Anthropic 或其他厂商的接口，**token 数量**几乎是一个绕不开的问题。无论是控制调用成本，还是预估模型上下文长度，都离不开对 token 计算方式的理解。比如我在某个平台调用大模型API的时候就会有一些相关的参数：

![](https://developer.qcloudimg.com/http-save/yehe-7215614/0eec3d345300bf27c6130bc387df6adc.webp)

看着这些参数有时我会不禁发问：

👉 **token 到底是什么？**

👉 **输入和输出 token 各是怎么计算的？**

👉 **中文和英文是否有区别？**

👉 **实际上如何用 Python 和 Go 代码来计算？**

👉 **有没有现成的工具库可以直接用？**

### Token 是什么？

简单来说，**token 是模型处理文本的最小单位**。它不是字符，也不是单词，而是介于两者之间的一种编码片段。

举几个例子：

1）英文单词 `Hello` 可能被拆分成两个 token：`Hel` 和 `lo`

2）句子 `I love AI.` 可能是 5 个 token：`I`、`love`、`A`、`I`、`.`，而中文则常常是“一个汉字一个 token”，例如 `你好世界` 通常就是 4 个 token。

不同模型使用的分词算法（Tokenizer）不同，因此同一句话在不同模型下会得到不同的 token 数。例如：

* GPT 系列使用 **tiktoken**（基于 BPE 编码）

* Claude 使用 **Anthropic tokenizer**

* Gemini 使用自家 SentencePiece 编码器

### 输入与输出 Token 的计算方式

在调用大模型 API 时，通常会涉及 **输入 token** 和 **输出 token**：

**输入 token（Prompt Tokens）**指你传入的内容（包括指令、上下文、系统消息等）被模型编码后的 token 数量。

**输出 token（Completion Tokens）**指模型生成的文本对应的 token 数量。

最终的 **总 token 数（Total Tokens）** 一般为：

```shell
total_tokens = prompt_tokens + completion_tokens
```

厂商在计费时通常按 **token 数量** 收费，例如：

> 例如 OpenAI 的 GPT-4-turbo 模型，输入 1K token 可能收取 $0.01，输出 1K token 收取 $0.03。

### 中文与英文的差异

由于中文是**无空格语言**，而英文是**空格分隔语言**，两者在 token 计算上确实存在差异。

| 语言 | 示例文本         | 估算token数 | 说明              |
| -- | ------------ | -------- | --------------- |
| 英文 | Hello world! | ≈3个token | 单词被拆分为子词片段      |
| 中文 | 你好，世界！       | ≈4个token | 每个汉字大多对应1个token |
| 混合 | Hello世界！     | ≈4个token | 英文按子词，中文按字符     |

总体规律是：

> **英文每个单词≈1~2个token，中文每个字≈1个token。**

### 空格、标点与特殊字符的处理

模型的 tokenizer 对空格、换行、标点、甚至 emoji 都有独立的处理逻辑：

| 类型    | 示例              | 是否计入token      |
| ----- | --------------- | -------------- |
| 空格    | `"Hello world"` | ✅（空格是独立token）  |
| 换行符   | `\n`            | ✅              |
| 标点符号  | `!`, `?`, `。`   | ✅              |
| emoji | 😊              | ✅（通常1~2个token） |
| 特殊符号  | `@`, `#`, `&`   | ✅              |

换句话说，**几乎所有字符都会被计入 token**，只是有时会被合并编码。

### Python 实现：使用 tiktoken 库

OpenAI 官方提供了 [tiktoken](https://github.com/openai/tiktoken) 库，用于计算 token 数量。

```python
import tiktoken

def count_tokens(text, model="gpt-4o-mini"):
    encoding = tiktoken.encoding_for_model(model)
    tokens = encoding.encode(text)
    return len(tokens)

if __name__ == "__main__":
    text_cn = "你好，世界！"
    text_en = "Hello world!"
    print(f"中文文本 token 数: {count_tokens(text_cn)}")
    print(f"英文文本 token 数: {count_tokens(text_en)}")
```

输出结果类似：

```
中文文本 token 数: 4
英文文本 token 数: 3
```

> ✅ 优点：简单直接，结果与 OpenAI 接口一致
> ⚙️ 注意：不同模型的分词方式略有不同，请确保 `model` 参数匹配。

### Go 实现：使用 go-tiktoken 库

Go 社区也有开源实现，例如 [go-tiktoken](https://github.com/pkoukk/tiktoken-go)。

```go
package main

import (
    "fmt"
    "github.com/pkoukk/tiktoken-go"
)

func CountTokens(text, model string) int {
    enc, err := tiktoken.EncodingForModel(model)
    if err != nil {
        panic(err)
    }
    tokens := enc.Encode(text, nil, nil)
    return len(tokens)
}

func main() {
    textCn := "你好，世界！"
    textEn := "Hello world!"
    fmt.Printf("中文文本 token 数: %d\n", CountTokens(textCn, "gpt-4o-mini"))
    fmt.Printf("英文文本 token 数: %d\n", CountTokens(textEn, "gpt-4o-mini"))
}
```

输出结果与 Python 版本一致。

### 常用三方工具库

| 库名称                                                                                     | 语言     | 特点                     |
| --------------------------------------------------------------------------------------- | ------ | ---------------------- |
| [tiktoken](https://github.com/openai/tiktoken)                                          | Python | OpenAI 官方库，最准确         |
| [go-tiktoken](https://github.com/pkoukk/tiktoken-go)                                    | Go     | Go语言实现，兼容OpenAI模型      |
| [transformers](https://huggingface.co/docs/transformers/main/en/main_classes/tokenizer) | Python | Hugging Face 库，可用于多种模型 |
| [tiktokenizer](https://pypi.org/project/tiktokenizer/)                                  | Python | 简化版，支持多模型              |

### 成本预估与优化建议 💡

理解 token 的计算规则，不仅能帮助你**预估接口费用**，还能指导你**优化 prompt、节省成本**。下面是一些实用建议👇

#### 1️⃣ 预估调用成本

以 GPT-4o-mini 为例（假设价格如下）：

* 输入：$0.15 / 100万 tokens
* 输出：$0.60 / 100万 tokens

假设你每次调用平均：

* 输入：2,000 tokens
* 输出：1,000 tokens

每次调用成本：

```
(2000 × 0.15 + 1000 × 0.60) / 1,000,000 = $0.0012
```

也就是 **一次调用大约花 0.008 元人民币**。

看似便宜，但若你每天调用 10 万次，就会有显著成本差异。

#### 2️⃣ 提示词优化（Prompt Optimization）

* **避免重复内容**：减少在每次请求中重复提供相同上下文
* **压缩系统提示**：把固定指令存放在系统层或服务端缓存中
* **使用上下文窗口管理**：仅保留必要的对话历史
* **文本预处理**：去除多余空格、换行符、无用符号
* **输出控制**：通过 `max_tokens` 参数限制模型输出长度

#### 3️⃣ 合理拆分任务

有时一次长输入会导致上万 token，可通过拆分任务的方式分段处理：

* 将长文档分片后再逐段嵌入或摘要
* 使用向量数据库存储知识，避免每次传入所有上下文

这样既能提高响应速度，也能节省大量费用。

### 小总结

| 项目          | 说明                          |
| ----------- | --------------------------- |
| **Token定义** | 模型处理文本的最小单位                 |
| **计费依据**    | 按输入 + 输出 token 数计算          |
| **中文与英文差异** | 中文每字≈1 token，英文每词≈1-2 token |
| **计算方法**    | 使用 tiktoken 或 go-tiktoken   |
| **空格标点**    | 大多计入 token                  |
| **成本优化**    | 减少冗余上下文、控制输出长度、拆分任务         |

##### 最后我想说的是

> Token 是大模型世界的“货币单位”。
> 理解它，才能真正掌握大模型 API 的成本和性能。
> 希望这篇文章能帮你在与 LLM 的交互中，更“省钱”、也更“聪明”。



在我们日常使用大语言模型（LLM）API 时，比如 OpenAI、Anthropic 或其他厂商的接口，token 数量几乎是一个绕不开的问题。无论是控制调用成本，还是预估模型上下文长度，都离不开对 token 计算方式的理解。比如我在某个平台调用大模型API的时候就会有一些相关的参数：

大模型API的token是如何计算的？

在我们日常使用大语言模型（LLM）API 时，比如 OpenAI、Anthropic 或其他厂商的接口，token 数量几乎是一个绕不开的问题。无论是控制调用成本，还是预估模型上下文长度，都离不开对 token 计算方式的理解。

后端开发工程师

云计算

人工智能

前端

大模型调用时token数量如何计算？token是模型处理文本的最小单位，中文通常1字=1token，英文1词=1-2token。输入输出token总和决定API费用，可用tiktoken库精准计算。优化prompt设计、控制输出长度能有效降低成本。

向量数据库

数据库

Python

2026新春采购季

tclm

tencentdb-catalog

腾讯云数据库特惠，新用户首单0.5折起


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大模型API的token是如何计算的？-腾讯云开发者社区-腾讯云

大模型API的token是如何计算的？

大模型API的token是如何计算的？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐