# 人工智能之语言领域

第四章 文本表示方法

---

> @[TOC](文章目录)

---

# 前言 文本表示方法

在自然语言处理（NLP）中，**文本表示**是将人类可读的语言转化为计算机可计算的数值形式的核心步骤。没有合适的表示，模型就无法“理解”语言。本章将系统介绍从传统离散表示到现代上下文相关表示的演进路径，涵盖原理、实现、优缺点及代码示例，帮助你掌握如何为不同任务选择合适的文本表示方法。

---

## 4.1 传统离散表示方法

传统方法将文本视为**符号集合**，忽略语序和语义，但因其简单高效，仍在某些场景（如关键词检索、基线模型）中广泛使用。

### 4.1.1 词袋模型（BoW）与词频统计

**核心思想**：

- 忽略词序，仅统计每个词在文档中出现的次数。
- 文档表示为一个**高维稀疏向量**，维度 = 词汇表大小。

> 🌰 示例：
> 词汇表：["我", "喜欢", "自然语言", "处理", "AI"]
> 句子：“我喜欢自然语言处理，我也喜欢AI”
> → 向量：[2, 2, 1, 1, 1]

```python
from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    "我喜欢自然语言处理",
    "我也喜欢AI",
    "自然语言处理很有趣"
]

vectorizer = CountVectorizer(token_pattern=r'(?u)\b\w+\b')  # 中文需自定义分词
# 实际中应先分词，此处简化
corpus_seg = [" ".join(list(s)) for s in corpus]  # 按字切分（仅演示）

X = vectorizer.fit_transform(corpus_seg)
print("词汇表:", vectorizer.get_feature_names_out())
print("BoW矩阵:\n", X.toarray())
```

> ⚠️ 缺陷：
> 
> - 维度灾难（词汇表大时向量极稀疏）
> - 无法捕捉语义（“喜欢”和“热爱”被视为无关）

---

### 4.1.2 TF-IDF模型：原理与实现

**TF-IDF（Term Frequency–Inverse Document Frequency）** 改进 BoW，降低常见词权重，提升区分性词的重要性。

- **TF（词频）**：词在文档中出现频率
- **IDF（逆文档频率）**：`log(总文档数 / 包含该词的文档数)`

> ✅ 直觉：
> “的”在所有文档都出现 → IDF 小 → 权重低
> “BERT”只在一篇出现 → IDF 大 → 权重高

```python
from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(token_pattern=r'(?u)\b\w+\b')
X_tfidf = tfidf.fit_transform(corpus_seg)

print("TF-IDF 矩阵:\n", X_tfidf.toarray().round(3))
# 输出每篇文档中各词的TF-IDF权重
```

> 💡 应用：搜索引擎排序、关键词提取、文本相似度（余弦相似度）

---

### 4.1.3 n-gram模型：上下文窗口与语义捕捉

**n-gram** 将连续 n 个词作为单元，部分保留局部语序。

- **unigram (1-gram)**：单个词（即 BoW）
- **bigram (2-gram)**：“自然 语言”、“语言 处理”
- **trigram (3-gram)**：“自然 语言 处理”

```python
from sklearn.feature_extraction.text import CountVectorizer

ngram_vec = CountVectorizer(ngram_range=(1, 2), token_pattern=r'\S+')
# 假设已分词为列表
corpus_tokenized = [["我", "喜欢", "自然语言", "处理"], ["自然语言", "处理", "很", "有趣"]]
corpus_str = [" ".join(doc) for doc in corpus_tokenized]

X_ngram = ngram_vec.fit_transform(corpus_str)
print("n-gram 特征:", ngram_vec.get_feature_names_out())
print("矩阵:\n", X_ngram.toarray())
```

> ✅ 优点：捕捉局部搭配（如“机器学习”）
> ❌ 缺点：维度爆炸，仍无法处理长距离依赖

---

## 4.2 分布式表示方法（词嵌入）

分布式表示（Distributed Representation）将词映射为**稠密低维向量**，相似词在向量空间中距离相近，突破了离散表示的局限。

### 4.2.1 经典词嵌入模型

#### 4.2.1.1 Word2Vec：CBOW 与 Skip-gram

由 Google 于 2013 年提出，基于**局部上下文预测**。

| 模型 | 输入 → 输出 | 适用场景 |
|------|------------|--------|
| **CBOW** | 上下文词 → 目标词 | 数据少、高频词 |
| **Skip-gram** | 目标词 → 上下文词 | 数据多、低频词 |

```mermaid
graph LR
    subgraph CBOW
        C1[上下文词1] --> Avg[Average]
        C2[上下文词2] --> Avg
        Avg --> P[Predict 目标词]
    end

    subgraph Skip-gram
        W[目标词] --> P1[Predict 上下文1]
        W --> P2[Predict 上下文2]
    end
```

**训练目标**：最大化上下文共现概率。

```python
# 使用 gensim 训练 Word2Vec
from gensim.models import Word2Vec

sentences = [["我", "喜欢", "自然语言", "处理"],
             ["自然语言", "处理", "很", "有趣"],
             ["AI", "改变", "世界"]]

model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=1)  # sg=1 表示 Skip-gram
print("‘自然语言’ 的向量:", model.wv['自然语言'])
print("与‘处理’最相似的词:", model.wv.most_similar('处理', topn=2))
```

> 🔍 注意：实际需大规模语料（如 Wikipedia）才能学出高质量向量。

---

#### 4.2.1.2 GloVe：全局词频与局部上下文结合

由 Stanford 提出（2014），**直接建模词共现矩阵**。

- 构建全局共现矩阵 $ X $，其中 $ X_{ij} $ = 词 i 和 j 共同出现的次数
- 优化目标：$ w_i^T \tilde{w}_j + b_i + \tilde{b}_j \approx \log X_{ij} $

> ✅ 优点：利用全局统计信息，训练更稳定
> ❌ 缺点：对低频词共现噪声敏感

```python
# GloVe 需使用官方 C 代码训练，但可加载预训练模型
# 此处展示加载方式（需下载 glove.6B.100d.txt）
# import numpy as np
# embeddings_index = {}
# with open('glove.6B.100d.txt', encoding='utf8') as f:
#     for line in f:
#         values = line.split()
#         word = values[0]
#         coefs = np.asarray(values[1:], dtype='float32')
#         embeddings_index[word] = coefs
```

---

#### 4.2.1.3 FastText：子词级别的表示

由 Facebook 提出（2016），将词拆分为**字符 n-gram**（subword）。

- “apple” → `<ap`, `app`, `ppl`, `ple`, `le>`
- 词向量 = 所有子词向量之和

> ✅ 优势：
> 
> - 能表示未登录词（OOV）：如“apples”可通过“appl”+“ples”近似
> - 对形态丰富语言（如德语、阿拉伯语）效果显著

```python
# 使用 gensim 的 FastText
from gensim.models import FastText

fasttext_model = FastText(sentences, vector_size=100, window=5, min_count=1)
print("OOV 词 ‘自然语言学’ 的向量（即使未出现）:")
print(fasttext_model.wv['自然语言学'])  # 不会报错！
```

---

### 4.2.2 词嵌入的训练与调优

**关键超参数**：

- `vector_size`：向量维度（通常 100–300）
- `window`：上下文窗口大小（中文建议 5–10）
- `min_count`：过滤低频词（避免噪声）
- `sg`：0=CBOW, 1=Skip-gram

**调优技巧**：

- 使用**预训练向量**初始化（迁移学习）
- 在下游任务上**微调（fine-tune）** 词向量
- 对中文，确保输入为**分词后序列**

---

### 4.2.3 句嵌入与篇章嵌入基础

词向量无法直接表示句子。常用聚合方法：

| 方法 | 描述 | 缺点 |
|------|------|------|
| **平均池化** | 对句中所有词向量求均值 | 忽略词序 |
| **TF-IDF 加权平均** | 用 TF-IDF 作为权重 | 仍无序 |
| **SIF（Smooth Inverse Frequency）** | 改进加权，去除主成分 | 效果较好 |

```python
import numpy as np

def sentence_embedding(words, model, method='average'):
    vectors = []
    for w in words:
        if w in model.wv:
            vectors.append(model.wv[w])
    if not vectors:
        return np.zeros(model.vector_size)
    if method == 'average':
        return np.mean(vectors, axis=0)
    # 可扩展 TF-IDF 加权等

sent1 = ["自然语言", "处理", "很", "有趣"]
emb1 = sentence_embedding(sent1, model)
print("句向量维度:", emb1.shape)  # (100,)
```

> 🚀 进阶方案：**Sentence-BERT**、**InferSent**、**SimCSE**（见 4.3 节）

---

## 4.3 现代上下文相关表示

传统词嵌入是**静态**的（“苹果”在任何句子中向量相同），而现代预训练模型提供**动态上下文相关表示**。

### 4.3.1 预训练模型的表示逻辑

以 **BERT** 为例：

- 输入：`[CLS] 我 喜欢 苹果 [SEP]`
- 输出：每个 token 对应一个向量（如“苹果”在“吃苹果” vs “买苹果手机”中不同）
- `[CLS]` 向量常用于句子级任务

```mermaid
flowchart LR
    Input["Token IDs"] --> Embedding["Word + Position + Segment Embedding"]
    Embedding --> Transformer["Transformer Encoder x12"]
    Transformer --> Output["Contextualized Vectors"]
    Output --> CLS["[CLS] Vector → Sentence Representation"]
    Output --> TokenVectors[Token Vectors → NER, SRL...]
```

> ✅ 优势：
> 
> - 一词多义自动区分
> - 捕捉长距离依赖
> - 支持多种下游任务

```python
# 使用 transformers 库获取 BERT 句向量
from transformers import AutoTokenizer, AutoModel
import torch

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")

text = "我喜欢自然语言处理"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
with torch.no_grad():
    outputs = model(**inputs)
    cls_vector = outputs.last_hidden_state[:, 0, :]  # [CLS] 向量
    print("BERT 句向量形状:", cls_vector.shape)  # torch.Size([1, 768])
```

> 🌐 中文推荐模型：`bert-base-chinese`、`hfl/chinese-roberta-wwm-ext`、`Langboat/mengzi-bert-base-fin`

---

### 4.3.2 表示向量的下游适配方法

预训练向量不能直接用于任务，需**适配（Adaptation）**：

| 方法 | 说明 | 适用场景 |
|------|------|--------|
| **特征提取（Feature Extraction）** | 固定预训练模型，只训练任务头 | 数据少、计算资源有限 |
| **微调（Fine-tuning）** | 端到端训练整个模型 | 数据充足、追求高性能 |
| **Prompt Tuning** | 设计提示模板，引导模型输出 | 少样本学习 |

```python
# 微调示例：文本分类（使用 Hugging Face Trainer）
from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments

model = AutoModelForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2)
# 后续配置数据集、训练参数即可微调
```

> 💡 实践建议：
> 
> - 小数据集 → 冻结 BERT，只训分类头
> - 大数据集 → 全模型微调
> - 超大数据 → 使用 LoRA 等参数高效微调技术

---

## 补充：文本表示方法演进对比

```mermaid
timeline
    title 文本表示方法演进
    1950s ： 词袋模型 (BoW)
    1970s ： TF-IDF
    1990s ： n-gram
    2013   ： Word2Vec
    2014   ： GloVe
    2016   ： FastText
    2018   ： BERT (上下文相关)
    2020+  ： Sentence-BERT, SimCSE, Embedding-as-Service
```

---

## 小结

文本表示方法经历了从**离散→稠密→上下文感知**的演进：

- **传统方法**（BoW/TF-IDF）简单有效，适合基线或资源受限场景；
- **词嵌入**（Word2Vec/GloVe/FastText）引入语义相似性，是深度学习时代的基石；
- **预训练模型**（BERT 等）提供动态、深层语义表示，已成为现代 NLP 的标准输入。

选择表示方法时，需权衡**任务需求、数据规模、计算资源**。未来方向包括**多模态表示**、**知识增强嵌入**和**高效推理嵌入**。

---

---

# 资料关注

咚咚王


《Python 编程：从入门到实践》
《利用 Python 进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第 3 版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow 机器学习实战指南》
《Sklearn 与 TensorFlow 机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python 深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习 +(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第 2 版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨 +&+ 张孜铭
《AIGC 原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战 AI 大模型》
《AI 3.0》

在自然语言处理（NLP）中，文本表示是将人类可读的语言转化为计算机可计算的数值形式的核心步骤。没有合适的表示，模型就无法“理解”语言。本章将系统介绍从传统离散表示到现代上下文相关表示的演进路径，涵盖原理、实现、优缺点及代码示例，帮助你掌握如何为不同任务选择合适的文本表示方法。

人工智能之语言领域 自然语言处理 第四章 文本表示方法

技术岗

人工智能

编程语言

算法

本章系统介绍自然语言处理中的文本表示方法，从传统离散表示（BoW、TF-IDF、n-gram）到现代分布式表示（Word2Vec、GloVe、FastText），再到上下文相关表示（BERT等预训练模型）。涵盖原理、实现、优缺点及代码示例，帮助读者掌握不同任务下的文本表示选择策略，提升NLP模型效果。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

2026新春采购季

bigdata-class

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之语言领域 自然语言处理 第四章 文本表示方法-腾讯云开发者社区-腾讯云

人工智能之语言领域自然语言处理第四章文本表示方法

人工智能之语言领域自然语言处理第四章文本表示方法

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域 自然语言处理 第四章 文本表示方法

人工智能之语言领域 自然语言处理 第四章 文本表示方法

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域自然语言处理第四章文本表示方法

人工智能之语言领域自然语言处理第四章文本表示方法