# 人工智能之语言领域

第五章 文本分类

---

> @[TOC](文章目录)

---

# 前言 文本分类

> 📌 **注意**：本章标题“计算机视觉 详细介绍第5章 文本分类”存在学科混淆。
> **文本分类（Text Classification）属于自然语言处理（NLP）领域，而非计算机视觉（CV）**。
> 以下内容将按 **NLP 中的文本分类** 进行详细讲解。

---

文本分类是 NLP 最基础、应用最广泛的监督学习任务之一，其目标是**自动为一段文本分配一个或多个预定义类别标签**。从垃圾邮件过滤到新闻推荐，从客服工单路由到情感分析，文本分类无处不在。本章将系统介绍文本分类的任务形式、传统与深度学习模型、评估指标，并通过电商评论情感分析实战案例完整演示端到端流程。

---

## 5.1 文本分类概述

### 5.1.1 分类任务类型

| 类型 | 说明 | 示例 |
|------|------|------|
| **二分类（Binary Classification）** | 两个互斥类别 | 垃圾/非垃圾短信 |
| **多分类（Multi-class Classification）** | 多个互斥类别 | 新闻分类：体育、财经、科技、娱乐 |
| **多标签分类（Multi-label Classification）** | 每个样本可属于多个类别 | 一篇论文同时属于“NLP”和“深度学习” |

```mermaid
graph LR
    A[文本分类] --> B[二分类]
    A --> C[多分类]
    A --> D[多标签分类]
    B --> E["正面 / 负面"]
    C --> F["体育 / 财经 / 科技"]
    D --> G["NLP + 深度学习 + 应用"]
```

> 💡 关键区别：
> 
> - **多分类**：`softmax` 输出，概率和为1
> - **多标签**：`sigmoid` 输出，每个标签独立预测

---

### 5.1.2 典型应用场景

| 场景 | 任务类型 | 价值 |
|------|--------|------|
| **垃圾短信/邮件识别** | 二分类 | 提升用户体验，减少骚扰 |
| **新闻自动分类** | 多分类 | 内容聚合、个性化推荐 |
| **用户意图识别** | 多分类 | 智能客服路由（如“查账单”、“改密码”） |
| **商品评论情感分析** | 二分类/多分类 | 品牌舆情监控、产品改进 |
| **医疗文献标注** | 多标签 | 辅助科研检索、知识图谱构建 |

---

## 5.2 传统分类模型

传统模型依赖**手工特征**（如 TF-IDF）+ **浅层分类器**，训练快、可解释性强，适合中小规模数据。

### 5.2.1 朴素贝叶斯（NB）与多项式朴素贝叶斯

**核心假设**：特征（词）之间条件独立。

- **多项式 NB**：适用于**离散计数特征**（如词频）
- **伯努利 NB**：适用于**二值特征**（词是否出现）

> 📐 公式（多项式）：
> 
> $$
> P(y=c|\mathbf{x}) \propto P(y=c) \prod_{i=1}^n P(x_i|y=c)
> $$
> 
> 其中 $ x_i $ 是词 i 的出现次数。

```python
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

# 构建管道：TF-IDF + NB
nb_pipeline = Pipeline([
    ('tfidf', TfidfVectorizer(ngram_range=(1, 2), max_features=10000)),
    ('nb', MultinomialNB(alpha=0.1))  # alpha: 拉普拉斯平滑
])

# 假设 X_train 是分词后的文本列表，y_train 是标签
# nb_pipeline.fit(X_train, y_train)
# predictions = nb_pipeline.predict(X_test)
```

> ✅ 优点：训练快、对小数据友好
> ❌ 缺点：独立性假设过强，忽略词序

---

### 5.2.2 逻辑回归（LR）与支持向量机（SVM）

#### 逻辑回归（Logistic Regression）

- 线性模型，输出概率
- 可解释性强（特征权重 = 重要性）

#### 支持向量机（SVM）

- 寻找最大间隔超平面
- 核技巧可处理非线性（但文本常用线性核）

```python
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

lr_pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('lr', LogisticRegression(max_iter=1000))
])

svm_pipeline = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('svm', SVC(kernel='linear', probability=True))  # probability=True 以输出概率
])
```

> 📊 实践建议：
> 
> - **LR**：首选基线模型，速度快，支持概率输出
> - **SVM**：在高维稀疏文本上表现优异，但训练慢于 LR

---

### 5.2.3 模型评估：准确率、召回率、F1值、ROC-AUC

不同任务关注不同指标：

| 指标 | 公式 | 适用场景 |
|------|------|--------|
| **准确率（Accuracy）** | (TP+TN)/(TP+TN+FP+FN) | 类别平衡时 |
| **精确率（Precision）** | TP/(TP+FP) | 关注“预测为正的有多少真”（如垃圾邮件） |
| **召回率（Recall）** | TP/(TP+FN) | 关注“真正的正例有多少被找到”（如疾病诊断） |
| **F1值** | 2×(Prec×Rec)/(Prec+Rec) | Precision 与 Recall 的调和平均 |
| **ROC-AUC** | ROC 曲线下面积 | 评估整体排序能力，不受阈值影响 |

```python
from sklearn.metrics import classification_report, roc_auc_score

# 多分类需指定 average
print(classification_report(y_test, y_pred, target_names=['负面', '正面']))

# 二分类 AUC
if len(set(y_test)) == 2:
    y_prob = model.predict_proba(X_test)[:, 1]
    print("AUC:", roc_auc_score(y_test, y_prob))
```

> ⚠️ 注意：**类别不平衡时，准确率会失真**！应优先看 F1 或 AUC。

---

## 5.3 深度学习分类模型

深度学习模型自动学习特征表示，适合大规模数据，性能通常优于传统模型。

### 5.3.1 CNN 文本分类：局部特征提取

**灵感来源**：图像 CNN → 将文本视为一维“图像”

- 使用**不同尺寸卷积核**捕捉 n-gram 特征（如 2-gram, 3-gram）
- **Max-Pooling** 获取最强特征

```mermaid
graph LR
    Input[词向量矩阵] --> Conv1[Conv2D k=2]
    Input --> Conv2[Conv2D k=3]
    Input --> Conv3[Conv2D k=4]
    Conv1 --> Pool1[GlobalMaxPool]
    Conv2 --> Pool2[GlobalMaxPool]
    Conv3 --> Pool3[GlobalMaxPool]
    Pool1 --> Concat[Concatenate]
    Pool2 --> Concat
    Pool3 --> Concat
    Concat --> Dense[全连接+Softmax]
```

```python
import torch
import torch.nn as nn

class TextCNN(nn.Module):
    def __init__(self, vocab_size, embed_dim=128, num_classes=2, kernel_sizes=[2,3,4], num_filters=100):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.convs = nn.ModuleList([
            nn.Conv2d(1, num_filters, (k, embed_dim)) for k in kernel_sizes
        ])
        self.dropout = nn.Dropout(0.5)
        self.fc = nn.Linear(len(kernel_sizes) * num_filters, num_classes)

    def forward(self, x):
        # x: [batch, seq_len]
        x = self.embedding(x).unsqueeze(1)  # [B, 1, L, D]
        xs = []
        for conv in self.convs:
            c = torch.relu(conv(x)).squeeze(3)  # [B, F, L-k+1]
            p = torch.max_pool1d(c, c.size(2)).squeeze(2)  # [B, F]
            xs.append(p)
        x = torch.cat(xs, 1)
        x = self.dropout(x)
        return self.fc(x)
```

> ✅ 优势：并行计算快，擅长捕捉关键词组合
> ❌ 劣势：忽略长距离依赖

---

### 5.3.2 RNN 文本分类：序列特征捕捉

**RNN/LSTM/GRU** 按顺序处理文本，保留历史信息。

- **LSTM** 解决梯度消失，适合长文本
- 通常取**最后一个时间步**或**所有时间步平均**作为句表示

```python
class TextRNN(nn.Module):
    def __init__(self, vocab_size, embed_dim=128, hidden_dim=128, num_classes=2):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(hidden_dim * 2, num_classes)  # 双向
        self.dropout = nn.Dropout(0.5)

    def forward(self, x):
        x = self.embedding(x)  # [B, L, D]
        out, (h_n, _) = self.lstm(x)  # h_n: [2, B, H]
        # 拼接双向最后输出
        out = torch.cat([h_n[-2], h_n[-1]], dim=1)  # [B, 2*H]
        out = self.dropout(out)
        return self.fc(out)
```

> ✅ 优势：天然处理序列，捕捉上下文
> ❌ 劣势：训练慢，难以并行

---

### 5.3.3 混合模型与实战调参

**混合策略**常提升性能：

- **CNN + RNN**：先 CNN 提取局部特征，再 RNN 建模序列
- **Attention 机制**：聚焦关键 token（如情感词）

**调参建议**：

| 组件 | 推荐设置 |
|------|--------|
| 优化器 | Adam (`lr=2e-5` for BERT, `lr=1e-3` for CNN/RNN) |
| Batch Size | 16–64（显存允许下越大越好）|
| Dropout | 0.3–0.5 防止过拟合 |
| Early Stopping | 监控验证集 loss，耐心值=3–5 |

---

## 5.4 实战案例：电商评论情感倾向二分类

### 任务描述

- **输入**：用户对商品的中文评论（如“质量很好，值得购买！”）
- **输出**：情感标签（0=负面，1=正面）
- **数据集**：使用公开的 **ChnSentiCorp**（中文情感分析数据集）

### 完整代码实现（基于 PyTorch + Transformers）

```python
# Step 1: 安装依赖
# pip install transformers datasets torch scikit-learn jieba

# Step 2: 加载数据
from datasets import load_dataset

dataset = load_dataset("seamew/ChnSentiCorp")
train_texts = dataset["train"]["text"]
train_labels = dataset["train"]["label"]
test_texts = dataset["test"]["text"]
test_labels = dataset["test"]["label"]

# Step 3: 使用预训练 BERT（最佳实践）
from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments

model_name = "bert-base-chinese"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)

# Tokenize
train_encodings = tokenizer(train_texts, truncation=True, padding=True, max_length=128)
test_encodings = tokenizer(test_texts, truncation=True, padding=True, max_length=128)

# 转为 PyTorch Dataset
import torch

class SentimentDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels
    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item['labels'] = torch.tensor(self.labels[idx])
        return item
    def __len__(self):
        return len(self.labels)

train_dataset = SentimentDataset(train_encodings, train_labels)
test_dataset = SentimentDataset(test_encodings, test_labels)

# Step 4: 训练
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=16,
    per_device_eval_batch_size=64,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir='./logs',
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=test_dataset,
)

trainer.train()

# Step 5: 评估
preds = trainer.predict(test_dataset)
y_pred = preds.predictions.argmax(axis=1)
from sklearn.metrics import accuracy_score, f1_score
print("Accuracy:", accuracy_score(test_labels, y_pred))
print("F1:", f1_score(test_labels, y_pred))
```

### 结果预期

- **准确率**：>95%
- **F1值**：>95%

> 💡 若无 GPU，可改用 **传统模型（TF-IDF + LR）** 作为轻量级方案：

```python
# 轻量级替代方案
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import TfidfVectorizer

# 中文需先分词（简化：按字切分）
def char_tokenizer(text):
    return list(text)

pipe = Pipeline([
    ('tfidf', TfidfVectorizer(tokenizer=char_tokenizer, ngram_range=(1,2))),
    ('lr', LogisticRegression())
])
pipe.fit(train_texts, train_labels)
y_pred = pipe.predict(test_texts)
```

---

## 补充：模型选择决策树

```mermaid
graph TD
    A[数据规模?] -->|小 <10k| B[传统模型: TF-IDF + LR/SVM]
    A -->|大 >100k| C[深度学习: BERT/CNN/RNN]
    B --> D[需要概率?]
    D -->|是| E[LR]
    D -->|否| F[SVM]
    C --> G[有GPU?]
    G -->|是| H[BERT 微调]
    G -->|否| I[CNN/RNN with Word2Vec]
```

---

## 小结

文本分类是 NLP 的“Hello World”任务，但其技术栈覆盖了从传统机器学习到现代大模型的完整演进：

- **传统模型**（NB/LR/SVM）凭借简单高效，仍是工业界常用基线；
- **深度学习模型**（CNN/RNN）自动学习特征，在大数据上表现卓越；
- **预训练模型**（BERT）已成为当前 SOTA 方案，尤其适合中文等复杂语言。


---

# 资料关注

咚咚王

《Python 编程：从入门到实践》
《利用 Python 进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第 3 版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow 机器学习实战指南》
《Sklearn 与 TensorFlow 机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python 深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习 +(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第 2 版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨 +&+ 张孜铭
《AIGC 原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战 AI 大模型》
《AI 3.0》

📌 注意：本章标题“计算机视觉 详细介绍第5章 文本分类”存在学科混淆。 文本分类（Text Classification）属于自然语言处理（NLP）领域，而非计算机视觉（CV）。 以下内容将按 NLP 中的文本分类 进行详细讲解。

人工智能之语言领域 自然语言处理 第五章 文本分类

技术岗

人工智能

编程语言

算法

本章系统讲解自然语言处理中的文本分类技术，涵盖传统模型（朴素贝叶斯、逻辑回归、SVM）和深度学习模型（CNN、RNN、BERT），重点介绍电商评论情感分析实战案例，提供完整代码实现和评估指标分析，帮助读者掌握文本分类核心技术。

自然语言处理

计算机视觉

机器学习

智能创作

深度学习

客服工单

大数据

路由

Python

短信

2026新春采购季

4核4G3M云服务器 新用户低至38元/年！

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之语言领域 自然语言处理 第五章 文本分类-腾讯云开发者社区-腾讯云

人工智能之语言领域自然语言处理第五章文本分类

人工智能之语言领域自然语言处理第五章文本分类

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域 自然语言处理 第五章 文本分类

人工智能之语言领域 自然语言处理 第五章 文本分类

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域自然语言处理第五章文本分类

人工智能之语言领域自然语言处理第五章文本分类