# 人工智能之语言领域

第二章 语言学基础

---

# 前言：语言学基础

自然语言处理（NLP）虽是计算机科学的分支，但其根基深深扎在**语言学**之中。无论是分词、句法分析，还是语义理解，都离不开对人类语言结构规律的认知。本章将系统介绍 NLP 所依赖的核心语言学知识，涵盖词汇、句法、语义、语用及篇章层面，并说明这些知识如何指导实际 NLP 系统的设计与实现。

---

## 2.1 词汇学基础

### 2.1.1 词的构成：语素、词根、词缀

**语素（Morpheme）** 是语言中最小的有意义单位。

- **自由语素**：可独立成词，如“书”、“跑”。
- **黏着语素**：必须依附于其他语素，如中文的“们”（我们）、英语的 “-ed”（played）。

**词根（Root）**：承载核心语义的部分。
**词缀（Affix）**：附加在词根上改变意义或语法功能，分为：

- 前缀（prefix）：如 “un-”（unhappy）
- 后缀（suffix）：如 “-ness”（happiness）
- 中缀、环缀（较少见）

> 🌰 中文例子：“可爱” = “可”（前缀，表可能性） + “爱”（词根）
> 英文例子：“unbelievable” = un- + believe + -able

```mermaid
graph LR
    A[词] --> B[语素]
    B --> C[自由语素: 书, 跑]
    B --> D[黏着语素]
    D --> E[前缀: un-, 可-]
    D --> F[后缀: -ed, -们]
```

> 💡 NLP 应用：**词形还原（Lemmatization）** 和 **词干提取（Stemming）** 都依赖形态分析。例如将 “running” 还原为 “run”。

```python
# 示例：使用 NLTK 进行英文词干提取与词形还原
import nltk
from nltk.stem import PorterStemmer, WordNetLemmatizer

nltk.download('wordnet')
stemmer = PorterStemmer()
lemmatizer = WordNetLemmatizer()

word = "running"
print("Stem:", stemmer.stem(word))           # run
print("Lemma:", lemmatizer.lemmatize(word, pos='v'))  # run
```

> ⚠️ 中文无严格词形变化，但需处理构词（如“老师”≠“老”+“师”语义叠加），常通过**分词+词性标注**间接处理。

---

### 2.1.2 词类划分：实词、虚词及其语法功能

**词类（Part-of-Speech, POS）** 是按语法功能对词的分类。

| 类别 | 说明 | 示例 |
|------|------|------|
| **实词** | 有实际词汇意义，可独立充当句子成分 | 名词（苹果）、动词（吃）、形容词（红） |
| **虚词** | 无实在意义，主要起语法连接作用 | 介词（在）、连词（和）、助词（的）、语气词（吗） |

常见英文 POS 标签（Penn Treebank）：

- `NN`：名词单数（dog）
- `VB`：动词原形（eat）
- `JJ`：形容词（red）
- `IN`：介词（in, on）

中文常用词性标注集（如 PKU、CTB）：

- `n`：名词（北京）
- `v`：动词（学习）
- `a`：形容词（美丽）
- `u`：助词（的、了）

```python
# 示例：中文词性标注（使用 LTP 或 spaCy 中文模型）
# 这里以 jieba + 自定义规则简化演示（实际推荐使用 LAC、HanLP 或 spaCy）
import jieba.posseg as pseg

text = "我喜欢自然语言处理"
words = pseg.cut(text)
for word, flag in words:
    print(f"{word} / {flag}")
```

> 输出（近似）：

```
我 / r
喜欢 / v
自然语言处理 / nz
```

> 🔍 注：`nz` 表示“其他专有名词”，说明未登录词识别仍是挑战。

---

### 2.1.3 词汇语义：同义词、反义词、上下位词

- **同义词（Synonyms）**：意义相近 → “快乐” ≈ “高兴”
- **反义词（Antonyms）**：意义相反 → “大” ↔ “小”
- **上下位关系（Hyponymy/Hypernymy）**：
  - 上位词（Hypernym）：更泛化 → “水果”
  - 下位词（Hyponym）：更具体 → “苹果”、“香蕉”

> 📚 语言资源：
> 
> - 英文：WordNet（结构化语义网络）
> - 中文：HowNet、同义词词林（Cilin）

```python
# 示例：使用 NLTK 访问 WordNet 查找同义词集（synsets）
from nltk.corpus import wordnet as wn

nltk.download('wordnet')
syns = wn.synsets('car')
print("Synsets for 'car':", [s.name() for s in syns])
# 输出：['car.n.01', 'car.n.02', ...]

# 获取第一个同义词集的所有同义词
lemmas = syns[0].lemma_names()
print("Lemmas:", lemmas)  # ['car', 'auto', 'automobile', ...]
```

> 💡 NLP 应用：语义相似度计算、问答系统中的词汇扩展、文本增强。

---

## 2.2 句法学基础

### 2.2.1 短语结构规则与句法树

**短语结构语法（Phrase Structure Grammar）** 用规则描述句子如何由短语构成。

例如英语句子生成规则：

```
S → NP VP  
NP → Det N  
VP → V NP  
Det → the  
N → cat, dog  
V → chased
```

生成句子 “The cat chased the dog” 的**句法树（Parse Tree）**：

```mermaid
graph TD
    S[S] --> NP1[NP]
    S --> VP[VP]
    NP1 --> Det1[Det: the]
    NP1 --> N1[N: cat]
    VP --> V[V: chased]
    VP --> NP2[NP]
    NP2 --> Det2[Det: the]
    NP2 --> N2[N: dog]
```

> 📌 中文也适用类似结构，但语序更灵活（如话题优先）。

---

### 2.2.2 依存句法与成分句法

| 类型 | 特点 | 代表 |
|------|------|------|
| **成分句法（Constituency Parsing）** | 基于短语结构，生成树状层次 | Penn Treebank |
| **依存句法（Dependency Parsing）** | 以词为节点，用有向边表示语法关系 | Stanford Dependencies |

**依存关系示例**（“我吃苹果”）：

- “吃” 是根（ROOT）
- “我” → nsubj（主语）
- “苹果” → obj（宾语）

```mermaid
graph LR
    eat[吃 ROOT] --> I[我 nsubj]
    eat --> apple[苹果 obj]
```

> ✅ 依存句法更简洁，适合信息抽取；成分句法更适合语言学分析。

```python
# 示例：使用 spaCy 进行英文依存句法分析
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("I eat an apple.")

for token in doc:
    print(f"{token.text} <--{token.dep_}-- {token.head.text}")
```

> 输出：

```
I <--nsubj-- eat
eat <--ROOT-- eat
an <--det-- apple
apple <--dobj-- eat
. <--punct-- eat
```

> 🌐 中文可用 **LTP**、**HanLP** 或 **spaCy + zh_core_web_sm** 实现类似功能。

---

### 2.2.3 语法范畴：时态、语态、性数格

**语法范畴（Grammatical Categories）** 是语言中通过形态或位置表达的抽象语法属性：

| 范畴 | 说明 | 示例 |
|------|------|------|
| **时态（Tense）** | 动作发生时间 | eat（现在）, ate（过去） |
| **语态（Voice）** | 主语与动作关系 | active（I wrote） vs passive（It was written） |
| **性（Gender）** | 名词/代词的性别属性 | 法语 le（阳性）/ la（阴性） |
| **数（Number）** | 单复数 | cat / cats |
| **格（Case）** | 名词在句中的语法角色 | 德语 der（主格）/ den（宾格） |

> 📝 中文特点：
> 
> - **无严格形态变化**：时态靠副词（“昨天吃了”）、语态靠“被”字句。
> - **无数、无格、无性**（除少数方言或古汉语残留）。

> 💡 NLP 挑战：中文需通过上下文推断时态/语态，而英文可通过动词形式直接识别。

---

## 2.3 语义学与语用学

### 2.3.1 语义表示：词义、句义、篇章义

- **词义（Lexical Semantics）**：单个词的含义（如“bank”有“河岸”和“银行”两义）。
- **句义（Sentential Semantics）**：句子整体真值条件（如“猫在垫子上”为真当且仅当……）。
- **篇章义（Discourse Semantics）**：跨句语义连贯（如代词指代、逻辑衔接）。

> 🧩 语义表示方法：
> 
> - 逻辑形式（Logic Form）
> - 语义角色标注（Semantic Role Labeling, SRL）
> - 向量空间模型（Word Embedding）

```mermaid
flowchart LR
    Word -->|Embedding| Vector
    Sentence -->|BERT| ContextualVector
    Discourse -->|Coreference| EntityChain
```

---

### 2.3.2 语用规则：语境、预设、言语行为理论

**语用学（Pragmatics）** 研究语言在语境中的使用。

- **语境（Context）**：同一句话在不同场景含义不同
  
  > “你能关窗吗？” → 不是问能力，而是请求。
- **预设（Presupposition）**：话语隐含的前提
  
  > “他不再抽烟了” → 预设“他以前抽烟”。
- **言语行为理论（Speech Act Theory）**：说话即做事
  
  - 表述类（Assertives）：陈述事实（“地球是圆的”）
  - 指令类（Directives）：请求/命令（“请关门”）
  - 承诺类（Commissives）：承诺未来行为（“我明天来”）

> 💡 NLP 应用：对话系统需识别用户真实意图（如将疑问句识别为请求）。

---

## 2.4 篇章语言学

### 2.4.1 篇章结构与连贯性

**篇章（Discourse）** 指大于句子的语言单位（段落、文章）。

- **结构**：引言–主体–结论；新闻的“倒金字塔”结构。
- **连贯性（Coherence）**：语义逻辑流畅
  - 通过**衔接手段**实现：指代、省略、连接词（“因此”、“然而”）

> 📖 例子：
> “张三迟到了。**他**错过了会议。” → “他”指代“张三”，保证连贯。

---

### 2.4.2 指代消解与核心链分析

**指代消解（Coreference Resolution）**：找出代词或名词短语指向的实体。

- **核心链（Coreference Chain）**：同一实体的所有提及组成一个链。

> 例句：
> “[马云]₁ 创立了阿里巴巴。[他]₂ 是中国著名企业家。[这位创始人]₃ 改变了电商。”

→ 核心链：{[马云], [他], [这位创始人]}

```python
# 示例：使用 spaCy 的神经指代消解（需安装 spacy-coref）
# 注意：官方 spaCy 不直接支持，需第三方插件或使用 transformers 模型
# 此处展示 HuggingFace 的 neuralcoref 替代方案（已归档）或使用 newer models

# 推荐使用：https://huggingface.co/facebook/bart-large-coref
# 以下为伪代码示意
from transformers import pipeline

coref = pipeline("coreference-resolution", model="facebook/bart-large-coref")
result = coref("马云创立了阿里巴巴。他是中国著名企业家。")
print(result.clusters)  # [[(0,2), (5,6)], ...] 表示指代关系
```

> 🔧 实际工程中，中文指代消解仍具挑战，常用规则+模型混合方法。

---

## 2.5 语言学知识在 NLP 中的应用

### 2.5.1 规则制定的语言学依据

早期 NLP 系统高度依赖语言学规则：

- **分词规则**：中文“动词+趋向补语”（“走出去”不应切为“走/出/去”）
- **句法模板**：问答系统匹配“谁发明了X？” → 提取“发明者”关系
- **语义角色标注**：基于 FrameNet 定义“购买”框架包含 Buyer、Goods、Money

> ✅ 优势：可解释性强；❌ 劣势：覆盖有限，维护成本高。

---

### 2.5.2 模型设计中的语言学启发

现代深度学习模型虽“端到端”，但仍受语言学启发：

| 语言学概念 | 模型设计体现 |
|-----------|-------------|
| **层次结构** | Transformer 的多层编码器模拟短语嵌套 |
| **依存关系** | Attention 权重可近似依存弧（可视化显示） |
| **语义角色** | SRL 任务作为 BERT 的下游任务微调 |
| **篇章连贯** | Longformer、BigBird 引入长距离注意力 |

```mermaid
graph LR
    Linguistics -->|提供结构先验| ModelDesign
    ModelDesign --> BERT
    ModelDesign --> Transformer
    ModelDesign --> GNN-for-Parsing
```

> 🌟 典型案例：
> 
> - **Syntax-aware BERT**：在预训练中加入句法距离约束
> - **Graph Neural Networks for Parsing**：将句法树建模为图结构

---

## 中文语言学特殊性

1. **无空格分词**：需专门分词工具（jieba、PKUSeg、LAC）
2. **意合为主**：少用连接词，靠语义连贯（“下雨了，带伞。”）
3. **量词丰富**：“一本书”、“一张纸”、“一条狗”
4. **话题优先**：“这本书，我很喜欢”（话题“这本书”前置）

> 💡 NLP 建议：处理中文时，务必使用中文语言学资源（如《现代汉语语法信息词典》）。

---

## 小结

语言学为 NLP 提供了**结构化认知框架**：从词的构成到篇章的连贯，每一层都对应着具体的 NLP 任务。尽管大模型弱化了显式规则，但**理解语言本质**仍是设计高效、鲁棒、可解释 NLP 系统的关键。未来的方向是**语言学知识与数据驱动方法的深度融合**。


---

# 资料关注

咚咚王


《Python 编程：从入门到实践》
《利用 Python 进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第 3 版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow 机器学习实战指南》
《Sklearn 与 TensorFlow 机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python 深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习 +(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第 2 版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨 +&+ 张孜铭
《AIGC 原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战 AI 大模型》
《AI 3.0》

自然语言处理（NLP）虽是计算机科学的分支，但其根基深深扎在语言学之中。无论是分词、句法分析，还是语义理解，都离不开对人类语言结构规律的认知。本章将系统介绍 NLP 所依赖的核心语言学知识，涵盖词汇、句法、语义、语用及篇章层面，并说明这些知识如何指导实际 NLP 系统的设计与实现。

人工智能之语言领域 自然语言处理 第二章 语言学基础

技术岗

人工智能

编程语言

本章系统介绍NLP依赖的语言学基础知识，涵盖词汇、句法、语义、语用及篇章层面。详细解析语素、词类划分、短语结构、依存句法等核心概念，并展示其在词形还原、词性标注、指代消解等NLP任务中的应用。特别对比中英文语言特点，为自然语言处理系统设计提供理论基础和实践指导。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

2026新春采购季

bigdata-class

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之语言领域 自然语言处理 第二章 语言学基础-腾讯云开发者社区-腾讯云

人工智能之语言领域自然语言处理第二章语言学基础

人工智能之语言领域自然语言处理第二章语言学基础

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域 自然语言处理 第二章 语言学基础

人工智能之语言领域 自然语言处理 第二章 语言学基础

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之语言领域自然语言处理第二章语言学基础

人工智能之语言领域自然语言处理第二章语言学基础