NLP—— 让机器读懂人类语言的艺术与科学

# 安装依赖库

pip install jieba ltp pyhanlp pandas numpy

import re

import jieba

import jieba.analyse

from ltp import LTP

import pandas as pd

# 初始化LTP（哈工大中文NLP工具，需下载模型：默认自动下载）

ltp = LTP()

# ---------------------- 1. 文本清洗函数 ----------------------

def clean_text(text):

"""去除噪声，保留中文、英文、数字"""

# 去除URL链接

text = re.sub(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\\(\\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', '', text)

# 去除特殊字符、表情符号（保留中文、英文、数字、空格）

text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9\s]', '', text)

# 去除多余空格（连续空格转为单个）

text = re.sub(r'\s+', ' ', text).strip()

return text

# ---------------------- 2. 分词函数（jieba + 自定义词典） ----------------------

def segment_text(text, use_custom_dict=True):

"""分词：支持自定义词典提升精度"""

# 自定义词典（添加领域词汇，如NLP术语）

if use_custom_dict:

jieba.load_userdict('custom_dict.txt') # 格式：词汇 词性 词频（可选）

# 分词（精确模式）

words = jieba.lcut(text, cut_all=False)

return words

# ---------------------- 3. 停用词去除函数 ----------------------

def remove_stopwords(words):

"""去除停用词"""

# 加载停用词表（可自定义扩展）

stopwords = set(pd.read_csv('stopwords.txt', sep='\t', header=None)[0].tolist())

# 过滤停用词

filtered_words = [word for word in words if word not in stopwords and len(word) > 1]

return filtered_words

# ---------------------- 4. 词性标注与NER（基于哈工大LTP） ----------------------

def pos_ner_analysis(text):

"""词性标注 + 命名实体识别"""

# LTP处理（分词、词性标注、NER）

outputs = ltp.pipeline([text], tasks=["seg", "pos", "ner"])

seg_result = outputs.seg[0] # 分词结果

pos_result = outputs.pos[0] # 词性标注结果（采用863词性标注集）

ner_result = outputs.ner[0] # NER结果（格式：(实体类型, 起始索引, 结束索引, 实体文本)）

# 整理词性标注结果（词-词性映射）

pos_map = dict(zip(seg_result, pos_result))

# 整理NER结果（提取实体类型和文本）

ner_map = []

for ner in ner_result:

ner_type, start, end, ner_text = ner

ner_map.append({"实体类型": ner_type, "实体文本": ner_text})

return pos_map, ner_map

# ---------------------- 5. 完整预处理流程调用 ----------------------

if __name__ == "__main__":

# 原始文本（示例：科技新闻片段）

raw_text = """【NLP技术前沿】百度于2023年发布了ERNIE 4.0大模型，该模型在中文理解、生成任务中表现优异，

支持多轮对话、文本摘要、机器翻译等功能，相关技术论文已发表在AI顶会NeurIPS上。"""

# 步骤1：文本清洗

cleaned_text = clean_text(raw_text)

print("=== 清洗后文本 ===")

print(cleaned_text)

# 输出：NLP技术前沿 百度于2023年发布了ERNIE 4.0大模型 该模型在中文理解 生成任务中表现优异 支持多轮对话 文本摘要 机器翻译等功能 相关技术论文已发表在AI顶会NeurIPS上

# 步骤2：分词

words = segment_text(cleaned_text)

print("\n=== 分词结果 ===")

print("/".join(words))

# 输出：NLP/技术/前沿/百度/于/2023年/发布/了/ERNIE/4.0/大模型/该/模型/在/中文/理解/生成/任务/中/表现/优异/支持/多轮/对话/文本/摘要/机器翻译/等/功能/相关/技术/论文/已/发表/在/AI/顶会/NeurIPS/上

# 步骤3：去除停用词

filtered_words = remove_stopwords(words)

print("\n=== 去除停用词后 ===")

print("/".join(filtered_words))

# 输出：NLP/技术/前沿/百度/2023年/发布/ERNIE/4.0/大模型/模型/中文/理解/生成/任务/表现/优异/支持/多轮/对话/文本/摘要/机器翻译/功能/相关/技术/论文/发表/AI/顶会/NeurIPS

# 步骤4：词性标注与NER

pos_map, ner_map = pos_ner_analysis(cleaned_text)

print("\n=== 词性标注结果 ===")

for word, pos in pos_map.items():

print(f"{word}: {pos}")

# 输出示例：NLP: n（名词）/ 技术: n / 前沿: n / 百度: nt（机构名） / 2023年: t（时间）...

print("\n=== 命名实体识别结果 ===")

for ner in ner_map:

print(f"{ner['实体类型']}: {ner['实体文本']}")

# 输出：ORG: 百度 / TIME: 2023年 / ORG: NeurIPS / MODEL: ERNIE 4.0