安装Python代码依赖

安装Python代码依赖

1. 为什么要用pip安装各种依赖包呢？

在 Python 开发中，“依赖包”（也叫第三方库、模块、库）是指别人已经写好、可以被你直接使用的代码。这些功能如果你自己从头写，可能要花几周甚至几个月。而用别人写好的包，一行 pip install 就能用。

比如，

• numpy：做科学计算和数组处理；
• pandas：处理表格数据（类似 Excel）；
• flask：快速搭建网站后端；
• matplotlib：画图

pip 是 Python 官方推荐的包管理工具（Package Manager），它的作用就像：手机上的“应用商店”（App Store / 应用宝），能自动从 ~PyPI~（Python Package Index）下载你需要的包。

在终端执行 pip list 来查看所有安装的包。

2. 课程中的依赖包有哪些？

基础数据处理与科学计算：

• numpy：提供高性能多维数组和数学运算，是科学计算的基础库
• pandas：提供 DataFrame 数据结构，用于高效处理结构化数据（如 CSV、Excel）
• openpyxl：读写 Excel (.xlsx) 文件，常用于数据导入导出
• PyPDF2：用于读取、分割、合并和操作 PDF 文件内容

数据分析与可视化：

• matplotlib：最基础的绘图库，用于绘制折线图、柱状图、散点图等
• sklearn（scikit-learn）：提供机器学习算法（分类、回归、聚类等）和模型评估工具
• xgboost：高性能梯度提升树（GBDT）库，常用于结构化数据建模和竞赛

自然语言处理与大模型相关

• transformers：Hugging Face 提供的库，用于加载和使用预训练语言模型（如 BERT、LLaMA）
• peft：参数高效微调库（如 LoRA），用于低成本微调大模型
• diffusers：Hugging Face 的扩散模型库，主要用于文生图等生成任务
• vllm：高性能大语言模型推理引擎，支持快速部署和高吞吐服务
• gensim：用于主题建模（如 LDA）和词向量（如 Word2Vec）的经典 NLP 工具库
• mcp：用于构建支持 MCP 协议的“工具服务器”，让大模型能通过标准接口调用数据库、API、文件系统等资源

AI平台与API接口：

• openai：官方库，调用 OpenAI 的 API（如 GPT-3.5、GPT-4）进行文本生成等任务
• dashscope：阿里通义千问（Qwen）的官方 SDK，用于调用阿里云大模型 API
• modelscope：阿里推出的模型开放平台 SDK，用于下载和使用 ModelScope 上的预训练模型

LangChain 生态（大模型应用开发框架）：

• langchain：构建基于大语言模型的应用框架，支持提示工程、记忆、代理等功能
• langchain_community：LangChain 的社区集成模块，包含各种第三方工具和数据连接器

Web 服务与 API 开发：

• flask：轻量级 Web 框架，适合快速搭建小型后端服务或 API
• fastapi：现代高性能 Web 框架，支持自动生成 API 文档，适合构建 AI 服务接口

向量数据库与相似性搜索：

• faiss-cpu/faiss-gpu：Facebook 开发的高效向量相似性搜索库，支持 CPU 或 GPU 加速，常用于推荐系统和 RAG

工具与辅助库：

• python-dotenv：从 .env文件加载环境变量，方便管理密钥和配置

3. 如何应用pip安装这些依赖包和库？

有3种方式，可以逐个试试：

1. pip install <依赖库名>：如 pip install dashscope、pip install gensim
2. pip3 install <依赖库名>：pip3 install dashscope、pip3 install gensim
3. pip install <依赖库名> -i <镜像源>：pip install dashscope -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

常见国内镜像源（速度快、稳定）：

• 阿里云：https://mirrors.aliyun.com/pypi/simple/
• 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple

这3种方式的区别在于：

1. 使用pip3：在某些系统（尤其是 Linux 和 macOS）中，pip 可能默认指向 Python 2 的包管理工具，而 pip3 指向 Python 3。随着 Python 2 的淘汰，大多数新项目都基于 Python 3，如果你使用的是 pip 但系统中 pip 对应的是 Python 2，就会导致：安装的包无法在 Python 3 环境中导入。因此，需要使用 pip3 明确指定为 Python 3 安装包
2. 使用镜像源：PyPI（Python Package Index）的官方源位于国外，国内访问速度慢，经常超时或连接失败，表现为：pip install 卡住、报错 Read timed out、Could not fetch URL 等。因此，可以使用国内镜像源加速下载。

4. 常见依赖包命令

pip install modelscope
pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/

pip install gensim
pip install gensim -i https://mirrors.aliyun.com/pypi/simple/
pip install gensim --prefer-binary

pip install pandas
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install fastapi

pip install dashscope
pip3 install dashscope
pip install dashscope -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

pip install --upgrade modelscope transformers peft diffusers

pip install vllm

pip install openai
pip install pandas openpyxl
pip install openai -i https://pypi.tuna.tsinghua.edu.cn/pypi/web/simple

pip install numpy

pip install matplotlib

pip install PyPDF2

pip install sklearn

pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install flask
pip install flask -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install faiss-cpu
pip install faiss-gpu -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

pip install langchain_community

pip install langchain

pip install python-dotenv

pip install mcp

5. 如何升级pip？如何安装特定版本的依赖包？

升级pip：pip install --upgrade pip

安装特定版本：pip install <依赖库名>==版本号

• 例如，pip install faiss-cpu==1.7.2