# 人工智能之数学基础 概率论与统计

第一章 基础概念


---

# 前言

概率论与统计是数据科学、机器学习、金融工程等领域的数学基石。本文系统介绍**随机变量、常见概率分布（高斯/伯努利/多项式）、期望、方差、协方差**等核心概念，并提供完整的 **Python（NumPy / SciPy / Matplotlib）代码实现**。

---

# 一、基本概念

## 1. 随机试验与样本空间

- **随机试验**：结果不确定但所有可能结果已知的过程（如掷骰子）
- **样本空间（Ω）**：所有可能结果的集合，如 Ω = {1,2,3,4,5,6}

## 2. 随机变量（Random Variable, RV）

- **定义**：将样本空间中的每个结果映射到一个实数的函数。
- **类型**：
  - **离散型**：取值有限或可数无限（如掷骰子点数）
  - **连续型**：取值充满某个区间（如身高、温度）

> ✅ 随机变量不是“变量”，而是一个**函数**；其“随机性”来自输入（试验结果）的不确定性。

---

# 二、概率分布（Probability Distribution）

描述随机变量取各个值的可能性。

## 1. 离散分布

### (1) 伯努利分布（Bernoulli Distribution）

- **场景**：单次二元试验（成功/失败）
- **参数**：$ p \in [0,1] $（成功概率）
- **PMF**（概率质量函数）：
  $$
  P(X = x) =
  \begin{cases}
  p & x = 1 \\
  1 - p & x = 0
  \end{cases}
  $$
- **记作**：$ X \sim \text{Bernoulli}(p) $

### (2) 二项分布（Binomial Distribution）

- **场景**：n 次独立伯努利试验的成功次数
- **参数**：$ n $（试验次数），$p $（单次成功概率）
- **PMF**：
  $$
  P(X = k) = \binom{n}{k} p^k (1-p)^{n-k},\quad k=0,1,\dots,n
  $$

### (3) 多项分布（Multinomial Distribution）

- **场景**：n 次独立试验，每次有 $k$种可能结果
- **参数**：$ n $，概率向量 $\mathbf{p} = (p_1, \dots, p_k) $，满足 $\sum p_i = 1 $
- **PMF**：
  
  $$
  P(X_1 = x_1, \dots, X_k = x_k) = \frac{n!}{x_1! \cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}
  $$
  
  其中 $ \sum x_i = n $
  
  $$
  
  $$

> 📌 伯努利是二项分布 $n=1$ 的特例；二项是多项分布 $k=2$ 的特例。

---

## 2. 连续分布

### 高斯分布（正态分布，Gaussian / Normal Distribution）

- **场景**：自然界大量现象（身高、测量误差等）
- **参数**：均值 $\mu $，标准差 $ \sigma > 0 $
- **PDF**（概率密度函数）：
  $$
  f(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)
  $$
- **记作**：$ X \sim \mathcal{N}(\mu, \sigma^2)$
- **标准正态**：$ \mu=0, \sigma=1 $

---

# 三、数字特征：期望、方差、协方差

## 1. 期望（Expectation / Mean）

- **意义**：随机变量的“平均值”或“中心位置”
- **离散型**：
  $$
  \mathbb{E}[X] = \sum_x x \cdot P(X = x)
  $$
- **连续型**：
  $$
  \mathbb{E}[X] = \int_{-\infty}^{\infty} x f(x) dx
  $$

## 2. 方差（Variance）

- **意义**：衡量随机变量与其期望的偏离程度
- **定义**：
  $$
  \text{Var}(X) = \mathbb{E}[(X - \mathbb{E}[X])^2] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2
  $$
- **标准差**：$ \sigma = \sqrt{\text{Var}(X)} $

## 3. 协方差（Covariance）

- **意义**：衡量两个随机变量的线性相关程度
- **定义**：
  $$
  \text{Cov}(X, Y) = \mathbb{E}[(X - \mathbb{E}[X])(Y - \mathbb{E}[Y])]
  $$
- **性质**：
  - $\text{Cov}(X, X) = \text{Var}(X) $
  - 若 $X, Y$ 独立，则 $ \text{Cov}(X, Y) = 0 $（逆命题不成立！）
  

## 4. 相关系数（Pearson Correlation）

- **标准化协方差**：
  $$
  \rho_{X,Y} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y} \in [-1, 1]
  $$

---

# 四、Python 代码实现

## 1. 导入库

```python
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import bernoulli, binom, multinomial, norm
import seaborn as sns

sns.set(style="whitegrid")
```

---

## 2. 伯努利分布

```python
p = 0.7
rv = bernoulli(p)

# PMF
x = [0, 1]
pmf = rv.pmf(x)

plt.bar(x, pmf, tick_label=x, color=['skyblue', 'salmon'])
plt.title(f'伯努利分布 (p={p})')
plt.xlabel('x'); plt.ylabel('P(X=x)')
plt.show()

print(f"理论期望: {rv.mean():.2f}, 方差: {rv.var():.2f}")
```

---

## 3. 二项分布

```python
n, p = 10, 0.4
rv = binom(n, p)

x = np.arange(0, n+1)
pmf = rv.pmf(x)

plt.plot(x, pmf, 'bo-', label=f'Binomial(n={n}, p={p})')
plt.title('二项分布')
plt.xlabel('成功次数 k'); plt.ylabel('P(X=k)')
plt.legend()
plt.show()

print(f"期望: {rv.mean():.2f}, 方差: {rv.var():.2f}")
```

---

## 4. 多项分布

```python
n = 10
p = [0.2, 0.5, 0.3]  # 三种结果的概率
rv = multinomial(n, p)

# 生成一个样本
sample = rv.rvs(size=1)[0]
print("一次多项试验结果（各类出现次数）:", sample)

# 生成多个样本，计算经验均值
samples = rv.rvs(size=10000)
empirical_mean = samples.mean(axis=0)
theoretical_mean = rv.mean()

print("经验均值:", empirical_mean)
print("理论均值:", theoretical_mean)
```

---

## 5. 高斯（正态）分布

```python
mu, sigma = 0, 1
rv = norm(mu, sigma)

x = np.linspace(-4, 4, 1000)
pdf = rv.pdf(x)
cdf = rv.cdf(x)

plt.figure(figsize=(10, 4))
plt.subplot(1, 2, 1)
plt.plot(x, pdf, 'b-', lw=2)
plt.title(f'高斯分布 PDF\nμ={mu}, σ={sigma}')
plt.xlabel('x'); plt.ylabel('f(x)')

plt.subplot(1, 2, 2)
plt.plot(x, cdf, 'r-', lw=2)
plt.title('CDF')
plt.xlabel('x'); plt.ylabel('F(x)')

plt.tight_layout()
plt.show()

print(f"期望: {rv.mean():.2f}, 方差: {rv.var():.2f}")
```

---

## 6. 期望、方差、协方差的数值验证

```python
# 生成高斯随机样本
np.random.seed(0)
X = np.random.normal(2, 3, size=10000)  # μ=2, σ=3 → Var=9
Y = 2 * X + np.random.normal(0, 1, size=10000)  # Y 与 X 相关

# 样本统计量
mean_X = np.mean(X)
var_X = np.var(X, ddof=0)  # 总体方差（ddof=0）
cov_XY = np.cov(X, Y, ddof=0)[0, 1]  # 协方差矩阵
corr_XY = np.corrcoef(X, Y)[0, 1]

print(f"X 样本均值: {mean_X:.2f} (理论: 2)")
print(f"X 样本方差: {var_X:.2f} (理论: 9)")
print(f"Cov(X,Y): {cov_XY:.2f}")
print(f"Corr(X,Y): {corr_XY:.2f}")

# 可视化
plt.scatter(X[:500], Y[:500], alpha=0.5)
plt.xlabel('X'); plt.ylabel('Y')
plt.title('X 与 Y 的散点图（正相关）')
plt.show()
```

---

## 7. 协方差矩阵（多维高斯）

```python
# 二维高斯分布
mean = [0, 0]
cov = [[1, 0.8],
       [0.8, 2]]  # 协方差矩阵必须对称正定

# 生成样本
data = np.random.multivariate_normal(mean, cov, size=1000)
X2, Y2 = data[:, 0], data[:, 1]

# 绘制
plt.figure(figsize=(6, 5))
plt.scatter(X2, Y2, alpha=0.6)
plt.xlabel('X'); plt.ylabel('Y')
plt.title('二维高斯分布（协方差=0.8）')
plt.axis('equal')
plt.show()

# 验证协方差
sample_cov = np.cov(data.T)
print("理论协方差矩阵:\n", np.array(cov))
print("样本协方差矩阵:\n", sample_cov)
```

---

# 五、重要性质总结表

| 分布 | 参数 | 期望 | 方差 |
|------|------|------|------|
| 伯努利 | $ p $| $ p $ | $ p(1-p) $ |
| 二项 | $ n, p $ | $ np $| $np(1-p) $ |
| 多项 | $ n, \mathbf{p} $| $ n p_i $ | $n p_i (1 - p_i) $|
| 高斯 | $\mu, \sigma^2 $ | $ \mu $ | $ \sigma^2 $ |

| 概念 | 公式 | 说明 |
|------|------|------|
| 期望 | $\mathbb{E}[X] $| 分布的“重心” |
| 方差 | $ \text{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 $ | 离散程度 |
| 协方差 | $\text{Cov}(X,Y) = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] $ | 线性相关性 |
| 相关系数 | $ \rho = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y} $ | 无量纲，∈[-1,1] |

---

## 六、应用场景

- **伯努利/二项**：点击率预测、A/B 测试
- **多项**：文本分类（词频）、用户行为建模
- **高斯**：异常检测、回归模型假设、卡尔曼滤波
- **协方差矩阵**：PCA、高斯过程、投资组合优化

---

## 七、结语

掌握这些基础概念，有助于理解更高级统计模型（如贝叶斯推断、最大似然估计、线性回归）的钥匙。**概率是不确定性的语言，统计是从数据中学习这门语言的方法**。

建议：
✅ 多用代码模拟随机过程，建立直觉
✅ 区分“理论值”与“样本估计值”
✅ 理解协方差 ≠ 因果关系！

# 后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

# 资料关注

公众号：咚咚王

《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论  第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》


概率论与统计是数据科学、机器学习、金融工程等领域的数学基石。本文系统介绍随机变量、常见概率分布（高斯/伯努利/多项式）、期望、方差、协方差等核心概念，并提供完整的 Python（NumPy  SciPy  Matplotlib）代码实现。

人工智能之数学基础 概率论与统计：第一章 基础概念

技术岗

人工智能

编程语言

算法

本文系统讲解概率论与统计核心概念，包括随机变量、常见概率分布（伯努利/二项/高斯）、期望方差协方差等，并配有Python代码实现。适合数据科学、机器学习学习者掌握基础数学工具，包含NumPy/SciPy/Matplotlib实战案例，帮助理解概率模型在AI领域的应用。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

A/B测试

Python

2026采购季 | AI焕新·智启新局

bigdata-class

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之数学基础 概率论与统计：第一章 基础概念-腾讯云开发者社区-腾讯云

人工智能之数学基础概率论与统计：第一章基础概念

人工智能之数学基础概率论与统计：第一章基础概念

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础 概率论与统计：第一章 基础概念

人工智能之数学基础 概率论与统计：第一章 基础概念

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础概率论与统计：第一章基础概念

人工智能之数学基础概率论与统计：第一章基础概念