算法入门（三） -- 概率论基础

概率知识是算法学习中较为重要的一环，下面我们就来回顾一下算法中需要用到的概率基础知识，以及他们的公式和分布图像。

一、随机事件、概率公理与条件概率

1.随机事件

定义：在随机试验中，可能出现也可能不出现，而在大量重复试验中具有某种规律性的事件叫做随机事件，简称事件。通常用大写字母

A

、

B

、

C

等表示。例如，抛一枚硬币，出现正面朝上是一个随机事件；掷一颗骰子，出现点数为也是一个随机事件。

在随机事件中，又有几类较为特殊的随机事件，接下来我们一起看一下这几类随机事件。

• 基本事件：随机试验中不能再分解成其他事件的最简单的事件。例如，掷骰子试验中，出现点数

1

、点数

2

、点数

3

、点数

4

、点数

5

、点数

6

都是基本事件。

• 必然事件：在一定条件下必然会发生的事件，用

\Omega

表示。例如，掷骰子试验中，出现的点数小于

7

就是必然事件。

• 不可能事件：在一定条件下必然不会发生的事件，用

\varnothing

表示。例如，掷骰子试验中，出现的点数大于

6

就是不可能事件。

在随机试验中，有几个我们经常接触到的。例如抛一枚硬币，“正面朝上” 和 “反面朝上” 就是两个随机事件。随机事件是概率论的基本研究对象，在机器学习中，很多数据的生成或变化过程可以看作是随机事件的发生。比如在数据采样过程中，从总体中抽取一个样本就是一个随机事件，每次抽取的结果都具有不确定性；噪声的产生也可视为随机事件，例如图像中的噪声点，其出现的位置和强度是随机的，这使得图像数据具有一定的随机性。

2.概率公理

在概率事件中有以下几个公理我们需要了解一下：

• 非负性：对于任意事件

A

，

P(A)\geq 0

。这是概率的基本性质，保证了概率值的合理性，即任何事件发生的可能性不能为负。从直观上理解，如果一个事件的概率为负，那么就违背了我们对可能性的基本认知，因为事件发生的可能性最小为，表示不可能发生。

• 规范性：对于必然事件

\Omega

，

P(\Omega )=1

。必然事件是指在试验中肯定会发生的事件，其概率为

1

，这为概率的取值范围设定了上限。例如在掷骰子试验中，“掷出的点数是

1

到

6

中的一个数” 就是必然事件，因为无论怎样掷骰子，这个事件一定会发生，所以其概率为

1

。

• 可列可加性：设

A_{1},A_{2},...

是两两互不相容的事件，则

P(\bigcup_{i=1}^{\infty }A_{i})=\sum_{i=1}^{\infty }P(A_{i})

。此公理是计算复杂事件概率的基础。例如在计算多个独立事件至少有一个发生的概率时，可以利用可列可加性将其转化为各个事件概率的和。比如在一个抽奖活动中，有三个奖项

A_{1}

、

A_{2}

、

A_{3}

，它们是两两互不相容的（即一个人不能同时获得多个奖项），那么一个人至少获得一个奖项的概率。

3.条件概率

定义：设

A

、

B

是两个事件，且

P(B)>0

，则在

B

发生的条件下

A

发生的条件概率

P(A|B)=\frac{P(AB)}{P(B)}

。

例如，在一个装有

3

个红球和

2

个白球的袋子中，先取出一个球不放回，再取一个球。设

A

表示 “第二次取到红球”，

B

表示 “第一次取到白球”，那么

P(AB)=\frac{2}{5}\times \frac{3}{4}=\frac{3}{10}

，

P(B)=\frac{2}{5}

，所以

。

条件概率在机器学习中有很多应用，如在贝叶斯分类算法中，通过条件概率来计算后验概率，从而确定数据属于不同类别的可能性。

例如在垃圾邮件分类中，设

A

表示 “邮件是垃圾邮件”，

B

表示 “邮件中包含特定关键词”，已知

P(A)

（垃圾邮件的先验概率）、

P(B|A)

（垃圾邮件中包含特定关键词的概率）和

P(B|\bar{A})

（非垃圾邮件中包含特定关键词的概率），就可以利用贝叶斯公式

P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\bar{A})P(\bar{A})}

计算在邮件包含特定关键词的条件下，该邮件是垃圾邮件的概率

P(A|B)

，进而对邮件进行分类。

二、离散型与连续型随机变量的分布（如伯努利分布、正态分布等）

1.离散型随机变量分布

离散型随机变量的分布描述了随机变量可能取到的值以及取每个值的概率。

1.1.伯努利分布

定义：是一种只有两种可能结果的单次随机试验，即 “成功” 与 “失败”，设成功的概率为

p

，失败的概率为

1-p

，随机变量

X

表示试验结果，

X=1

表示成功，

X=0

表示失败。

概率质量函数：

P(X=k)=p^{k}(1-p)^{1-k}

，其中

k=0,1

。

期望和方差：期望

E(X)=p

，方差

D(X)=p(1-p)

。

举个栗子：在产品质量检测中，设

X

表示一个产品是否合格，合格记为

X=1

，不合格记为

X=0

。若某产品的合格率为

0.9

，即

p=0.9

，那么该产品的合格情况就服从

B(1,0.9)

分布。在机器学习的二元分类场景里，如判断一封邮件是否为垃圾邮件，可将垃圾邮件标记为

1

，非垃圾邮件标记为

0

，模型预测结果可视为服从伯努利分布的随机变量，其预测正确的概率

p

反映了模型在这类二分类任务上的性能。

1.2.二项分布

定义：是

n

个独立的伯努利试验的和，设每次试验成功的概率为，失败的概率为

1-p

，随机变量

X

表示

n

次试验中成功的次数。

概率质量函数：

P(X=k)=C_{n}^{k}\textrm{}p^{k}(1-p)^{n-k}

，其中

k=0,1,2,...,n

，

C_{n}^{k}\textrm{}=\frac{n!}{k!(n-k)!}

是组合数。

期望和方差：期望

E(X)=np

，方差

D(X)=np(1-p)

。

举个例子：进行

10

次抛硬币试验，每次抛硬币正面朝上的概率

p=\frac{1}{2}

，设

X

表示正面朝上的次数，则

X~B(10,\frac{1}{2})

。计算

P(X=5)=C_{10}^{5}\textrm{}(\frac{1}{2})^{5}(1-\frac{1}{2})^{10-5}=\frac{252}{1024}\approx 0.246

。在机器学习的模型训练评估中，若进行多次独立的训练实验，每次实验模型达到某个性能指标视为成功，成功概率为

p

，进行

n

次这样的实验后，成功次数

X

服从二项分布，通过二项分布可分析模型在多次实验中达到预期性能的概率分布，评估模型的稳定性与可靠性。

1.3.泊松分布

定义：用于描述在一定时间或空间内，某事件发生的次数的概率分布，通常在给定的时间或空间内，事件发生的平均次数为

\lambda

。

概率质量函数：

P(X=k)=\frac{e^{-\lambda}\lambda ^{k}}{k!}]

，其中

k=0,1,2,...

，

e=2.71828

是自然常数。

期望和方差：期望

E(X)=\lambda

，方差

D(X)=\lambda

。

举个例子：某交通路口在一个小时内通过的车辆数

X

，若平均每小时通过

30

辆车，即

\lambda =30

，则

X

服从

P(30)

分布。在机器学习的文本分析任务中，若统计一篇文档里某个特定词汇出现的次数，当满足泊松分布的条件时，例如在一篇较长的新闻报道中特定专业术语的出现次数，可利用泊松分布对其分布规律建模，有助于在文本分类、信息检索等任务中更好地理解文本特征，提升模型性能。

2.连续型随机变量分布

连续型随机变量的分布主要有以下几种常见类型：均匀分布、正态分布、指数分布、伽马分布、贝塔分布等，由于篇幅原因，我这们这里只讲解最常用的均匀分布、正态分布与指数分布。

2.1.正态分布

定义：对于随机变量

X

，其概率密度函数为

f(x)=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu )^{2}}{2\sigma ^{2}}}(-\infty <x<+\infty )

，其中

\mu

为均值，确定了分布的中心位置；

\sigma

为标准差，决定了分布的离散程度，则称

X

服从正态分布，记为

X~N(\mu ,\sigma ^{2})

。正态分布又叫做高斯分布，其具有对称性，且图像呈钟形曲线。

特点：

• 概率密度函数的图像呈钟形，关于直线

x=\mu

对称，在

x=\mu

处达到最大值。

• 均值

\mu

决定了分布的中心位置，标准差

\sigma

决定了分布的离散程度，

\sigma

越大，曲线越扁平；

\sigma

越小，曲线越陡峭。

举个例子：学生的考试成绩通常近似服从正态分布。假设某次数学考试，平均成绩

\mu =75

分，标准差

\sigma =10

分，那么学生成绩

X

服从

N(75,10^{2})

分布。在机器学习中，许多自然现象的数据和测量误差数据也常呈正态分布。例如在图像处理中，图像的噪声值往往服从正态分布，在进行图像去噪算法设计时，可利用正态分布的特性对噪声进行建模和处理，以提高图像质量；在回归分析中，线性回归模型假设误差项服从正态分布，这有助于利用极大似然估计等方法对模型参数进行有效估计，提高模型的准确性和泛化能力。

2.2.均匀分布

定义：若随机变量

X

在区间

\left [ a,b \right ]

上取值，且其概率密度函数为

f(x)=\left\{\begin{matrix} \frac{1}{b-a}, a\leq x\leq b\\ 0, other \end{matrix}\right.

，则称

X

服从

\left [ a,b \right ]

区间上的均匀分布，记为

X\sim U(a,b)

。该分布表示在给定区间内，随机变量取任何值的可能性相等。

特点：在区间

\left [ a,b \right ]

内，随机变量取值的概率是均匀的，即任何等长度的子区间内取值的概率相等。

举个例子：在一个抽奖活动中，抽奖箱里有编号从

1

到

100

的奖券，抽奖时随机抽取一张，设抽取的奖券编号为

X

，则

X

服从

U\left ( 1,100 \right )

分布。在机器学习的超参数调优过程中，有时会使用均匀分布来随机生成超参数的取值范围。例如在随机搜索算法中，对于学习率这一超参数，如果设定其在

\left [ 0.001,0.1 \right ]

区间内均匀取值，那么学习率这个超参数就可视为服从

U\left [ 0.001,0.1 \right ]

分布的随机变量，通过在该区间内均匀采样不同的学习率值来训练模型，寻找最优超参数组合，提高模型性能。

2.3.指数分布

定义：若随机变量

X

的概率密度函数为

f(x)=\left\{\begin{matrix} \lambda e^{-\lambda x},x\geq0\\ 0,x< 0 \end{matrix}\right.

，其中

\lambda >0

为参数，则称

X

服从指数分布，记为

X\sim Exp(\lambda )

。指数分布常用于描述独立随机事件发生的时间间隔，且具有无记忆性，即过去发生的事件对未来事件发生的概率没有影响。

特点：

• 具有无记忆性，即对于任意

s

，

t>0

，有

P(X>s+t|X>s)=P(X>t)

。

• 常用于描述独立随机事件发生的时间间隔，如顾客到达商店的时间间隔、设备的寿命等。

举个例子：某电子元件的寿命

X

服从指数分布，若其平均寿命为

5

年，即

\lambda =\frac{1}{5}=0.2

，那么

X\sim Exp(0.2)

。在机器学习的可靠性工程领域应用中，例如预测机器设备的故障时间间隔，如果故障时间间隔数据符合指数分布特征，就可以利用指数分布建立模型进行预测。通过对历史故障数据的分析估计

\lambda

值，进而预测未来设备可能发生故障的时间，提前安排维护计划，降低设备故障带来的损失，提高整个系统的可靠性和运行效率。

三、期望、方差、协方差等统计量及其在数据特征分析中的意义

3.1.期望

在数据特征分析中的意义：

• 中心位置的度量：期望给出了数据的中心位置，是对数据集中趋势的一种描述。例如，在分析一组学生的考试成绩时，平均成绩就是成绩数据的期望，它能让我们大致了解学生的整体学习水平。
• 预测和估计：基于期望可以对未来的观测值进行预测和估计。例如，根据以往的销售数据计算出的日平均销售额，可用于预测未来的销售情况，为生产、库存管理等提供依据。

离散型随机变量：

定义：设离散型随机变量

X

的概率质量函数为

P(X=x_{i})=p_{i}(i=1,2,3,\cdots )

，则期望

E(x)=\sum_{i}x_{i}p_{i}

。期望从本质上说是随机变量取值按照其概率的加权平均值，反映了随机变量的平均水平或中心趋势。

举个例子：考虑一个离散型随机变量

X

表示掷骰子的点数，

P(X=1)=P(X=2)=\cdots =P(X=6)=\frac{1}{6}

，则

E(X)=1\times \frac{1}{6}+2\times \frac{1}{6}+\cdots +6\times \frac{1}{6}=\frac{1+2+\cdots+6}{6}=\frac{21}{6}=3.5

。在机器学习的分类任务中，若模型对某一类别的预测概率为

p_{i}

，对应的类别标签为

x_{i}

，那么模型预测结果的期望

E(x)=\sum_{i}x_{i}p_{i}

可以用来衡量模型在该类别上预测的平均倾向。例如在多分类图像识别任务中，对于“猫”“狗”“其他动物”三类，模型对每张图片预测属于各类别的概率，期望能反映出模型整体上对不同类别判断的平均偏向程度，帮助评估模型的预测性能。

连续型随机变量:

定义：设连续型随机变量

X

的概率密度函数为

f(x)

，则期望

E(x)=\int_{-\infty }^{\infty }xf(x)dx

。它通过对整个实数轴上的

X

值与对应的概率密度函数

f(x)

相乘后积分来计算，同样表示随机变量的平均取值

举个例子：设连续型随机变量

X

服从正态分布

N(\mu ,\sigma ^{2})

，其概率密度函数为

f(x)=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu )^{2}}{2\sigma ^{2}}}

，则

E(x)=\int_{-\infty }^{\infty }x\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\mu )^{2}}{2\sigma ^{2}}}dx=\mu

。在金融领域，若股票价格

X

在一段时间内可视为连续型随机变量且服从某种分布（如对数正态分布），其期望

E(X)

可用于估计股票价格在该时期内的平均水平，投资者可据此制定投资策略，如判断股票是否被高估或低估；在机器学习的回归分析中，模型预测值与实际值之间误差的期望可衡量模型的偏差程度，如果误差期望不为

0

，说明模型存在系统性偏差，需要进一步调整模型结构或参数，以提高模型的准确性。

3.2.方差

方差的算术平方根

\sqrt{D(X)}

称为标准差。它衡量的是随机变量取值相对于其均值的离散程度。

在数据特征分析中的意义：

• 数据离散程度的度量：方差越大，说明数据越分散，即数据在均值周围的波动越大；方差越小，说明数据越集中在均值附近。例如，比较两个班级学生的考试成绩，方差小的班级成绩相对更稳定，学生之间的差距较小。
• 风险评估：在金融领域，方差常用于衡量投资收益的风险。例如，两种投资产品的预期收益相同，但方差不同，方差大的投资产品收益波动大，风险也就更高。

离散型随机变量：

定义：

Var(X)=E\left [ (X-E(X))^{2} \right ]=\sum_{i}^{}(x_{i}-E(X))^{2}p_{i}

。方差衡量了随机变量取值相对于期望的离散程度或波动程度，方差越大，说明随机变量的取值越分散，不确定性越高。

举个例子：对于伯努利分布

X\sim B(1,p)

，

E(x)=p

，则

Var(X)=(1-p)^{2}p+(0-p)^{2}(1-p)=p(1-p)

。例如在一个二分类任务中，如判断用户是否会购买某产品（购买为

1

)，不购买为

0

），若购买概率

p=0.6

，则

Var(X)=0.6\times (1-0.6)=0.24

。在机器学习中，方差可用于评估模型预测的稳定性。若一个模型对同一数据集进行多次预测，每次预测结果视为一个随机变量，方差小说明模型预测结果较为稳定，反之则说明模型对数据中的某些因素较为敏感，可能存在过拟合风险。在特征选择时，方差较小的离散型特征可能提供的信息较少，可考虑舍弃或进行特征工程处理，以减少特征维度，提高模型训练效率。

连续型随机变量：

定义：

Var(X)=\int_{-\infty }^{\infty }(X-E(X))^{2}f(x)dx

。它通过对随机变量与期望差值的平方在整个取值范围内加权积分来计算方差，反映了连续型随机变量取值的分散状况。

举个例子：对于正态分布

X\sim N(\mu ,\sigma ^{2})

，

Var(X)=\sigma ^{2}

。例如在测量物体长度时，由于测量误差的存在，测量结果

X

可视为服从正态分布。若测量误差的标准差

\sigma =0.1

厘米，则

Var(X)=0.01

平方厘米。在机器学习的数据可视化和预处理中，方差可帮助了解数据的分布范围和形态。如绘制一组连续型数据的直方图时，方差较大则直方图较宽且扁平，数据分布分散；方差较小则直方图窄而高，数据较为集中。在模型训练过程中，监测模型参数在不同训练批次中的方差变化，若方差持续增大，可能暗示模型出现过拟合，对训练数据过度拟合而导致泛化能力下降，需要采取正则化等措施来调整模型。

3.3.协方差

定义：设

X

、

Y

是两个随机变量，协方差

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]

。协方差用于衡量两个随机变量之间的线性相关程度，若

Cov(X,Y)>0

，表明

X

与

Y

正相关；若

Cov(X,Y)<0

，表明

X

与

Y

负相关；若

Cov(X,Y)=0

，表明

X

与

Y

不相关。

在数据特征分析中的意义：

• 衡量线性相关性：协方差可以用来衡量两个随机变量之间的线性相关程度。当

Cov(X,Y)>0

时，表明

X

和

Y

正相关，即

X

增大时，

Y

往往也增大；当

Cov(X,Y)<0

时，表明

X

和

Y

负相关，即

X

增大时，

Y

往往减小；当

Cov(X,Y)=0

时，称

X

和

Y

不相关，但不相关不一定意味着独立。

• 投资组合分析：在投资组合理论中，协方差用于衡量不同资产之间的收益关系。通过合理选择资产，使投资组合中各资产的协方差尽可能小，可以降低投资组合的风险。

举个例子：考虑股票市场中两只股票的日收益率

X

和

Y

，计算它们的协方差。若

Cov(X,Y)>0

，说明两只股票的收益率走势有同向变化的趋势，即一只股票上涨时，另一只股票也倾向于上涨；若

Cov(X,Y)<0

，则表示两只股票收益率走势相反。在机器学习的特征工程中，对于一组数据的多个特征，计算特征之间的协方差可发现特征间的线性关系。例如在预测房价的模型中，房屋面积

X

和房间数量

Y

两个特征，若

Cov(X,Y)>0

且数值较大，说明它们之间存在较强的正线性相关，可能存在信息冗余。此时可考虑只保留其中一个特征，或者通过主成分分析等方法将它们组合成新的特征，以降低特征维度，避免多重共线性问题对模型训练和性能的影响，提高模型的准确性和泛化能力。

恭喜各位道友实力又深厚一层，相信很快就可以筑基圆满直达结丹。