Chapter 2 随机变量及其概率分布¶

约 1027 个字 4 张图片预计阅读时间 5 分钟

符号速览

两点分布： $X \sim B (1, p)$ 或者 $X \sim 0 - 1 (p)$
二项分布： $X \sim B (n, p)$
泊松分布： $X \sim P (λ)$
超几何分布： $X \sim H (n, a, N)$
帕斯卡分布： $X \sim N B (r, p)$
均匀分布： $X \sim U (a, b)$
指数分布： $X \sim E (λ)$
正态分布： $X \sim N (μ, σ^{2})$

随机变量是定义在样本空间 $S$ 上的实值单值函数。常用大写字母 $X, Y, Z$ 来表示随机变量，用小写字母 $x, y, z$ 表示其取值。

我们存在既非离散型也非连续型的随机变量，但本课程不涉及。

离散型随机变量¶

离散型随机变量(discrete random variable)：如果随机变量取有限个或可列个值，则此随机变量为离散型随机变量，而若其可能取值为 ${x_{i}}$ ，则称 $P {X = x_{k}} = p_{k}, k = 1, 2, . . .$ 为 $X$ 的概率分布律(probability mass function)，也可以用列表的方式表达。

因为样本空间 $S = {X = x_{1}, X = x_{2}, . . ., X = x_{n} . . .}$ 中各样本点两两不相容，所以：

1 = P (S) = \sum_{i = 1}^{+ \infty} P {X = x_{i}} = \sum_{i = 1}^{+ \infty} p_{i}

两点分布¶

如果随机变量 $X$ 的概率分布律为：

P {X = k} = p^{k} (1 - p)^{1 - k}, k = 0 o r 1

则称 $X$ 为服从参数为 $p$ 的 $0 - 1$ 分布，也称为两点分布，并记为 $X \sim B (1, p)$ 或者 $X \sim 0 - 1 (p)$

二项分布¶

伯努利试验：在 $n$ 次独立重复试验中，每次只有 $A$ 和 $\overset{―}{A}$ 两种结果，且概率不变，则这一系列试验为伯努利试验。

若随机变量 $X$ 表示 $n$ 重伯努利实验中事件A发生的次数，其概率分布律为：

P {X = k} = C_{n}^{k} p^{k} (1 - p)^{n - k}, k = 0, 1, 2, . . ., n

则称 $X$ 为服从参数为 $(n, p)$ 的二项分布(binomial distribution)，并记为 $X \sim B (n, p)$

根据二项式定理，二项分布有如下性质：

\sum_{k = 0}^{n} C_{n}^{k} p^{k} (1 - p)^{n - k} = 1

如果遇到来自于两点分布的总体的，容量为 $n$ 的样本的均值 $\overset{―}{X}$ ，则有 $n \cdot \overset{―}{X} = \sum_{i = 1}^{n} X_{i} \sim B (n, p)$

泊松分布¶

如果随机变量 $X$ 的概率分布律为：

P {X = k} = \frac{e^{- λ} λ^{k}}{k!}, k = 0, 1, 2, . . .

其中 $λ > 0$ ，则称 $X$ 服从参数为 $λ$ 的泊松分布(Poisson distribution)，记做 $X \sim P (λ)$

当 $n$ 足够大， $p$ 充分小(一般要求 $p < 0.1$ )，且 $n p$ 保持适当大小时，参数为 $(n, p)$ 的二项分布可以用泊松分布近似描述，其中 $λ = n p$ ，即：

C_{n}^{k} p^{k} (1 - p)^{n - k} \sim \frac{e^{- λ} λ^{k}}{k!} (n \to \infty, p < ε, λ = n p)

超几何分布¶

共有 $N$ 个元素，其中 $a$ 个为 $A$ 类元素， $b$ 个为 $B$ 类元素，从中任取 $n$ 个元素， $X$ 为 $A$ 类元素的个数。

如果随机变量 $X$ 的概率分布律为：

P {X = k} = \frac{C_{a}^{k} C_{b}^{n - k}}{C_{N}^{n}}, k = l_{1}, l_{1} + 1, . . ., l_{2}

其中 $l_{1} = max {0, n - b}$ ， $l_{2} = min {n, a}$ ，

则称 $X$ 为服从超几何分布(hypergeometric distribution)，并记为 $X \sim H (n, a, N)$

几何分布¶

事件 $A$ 发生的概率为 $p$ ，则 $X$ 为第一次发生 $A$ 的时候，经历了多少次试验。

如果随机变量 $X$ 的概率分布律为：

P {X = k} = p (1 - p)^{k - 1}, k = 1, 2, . . .

则称 $X$ 为服从参数为 $p$ 的几何分布(geometric distribution)。

帕斯卡分布¶

事件 $A$ 发生的概率为 $p$ ，则 $X$ 为第 $r$ 次发生 $A$ 的时候，经历了多少次试验。

如果随机变量 $X$ 的概率分布律为：

P {X = k} = C_{k - 1}^{r - 1} p^{r} (1 - p)^{k - r}, k = r, r + 1, . . .

则称 $X$ 为服从参数为 $(r, p)$ 的帕斯卡分布(Pascal distribution)，也称为负二项分布(negative binomial distribution)，并记为 $X \sim N B (r, p)$

分布函数¶

定义：设 $X$ 为随机变量， $x$ 为任意实数，函数 $F (x) = P {X \leq x}$ 为随机变量 $X$ 的概率分布函数，简称为分布函数(distribution function)。

则有以下结论：

P {x_{1} < X \leq x_{2}} = P {X \leq x_{2}} - P {X \leq x_{1}} = F (x_{2}) - F (x_{1})

当 $X$ 为离散型随机变量时，设 $X$ 的概率分布律为 $P {X = x_{i}} = p_{i}, i = 1, 2, . . .$ ，则 $X$ 的分布函数为：

F (x) = P {X \leq x} = \sum_{x_{i} \leq x} P {X = x_{i}}

关于 $F (x)$ 有以下结论：

$F (x)$ 单调不减；
$0 \leq F (x) \leq 1$ 且 $F (- \infty) = 0$ ， $F (+ \infty) = 1$ ；
$F (x)$ 右连续，即 $F (x + 0) = F (x)$ ；
不一定左连续，左极限得到的是 $P {X < x}$ ，而不是 $P {X \leq x}$ ；
$P (a < X \leq b) = F (b) - F (a)$ ；

连续型随机变量¶

密度函数¶

如果对于随机变量 $X$ ，其分布函数为 $F (x)$ ，若存在一个非负的实函数 $f (x)$ ，使对于任意实数 $x$ ，有：

F (x) = \int_{- \infty}^{x} f (t) d t

则称 $X$ 为连续型随机变量，并且称 $f (x)$ 为 $X$ 的概率密度函数(probability density function)，简称为密度函数。

关于 $f (x)$ 有以下结论：

$f (x) \geq 0$ ；
$\int_{- \infty}^{\infty} f (x) d x = 1$ ；
$\forall x_{1}, x_{2} \in R (x_{1} < x_{2}), P {x_{1} < X \leq x_{2}} = F (x_{2}) - F (x_{1}) = \int_{x_{1}}^{x_{2}} f (t) d t$ ；
在 $f (x)$ 的连续点 $x$ 处， $F^{'} (x) = f (x)$
$P {X = a} = 0$ ，即连续型随机变量任取一个定值的概率为零，因此连续型随机变量落在开区间与相应闭区间上的概率相等；

均匀分布¶

设随机变量 $X$ 就有密度函数：

f (x) = {\begin{cases} \frac{1}{b - a}, & x \in (a, b) \\ 0, & else \end{cases}

则称 $X$ 服从区间 $(a, b)$ 上的均匀分布，并记为 $X \sim U (a, b)$

而得到对应的分布函数为：

F (x) = {\begin{cases} 0, & x < a \\ \frac{x - a}{b - a}, & a \leq x < b \\ 1, & x \geq b \end{cases}

指数分布¶

若随机变量 $X$ 具有密度函数：

f (x) = {\begin{cases} λ e^{- λ x}, & x > 0 \\ 0 ， & x \leq 0 \end{cases}

也有地方写成这样：

f (x) = {\begin{cases} \frac{1}{θ} e^{- \frac{1}{θ} x}, & x > 0 \\ 0 ， & x \leq 0 \end{cases}

其中 $λ > 0$ ，则称 $X$ 服从参数为 $λ$ 的指数分布(exponential distribution)，记为 $X \sim E (λ)$

指数分布对应的分布函数为：

F (x) = \int_{- \infty}^{x} f (t) d t = {\begin{cases} 1 - e^{- λ x}, & x > 0 \\ 0 ， & x \leq 0 \end{cases}

指数分布具有无记忆性，即 $P (X > t_{0} + t | X > t_{0}) = P (X > t)$ 。

指数分布的无记忆性

假设 $t_{0} > 0$ ， $t > 0$ ，

\begin{aligned} P (X > t_{0} + t | X > t_{0}) & = \frac{P (X > t_{0} + t)}{P (X > t_{0})} \\ = \frac{1 - F (t_{0} + t)}{1 - F (t_{0})} \\ = e^{- λ t} = P (X > t) \end{aligned}

\begin{aligned} P (X < t_{0} + t | X > t_{0}) & = \frac{P (t_{0} < X < t_{0} + t)}{P (X > t_{0})} \\ = \frac{F (t_{0} + t) - F (t_{0})}{1 - F (t_{0})} \\ = 1 - e^{- λ t} = P (X < t) \end{aligned}

无记忆性的一个例子

假设设备无故障运行的时间 $T$ 服从指数分布。已知设备无故障运行了10个小时，求该设备再无故障至少运行8个小时的概率。

P {T \geq 18 | T > 10} = \frac{P {T > 18}}{P {T > 10}} = e^{- 8 λ} = P {T > 8}

注意到，这一条件概率与无条件下无故障运行8小时的概率没有区别。

正态分布¶

如果随机变量 $X$ 具有密度函数：

f (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}, | x | < + \infty

其中 $σ > 0, | μ | < + \infty$ 为常数，则称 $X$ 服从参数为 $(μ, σ)$ 的正态分布(normal distribution / Gauss distribution)，或者称 $X$ 为正态变量，记为 $X \sim N (μ, σ^{2})$ 。

其对应的分布函数为：

F (x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π} σ} e^{- \frac{(t - μ)^{2}}{2 σ^{2}}} d t

在上面出现的式子中， $μ$ 为位置参数，决定了分布图像的对称轴位置； $σ$ 为尺度参数，决定了形状， $σ$ 越小，图像越集中。

特别的，当 $μ = 0, σ = 1$ 时，如果记这时的正态变量为 $Z$ ，即 $Z \sim N (0, 1)$ 则它服从标准正态分布(standard normal distribution)。则其密度函数为：

φ (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}}, | x | < + \infty

则对应的分布函数为：

Φ (x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t

则显然有 $Φ (x) + Φ (- x) = 1$
然而由于其无法计算，所以我们需要查表获得具体值，以下为标准正态分布表：
- https://www.shuxuele.com/data/standard-normal-distribution-table.html
- https://www.chip1stop.com/sp/knowledge/019_normal-distribution-table_zh

正态分布标准化¶

而对于不是标准正态分布的正态分布，我们可以通过线性变换（标准化）来转换为标准正态分布：

当 $X \sim N (μ, σ^{2})$ 时：

P (X \leq b) = \int_{- \infty}^{b} \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x

做变换： $\frac{x - μ}{σ} = t$

\begin{aligned} P (X \leq b) & = \int_{- \infty}^{\frac{b - μ}{σ}} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t \\ = Φ (\frac{b - μ}{σ}) \end{aligned}

换言之，当 $X \sim N (μ, σ^{2})$ 时， $\frac{X - μ}{σ} \sim N (0, 1)$

我们有以下结论：

若 $X \sim N (μ, σ^{2})$ ，则 $P {a < X < b} = P {\frac{a - μ}{σ} < \frac{X - μ}{σ} < \frac{b - μ}{σ}} = Φ (\frac{b - μ}{σ}) - Φ (\frac{a - μ}{σ})$
特别的：若 $X \sim N (μ, σ^{2})$ ，则 $P {| X - μ | < k σ} = Φ (k) - Φ (- k) = 2 Φ (k) - 1$ ，这说明在对称轴左右，以 $σ$ 倍数为区间的概率值，与 $μ$ 和 $σ$ 都无关。
$3 σ$ 法则

随机变量函数的分布¶

离散型随机变量的函数的分布律很简单，此处不再赘述。

连续型随机变量的函数的分布¶

当 $Y = g (X)$ 为连续型随机变量时，我们总是可以通过求出 $Y$ 的分布函数 $F_{Y} (y)$ ，然后对 $F_{Y} (y)$ 求导得到 $Y$ 的密度函数 $f_{Y} (y)$ 。

$Y = \sin X$ ，其中 $X \sim U (0, π)$ ，求 $f_{Y} (y)$ 。

解：

$F_{Y} (y) = P {Y \leq y} = P {\sin X \leq y}$

Alt text

由上图可知，

\begin{aligned} P {\sin X \leq y} & = P {0 \leq X \leq \arcsin y} + P {π - \arcsin y \leq X \leq π} \\ = \frac{\arcsin y}{π} + \frac{\arcsin y}{π} \\ = \frac{2 \arcsin y}{π} \end{aligned}

于是，在 $y \in (0, 1)$ 时， $F_{Y} (y) = \frac{2 \arcsin y}{π}$ ， $y \notin (0, 1)$ 时， $F_{Y} (y) = 0$ ，则 $Y$ 的密度函数为：

f_{Y} (y) = {\begin{cases} \frac{2}{π \sqrt{1 - y^{2}}}, & y \in (0, 1) \\ 0, & y \notin (0, 1) \end{cases}

$y = g (x)$ 单调时，我们有如下定理：

如果：

$X$ 为连续型随机变量，且其密度函数为 $f_{X} (x)$ ；
随机变量 $Y = g (X)$ ；
函数 $y = g (x)$ 为一严格单调（增/减）函数，并且可微；

则记 $y = g (x)$ 的反函数为 $x = h (y)$ ，得到 $Y$ 的密度函数为：

f_{Y} (y) = {\begin{cases} f_{X} (h (y)) \cdot | h^{'} (y) |, & y \in D, \\ 0, & y \notin D \end{cases}

其中 $D$ 为 $y = g (x)$ 的值域。

正态分布的线性变换¶

有关正态分布的重要结论：

若 $X \sim N (μ, σ^{2})$ ，则 $Y = a X + b \sim N (a μ + b, a^{2} σ^{2})$

标准化：特别的，若 $X \sim N (μ, σ^{2})$ ，则 $\frac{X - μ}{σ} \sim N (0, 1)$ ；
即正态分布的随机变量线性变换后正态性不变；