Probability Theory

概率论基础

随机事件与概率

随机现象：在一定条件下，并不总是出现相同结果的现象
结果不止一个
人们事先并不知道哪一个结果出现
确定性现象：只有一个结果的现象
随机事件（简称事件）：随机现象的某些样本点组成的集合
任一事件$A$是相应样本空间的一个子集
样本空间$\Omega$
基本事件：由样本空间$\Omega$中的单个元素组成的子集
必然事件：样本空间$\Omega$的最大子集（$\Omega$本身）
不可能事件：样本空间$\Omega$的最小子集（即空集$\emptyset$）

事件间关系

包含：如果属于$A$的样本点必属于$B$，则称$A$被包含在$B$中或 $B$包含$A$
$$A\subset B 或 B \supset A$$
对任一事件$A$，必有$\emptyset \subset A\subset \Omega$
相等：如果事件$A$和事件$B$满足——属于$A$的样本点必属于$B$，且属于$B$的样本点——则称事件$A$与事件$B$相等（$A=B$）
$$A\subset B 且 B\subset A$$
互不相容：事件$A$和事件$B$没有相同的样本点（事件$A$与事件$B$不可能同时发生）

事件间运算

并：由事件$A$与$B$中所有的样本点组成的新事件
事件$A$与$B$中至少有一个发生
$$A\cup B$$
交：由事件$A$与$B$中公共的样本点组成的新事件
事件$A$与$B$同时发生
$$A\cap B或 AB$$
差：由在事件$A$中而不在事件$B$中的样本点组成的新事件
事件$A$发生而事件$B$不发生
$$A-B 或 A\cap B^c$$
对立事件 或补：事件$A$的对立事件$\bar{A}$——由在$\Omega$中而不在$A$中的样本点组成的新事件
$A$不发生
$$\bar{A}=A^c=\Omega-A$$
对立事件是相互的
$$\overline{ \overline{A} }=A$$
$\overline{\Omega}=\emptyset$
$\overline{\emptyset}=\Omega$

事件的运算性质

交换律
$$A\cup B=B\cup A$$
$$AB=BA$$
结合律
$$(A\cup B)\cup C=A\cup (B\cup C)$$
$$(AB)C=A(BC)$$
分配律
$$(A\cup B)\cap C=(A\cap C)\cup(B\cap C)$$
$$(A\cap B)\cup C=(A\cup C)\cap(B\cup C)$$
De Morgan(对偶律)
事件并的对立等于对立的交
$$\overline{A\cup B}=\overline{A}\cap \overline{B}$$
事件交的对立等于对立的并
$$\overline{A\cap B}=\overline{A}\cup\overline{B}$$
$$\overline{\bigcup_{i=1}^{nA_i}=\bigcap_{i=1}}n\overline{A_i},\quad \overline{\bigcup_{i=1}^\infty A_i}=\bigcap_{i=1}^\infty \overline{A_i}$$
$$\overline{\bigcap_{i=1}^{nA_i}=\bigcup_{i=1}}n\overline{A_i},\quad \overline{\bigcap_{i=1}^\infty A_i}=\bigcup_{i=1}^\infty \overline{A_i}$$

分割

partition
将样本空间$\Omega$划分为$n$个互不相容的事件$D_1,\cdots,D_n$——${D_1,\cdots,D_n}$称为$\Omega$的一个分割
$$\mathscr{F}={D_1,\cdots,D_n}$$

对所有的$i,j=1,\cdots,n$且$i\neq j$，有$D_i\cap D_j=\emptyset$
$\bigcup_{i=1}^n=\Omega$

函数

Beta函数

$$B(\alpha, \beta)=\int_0^1 x^{{\alpha-1}(1-x)}{\beta-1}\mathrm{d}x ,\quad \alpha,\beta>0$$

$B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$
证明：

Gamma函数

$$\Gamma(\alpha)=\int_0^{+\infty}x{\alpha-1}e^{-x}\mathrm{d}x ,\quad \alpha>0$$

$\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$
$\Gamma(n+1)=n!,\quad n\in \mathbb{N}$.

随机变量

用来表示随机现象结果的变量

概率

条件概率

$X$ condition on $Y$
$$P(X|Y)=\frac{P(X,Y)}{P(Y)}=\frac{P(Y|X)P(X)}{P(Y)}$$

贝叶斯公式

如果${A_i:i=1,\cdots,k}$是一个分割(partition)，则有
$$P(A_j|B)=\frac{P(B|A_j)P(A_j)}{\sum_{i=1}^kP(B|A_i)P(A_i)}$$

期望

Expectation
$$E(X)=\int xf_X(x)\mathrm{d}x$$

条件期望

条件期望/条件均值（Conditional Mean）：
$$E\left(X|Y=y\right)=\int xf_{X|Y}(x|y)\mathrm{d}x$$

重期望

LIE(Law of Iterated Expectation)

$$E(X)=E\left[E\left(X|Y\right) \right]$$
$$E\left[Z|X \right]=E\left[E\left(Z|Y,X\right)|X \right]$$

$$Var(X)=E\left[Var(X|Y) \right]+Var\left[E\left(X|Y \right)\right]$$

证明：

方差

条件方差

$$Var\left(X|Y=y\right)=\int \left[x-E\left(X|Y=y \right)\right]^2f_{X|Y}(x|y)\mathrm{d}x$$

协方差

Covariance

条件协方差

分布

概率密度函数（pdf，probability density function）

常见离散分布

伯努利分布

Bernoulli Distribution
$X\sim Bernoulli(p)$, $X$的可能取值只有0和1，且相应的概率为
$$P(X=1)=p,\quad P(X=0)=1-p\quad 0 < p <1$$
即
$$f(x|p)=\left{
\begin{array}{ll}
p^x(1-p){1-x}, & x=0,1\
0, & x\neq0,1
\end{array}
\right.$$

$E(X)=p$
$$E(X)=1\cdot p+0\cdot (1-p)=p$$
$Var(X)=p(1-p)$
$$E(X²⁾⁼¹2\cdot p+0^2\cdot (1-p)=p$$
$$Var(X)=E(X^2)-[E(X)]2=p-p^2=p(1-p)$$

泊松分布

Post not found: 分布-泊松分布泊松分布

Poisson Distribution
参数为$\lambda$的泊松分布的概率密度函数为
$$P(X=k)=\frac{\lambda^k}{k!}e{-\lambda},\quad k=0,1,\cdots.$$

$E(X)=\lambda$
$Var(X)=\lambda$

常见连续分布

贝塔分布

Beta Distribution
$X\sim B(\alpha, \beta)$, 则$X$的概率密度函数为
$$f_X(x)=\frac{1}{B(\alpha,\beta)}x^{{\alpha-1}(1-x)}{\beta-1},\quad 0< x < 1$$

$E(X)=\frac{\alpha}{\alpha+\beta}$

\begin{equation}
\begin{aligned}
E(X)&=\int_0^1 x\frac{1}{B(\alpha,\beta)}x^{{\alpha-1}(1-x)}{\beta-1}\mathrm{d}x\
&=
\end{aligned}
\end{equation}
$Var(X)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$

伽马分布

Gamma Distribution
$X\sim \Gamma(\alpha, \beta)$, 则$X$的概率密度函数为
$$f_X(x)=\frac{\beta^{\alpha} }{\Gamma(\alpha)}x^{\alpha-1}e{-\beta x},\quad x>0$$

$E(X)=\frac{\alpha}{\beta}$
$Var(X)=\frac{\alpha}{\beta^2}$

逆伽马分布

Inverted Gamma Distribution
$X\sim \Gamma(\alpha, \beta)$，定义$Y=\frac{1}{X}$，则$Y$服从逆伽马分布，概率密度函数为
$$f_Y(y)=\frac{\beta^{\alpha} }{\Gamma(\alpha)}y^{{-(\alpha+1)}e}{ -\frac{\beta}{y} },\quad y>0$$

正态分布

$t$分布

Student’s t-distribution^[1]

从均值为$\mu$、方差为$\sigma^2$的正态总体种抽取容量为$n$的随机样本，随机样本的

均值：$\bar{x}$
方差：$s^{2=\frac{1}{n-1}\sum_{i=1}}n(x_i-\bar{x})^2$

则随机变量T
$$T=\frac{\bar{x}-\mu}{ s/\sqrt{n} }$$
服从自由度为$n-1$的$t$分布，即$T\sim t(n-1)$。

$t$分布是一种典型的长尾分布

卡方分布

若$k$个随机变量$Z_1, Z_2, \cdots, Z_k$是相互独立、服从标准正态分布的随机变量，则随机变量Z的平方和
$$X = \sum_{i=1}^kZ_i2$$
服从自由度为$k$的卡方分布。

$E(X)=$

分布的特征

偏态

||左偏|正态|右偏|
|均值、中位数、众数|均值$<$中位数$<$众数|均值=中位数=众数|众数$<$中位数$<$均值|

峰度

参考资料

概率论与数理统计教程

'Student’是William Sealy Gosset的笔名 ↩︎