probability theory

1. 随机事件与样本空间

  1. 随机试验

    我们称一个实验为随机试验,如果它满足以下三个条件:

    1. 试验可以在相同的条件下重复进行;
    2. 试验所有可能结果是明确知道的,并且不止一个;
    3. 每一次试验会出现哪一个结果,事先并不能确定;

    我们是通过研究随机试验来研究随机现象的,为方便起见,将随机试验简称为试验,用字母 E 或 $E_1,E_2,\cdots$ 表示。

  2. 随机事件

    在一次试验中可能出现,也可能不出现的结果称为随机事件,简称事件,并用大写字母 A,B,C 等表示,为讨论需要,将每次试验中一定发生的事件称为必然事件,记为 Ω 。每次试验中一定不发生的事件称为不可能事件,记为 $\emptyset$ 。

  3. 样本空间

    随机试验的每一个可能结果称为样本点,记为 ω 。样本点的全体组成的集合称为样本空间(或基本事件空间),记为 Ω,即 Ω = {ω} 。由一个样本点构成的事件称为基本事件。随机事件 A 总是由若干个基本事件组成,即 A 是 Ω 的子集,$A \subset \Omega$ 。事件 A 发生等价于构成 A 的基本事件必有一个发生 。

2. 事件的关系与运算

2.1 定义

关系:包含、相等、相容、对立。

运算:和(并)、差、交(积)

  1. 如果事件 A 发生必导致事件 B 发生,则称事件 B 包含事件 A (或 A 被 B 包含),记为 $A \subset B$ 。

  2. 如果 $A\subset B$ 且 $B\subset A$ ,则称事件 A 与 B 相等,记为 A=B 。A 与 B 相等,事实上也就是说,A 与 B 由完全同样的一些试验结果构成,它不过是同一事件表面上看来两个不同的说法而已。

  3. 称 “事件 A 与 B 同时发生” 的事件为事件 A 与 B 的交(或积),记为 $A\cap B$ 或 AB 。

  4. 若 $AB \neq \emptyset$ ,则称事件 A 和 B 相容;若 $AB=\emptyset$ ,则称事件 A 与 B 互不相容,也称互斥 。如果一些事件中任意两件事件都互斥,则称这些事件是两两互斥的,或简称互斥的。

  5. 称 “事件 A 与 B 至少有一个发生” 的事件为事件 A 与 B 的并(或和),记为 $A \cup B$ 。

  6. 称 “事件 A 发生而事件 B 不发生” 的事件为事件 A 与 B 的差,记为 A-B;称 “事件 A 不发生” 的事件为事件 A 的逆事件或对立事件,记为 $\bar{A}$ 。由定义易知

    $A-B=A-AB=A\bar{B} , B=\bar{A} \iff AB=\emptyset \ 且 \ A\cup B = \Omega$

  7. 称有限个(或可列个)事件 $A_1,A_2,\cdots ,A_N(\cdots)$ 构成一个完备事件组,如果 $\bigcup \limits_{i=1}^{n} A_i$ (或 $\bigcup \limits_{i=1}^{\infty} A_i$ )= Ω , $A_IA_j= \emptyset$ (对一切 $i\neq j;i,j=1,2,\cdots,n(\cdots)$) 。

  8. 事件的关系与运算可以用文氏图现象地表示出来

    venn

2.2 事件的关系和运算法则

  1. 吸收律

    若 $A \subset B$ ,则 $A \cup B = B,A\cap B =A$

  2. 交换律

    $A \cup B = B \cup A,A\cap B =B\cap A$

  3. 结合律

    $(A\cup B)\cup C = A \cup(B\cup C),(A \cap B)\cap C = A \cap(B\cap C)$

  4. 分配律

    $A \cap(B\cup C) = (A \cap B) \cup (A \cap C)$

    $A \cup (B\cap C) = (A \cup B) \cap(A \cup C)$

    $A \cap (B-C)=(A\cap B)-(A \cap C)$

  5. 对偶律(德·摩根律)

    $\overline{A \cup B} = \overline{A} \cap \overline B, \overline{A \cap B}=\overline{A} \cup \overline{B}$

3. 概率的三种定义

3.1 概率的描述性定义

通常我们将随机事件 A 发生的可能性大小的度量(非负值),称为事件 A 发生的概率,记为 P(A) 。

3.2 概率的统计性定义

在相同条件下做重复试验,事件 A 出现的次数 k 和总的试验次数 n 之比 k/n ,称为事件 A 在这 n 次试验中出现的频率。 当试验次数 n 充分大时,频率将 “稳定” 于某常数 p 的 “附近” ,n 越大,频率偏离这个常数 p 的可能性越小。这个常数 p 就称为事件 A 的概率。

3.3 概率的公理化定义

设随机试验的样本空间为 Ω,如果对每一个事件 A 都有一个确定的实数 P(A) ,且事件函数 P(·) 满足

  1. 非负性:P(A) ≥ 0;

  2. 规范性:P(Ω)=1;

  3. 可列可加性:对任意可列个互不相容事件 $A_1,A_2,\cdots,A_n,\cdots$ (即 $A_iA_j=\emptyset,i\neq j;i,j=1,2,\cdots$),有

    $P(\bigcup\limits_{i=1}^\infty A_i)=\sum\limits_{i=1}^\infty P(A_i)$

    则称 P(·) 为概率,P(A) 为事件 A 的概率。

4. 古典概型和几何概型

下面研究两种非常重要的概率类型,古典概型和几何概型。

  1. 称随机试验(随机现象)的概率模型为古典模型,如果其基本事件空间(样本空间)满足:

    1. 只有有限个基本事件(样本点)
    2. 每个基本事件(样本点)发生的可能性都一样

    如果古典概型的基本事件总数为 n,事件 A 包含 k 个基本事件,也叫作有利于 A 的基本事件为 k 个,则 A 的概率定义为

    P(A)=k/n = 事件 A 所含基本事件的个数 / 基本事件总数
    

    由上式计算得出的概率称为 A 的古典概率。

  2. 称随机试验(随机现象)的概率模型为几何模型,如果:

    1. 样本空间(基本事件空间)Ω 是一个可度量的有界区域;
    2. 每个样本点(基本事件)发生的可能性都一样,即样本点落入 Ω 的某一可度量的子区域 S 的可能性大小与 S 的几何度量成正比,而与 S 的位置及形状无关。

    在几何概型随机试验中,如果 $S_A$ 是样本空间 Ω 的一个可度量的子区域,则事件 A = {样本点落入区域 $S_A$ } 的概率定义

    上式计算得出的概率称为 A 的几何概率。

5. 概率的基本性质与公式

5.1 性质

  1. 有界性:对于任一事件 A,有 $0\le P(A)\le 1$ ,且 $P(\emptyset)=0,P(\Omega)=1$ 。

  2. 单调性:设 A,B 是两个事件,若 $A\subset B$ ,则有

    $P(B-A)=P(B)-P(A),P(B)\ge P(A)$

5.2 公式

  1. 逆事件概率公式:对于任一事件 A,有 $P(\bar A)=1-P(A)$ 。

  2. 加法公式:对于任意两个事件 A,B,有 $P(A \cup B)=P(A)+P(B)-P(AB)$

  3. 减法公式:$P(A-B)=P(A)-P(AB)=P(A\bar B)$

  4. 条件概率:设 A,B 为任意两个事件,若 P(A)>0,我们称在已知事件 A 发生的条件下,事件 B 发生的概率为条件概率,记为 $P(B\mid A)$ ,并定义

    P(B|A)=P(AB)/P(A)
    
  5. 乘法公式:如果 P(A)>0,则 P(AB)=P(A)P(B|A)

    一般地,对于 n>2,如果 $P(A_1A_2\cdots A_n)=P(A_1)P(A_2\mid A_1)P(A_3\mid A_1A_2)\cdots P(A_n\mid A_1A_2\cdots A_{n-1})$

  6. 全概率公式:如果 $\bigcup\limits_{i=1}^nA_i=\Omega,A_iA_j=\emptyset (i\neq j;i,j=1,2,\cdots,n),P(A_i)>0$ ,则对任一事件 B,有

    $B=\bigcup\limits_{i=1}^nA_iB,P(B)=\sum\limits_{i=1}^nP(A_i)P(B\mid A_i)$

  7. 贝叶斯公式(又称逆概率公式);如果 $\bigcup\limits_{i=1}^nA_i=\Omega,A_iA_J=\emptyset(i\neq j;i,j=1,2,\cdots,n),P(A_i)>0$ ,则对任一事件 B,只要 P(B)>0,就

6. 事件的独立性和独立重复试验

6.1 事件的独立性

  1. 独立性定义

    1. 描述性定义(直观性定义)

      设 A,B 为两个事件,如果其中任意一个事件发生的概率不受另一个事件发生与否的影响,则称事件 A 与 B 相互独立。设 $A_1,A_2,\cdots,A_n$ 是 $n(n\ge 2)$ 个事件,如果其中任何一个或几个事件发生的概率都不受其余的某一个或几个事件发生与否的影响,则称事件 $A_1,A_2,\cdots,A_n$ 相互独立。

    2. 数学定义

      设 A,B 为两个事件,如果 P(AB)=P(A)P(B),则称事件 A 与 B 相互独立,简称为 A 与 B 独立。

  2. 独立性的判定

    1. A 与 B 相互独立 $\iff$ A 与 $\bar B$ 相互独立 $\iff$ $\bar A$ 与 B 相互独立 $\iff$ $\bar A$ 与 $\bar B $ 相互独立

    2. 若 P(A)>0 ,则 A 与 B 相互独立 $\iff$ P(B| A) = P(B)

    3. 若 0<P(A)<1,则 A 与 B 相互独立 $\iff P(B\mid \bar A )=P(B\mid A) \iff P(B\mid A)+P(\bar B \mid \bar A)=1$

    4. 将相互独立的事件组中的任何几个事件换成各自的对立事件,所得的新事件组仍相互独立。

    5. 对独立事件组不含相同事件作运算,得到的新事件组仍独立,如 A,B,C。D 相互独立,则 AB 与 CD 相互独立,A 与 BC-D 相互独立

    6. 若 P(A)=0 或 P(A)=1 ,则 A 与任意事件 B 相互独立。

    7. 若 A = Ω(必然事件)或 $A=\emptyset$ (不可能事件),则 A 与任意事件 B 相互独立。

    8. 独立与互斥、包含的关系

      若 0<P(A)<1,0<P(B)<1,A 与 B 互斥或存在包含关系,则 A 与 B 一定不独立。

6.2 试验的独立性

如果各个试验结果是相互独立的,则称这些试验是相互独立的,例如,对实验 $E_1$ 的任一结果 $A_1$ ,试验 $E_2$ 的任一结果 $A_2$ ,事件 $A_1$ 与 $A_2$ 相互独立,即 $P(A_1A_2)=P(A_1)P(A_2)$ ,称随机试验 $E_1$ 和 $E_2$ 是相互独立的,对试验 $E_i$ 中的任一结果 $A_i(i=1,2,\cdots,n)$ ,事件 $A_1,A_2\cdots,A_n$ 相互独立,即对其中任意 $k(2\le k\le n)$ 个事件有 $P(\bigcap\limits_{j=1}^k A_j)=\prod\limits_{j=1}^n P(A_j)$ ,称 n 个试验 $E_1,E_2,\cdots,E_n$ 是相互独立的。

6.3 独立试验序列概型与 n 重伯努利概型

在同样条件下独立重复地进行一系列完全相同的试验,即每次试验结果及其发生的概率都不变,各次试验是相互独立的,称这种重复试验序列的数学模型为独立试验序列概型,如果每次试验只有两个结果 A 与 $\bar A$ ,且在每次试验中 A 发生的概率都相等(即 P(A)=p),将这种试验独立重复 n 次,则称这种试验为 n 重伯努利概型。

在 n 重伯努利概型中,事件 A 发生 k 次(只管次数,不论位置)的概率为 $C_n^kp^k(1-p)^{n-k}(k=0,1,\cdots,n)$ ,且如果用 X 表示 n 重伯努利概型中事件 A 发生的次数,则 X 服从二项分布 B(n,p) 。