概率论

目录

马尔可夫和切比雪夫不等式 ▹

弱大数定律 ▹

依概率收敛 ▹

中心极限定理 ▹

强大数定律 ▹

马尔可夫和切比雪夫不等式

马尔可夫和切比雪夫不等式使用随机变量的均值和方差来描述事件的概率，这两个不等式主要用于随机变量的均值和方差易于计算，但是其具体分布不易计算的情况。

• 马尔可夫不等式

设随机变量X 只取非负值，则对任意 α＞0 有：

E(X)

P(X≥α) ≤ ──

α

马尔可夫不等式的含义是：一个非负随机变量的均值越小，随机变量取值概率的上界越小，也就是随机变量取较大值的概率越小。

马尔可夫不等式是用来估计尾部事件的。一个直观的例子就是如果X 是工资，那么 E(X) 就是平均工资，假设 α＝n * E(X) ，即平均工资的n倍。那么根据马尔可夫不等式，工资超过平均工资n被的人数不会多于总人数的1/n。

• 切比雪夫不等式

设随机变量X 的均值为 μ ，方差为 σ² ，则对任意 c＞0 有：

σ²

P(|X – μ| ≥ c) ≤ ─

c²

切比雪夫不等式的含义是：如果一个随机变量的方差非常小的话，那么该随机变量取远离均值μ 的概率也非常小。

切比雪夫不等式并不要求所涉及的随机变量非负。

举个例子：例5.2(续例5.1)设 X 服从U[0，4]的均匀分布.现在使用切比雪夫不等式来给出事件|X – 2| ≥ 1 的概率上界. 显然

4

σ²＝─，μ＝2，则

3

P(|X – 2| ≥ 1) ≤ σ² 4

─＝─.

1 3

由于概率的值永远不超过1，所以这个不等式并不带来任何信息. □

现在看另一例子，设X服从参数λ＝1的指数分布，则 E[X|＝var(X)＝1.对任意的c＞1，使用切比雪夫不等式可得

P(X ≥ c)=P(X – 1 ≥ c – 1) ≤ P (|X – 1| ≥ c – 1)

1

≤ ───.

(c – 1)²

而真实概率是 P(X ≥ c)＝e⁻ᶜ.可以看出由切比雪夫不等式给出的上界比较保守.

切比雪夫不等式比马尔可夫不等式更准确，即由切比雪夫不等式提供的概率的上界离概率的真值相比马尔可夫不等式更近。这是因为切比雪夫不等式利用了随机变量X 的方差信息。

弱大数定律

设X₁，Ⅹ₂，. . .，Xₙ，. . . 独立同分布，其公共分布的均值为 μ ，则对任意的 ϵ＞0 ，当 n → ∞ 时，

X₁＋· · ·＋Xₙ

P(|Mₙ – μ| ≥ ϵ)＝P(| ───── – μ| ≥ ϵ) → 0 n

弱大数定律是指独立同分布的随机变量序列的样本均值，在样本数量很多的情况下，有很大的概率与随机变量的均值非常接近。也就是说对于充分大的n ，样本均值 Mₙ 的分布大部分集中在 μ 附近。

依概率收敛

弱大数定律的公式与数列的收敛类似，可以表述为Mₙ 收敛于 μ 。当时 Mₙ 不同于数列，因此需要一个新的定义。

设Y₁，Y₂，. . . 是随机变量序列， α 为一实数，如果对任意的 ϵ＞0 ，都有 lim P(|Yₙ – α| ≥ ϵ)＝0

则称 Yₙ 依概率收敛于 α 。

中心极限定理

设X₁，Ⅹ₂，. . . 是独立同分布的随机变量序列，序列的每一项的均值为 μ ，方差为 σ² 。记

X₁＋· · ·＋Xₙ – nμ

Zₙ＝──────

√nσ

则 Zₙ 的分布函数的极限分布为标准正态分布函数

1

Φ(x)＝─── ∫ˣ₋∞ e⁻ᶻ²/²dz

√2π

即 lim P(Zₙ ≤ x)＝Φ(x) 对任意的x成立。

n→∞

中心极限定理在实践中也非常重要，该定理表明大样本的独立随机变量序列之和大致是符合正态分布的。所以当人们遇到的随机量是由许多影响小但是独立的随机因素的总和，此时根据中心极限定理就可以判定这个随机量的分布是正态的，例如在许多自然或工程系统中的白噪声就是这种情况。

强大数定律

强大数定律与弱大数定律一样，都是指样本均值收敛于真值μ 。但是，它们强调的是不同的收敛类别。

数学联邦政治世界观提示您：看后求收藏（笔尖小说网http://www.bjxsw.cc），接着再看更方便。