中心极限定理（重点之一）三

5 多维中心极限定理

CLT不仅可以应对一维的随机变量，也可以应对多维的随机变量。对于可测的（measurable）X：Ω → ℝᵏ ， X＝(X₁，. . .，Xₖ)，Xⱼ：Ω → ℝ 叫作一个 k 维随机变量。 k 维随机变量的依分布收敛的定义如下。

定义 5.1 令 Xₙ 和 X 为 k 维随机变量. 若对于任意有界连续函数 f：ℝᵏ → ℝ ，都有 𝔼[f(Xₙ)] → 𝔼[f(x)]，则称 Xₙ 依分布收敛于 X ，写作

D

Xₙ → X .

k 维随机变量的多维特征函数（multivariate characteristic function）的定义如下。

定义 5.2 一个 k 维随机变量 X 的多维特征函数是

ₖ

ф(t)＝𝔼[exp(it · x)]＝𝔼[exp(i∑tⱼXⱼ)]

ⱼ₌₁

这里 t＝(t₁，. . .，tₖ) .

令μ 为定义在 ℝᵏ 的博雷尔集（Borel set）上的概率测度（probability measure）。多维情况下的逆公式表达如下：对于长方形（rectangle） U＝(α₁，b₁] × · · · × (αₖ，bₖ] ，若 μ(∂U)＝0 ，则

1

μ(U)＝lim ─── ∫ᵀ₋ᴛ

T→∞ (2π)ᵏ

ₖ e⁻ⁱαⱼᵗⱼ – e⁻ⁱᵇⱼᵗⱼ

(∏ ───────)

ⱼ₌₁ itⱼ

ф(t₁，· · ·tₖ) dt₁ · · · dtₖ

对于独立的随机向量X 和 Y ， фx＋ʏ(t)＝фx(t)фʏ(t) 仍成立。我们仍有类似于连续性定理的结论：当且仅当 фₙ(t) → ф(t)∀t ∈ ℝᵏ ，

D

Xₙ → X 。

D

这意味着 Xₙ → X 等价于

ₖ D ₖ

∑tⱼXⱼₙ → ∑ tⱼXⱼ∀t₁，· · ·，tₖ 。

ₖ₌₁ ₖ₌₁

我们用多维特征函数定义多维正态分布（multivariate normal distribution）。

定义 5.3 如果存在向量 μ 和正定（positive definite）矩阵 Σ ，使得随机向量 X 的多维特征函数是

1

ф(t)＝eⁱμ⊤t – ─ t⊤Σt ，

2

那么 X 叫作一个多维正态分布向量，写作 X ∼ N(μ，Σ) .

根据上述定义，标准多维正态分布向量Z ∼ N(0，1) 的多维特征函数是 фᴢ(t)＝e⁻||ᵗ||²/² 。若用PDF为

1

fᴢ(x)＝──── e⁻||ˣ||²/²

(2π)ᵏ/²

的随机向量定义标准多维正态分布向量，则多维正态分布向量还可以被定义为形如X＝μ＋AZ 的随机向量。这里 X 的均值为 μ ，协方差矩阵（Covariance matrix）为 Σ＝AA⊤ 。若 det(Σ)＞0 ，则 A⁻¹ 存在。若假设 μ＝0 ，则 X 的PDF是

1

f(x)＝────── e⁻||ᴬ⁻¹ˣ||²/²↓

(2π)ᵏ/²| det(A)|

1

＝─────── e⁻ˣ⊤Σx/2

(2π)ᵏ/² det(Σ)¹/²

多维CLT是经典CLT的一个类比。

定理 5.4（多维CLT）令 Xₙ＝(Xₙ₁，· · ·，Xₙₖ) 为均质为 μ ，二阶矩（second moment）有限的i.i.d随机向量. 令 Sₙ＝X₁＋· · · Xₙ . 那么

Sₙ – nμ D

──── → N(0，Σ)

√n

这里 Σ＝Cov(X₁)＝𝔼[X₁X₁⊤] – μμ⊤ .

证明 不失一般性地假设 μ＝0 ，并令 t ∈ ℝᵏ . 那么 Wₙ＝t⊤Xₙ 为均值为 0 ，方差为 σ²＝t⊤Σt 的独立随机变量. 根据经典CLT，我们有

D

Sₙᵂ/√n → σZ，这里 Sₙᵂ＝t⊤Sₙ . 令 Y ∼ N(0，Σ) ，那么 t⊤Y ∼ N(0，σ²) .

D

由于 t⊤Sₙ/√n → t⊤Y∀t ∈ ℝᵏ ，根据连续性定理的多维类比，

D

Sₙ/√n → Y .

多维CLT的一个应用是：若一个多项分布（multinomial distribution）向量Sₙ＝(S₁(n)，· · ·，Sₖ(n)) 为重复 n 次的多项实验观察到的结果，我们有

ₖ (Sⱼ(n) – npⱼ)² D

∑ ────── → Z²₁＋· · ·＋Z²ₖ₋₁

ⱼ₌₁ npⱼ

这里Z₁，· · ·，Zₖ₋₁ 是标准正态分布变量。这是卡方拟合检验（Chi-square goodness of fit test）的基础。

这样我们完成了对独立随机变量的中心极限定理的介绍。经典CLT的条件最严格，而从李雅普诺夫版本到林德伯格版本越来越弱。事实上，有弱非独立性（dependence）的随机变量也有属于它们的CLT，比如强混合过程（strong mixing process）和鞅（martingale）。中心极限定理的理论基础，确保了我们可以在实际应用中可以享受它带来的便利。

参考文献：

[1] Billingsley, P. (1986).Probability and Measure. Wiley.

[2] Ash, R. B. (2000).Probability and measure theory.

[3] Resnick, S. I. (1999). A probability Path.

数学联邦政治世界观提示您：看后求收藏（笔尖小说网http://www.bjxsw.cc），接着再看更方便。