数学联邦政治世界观
超小超大

Learning theory by Zhangtong

3.1 PAC learning

• 只针对concept class:布尔值函数

• 针对concept class里面的任意函数和任意数据集,可以在多项式复杂度下把它学出来。

3.2 Analysis of PAC

• Generalization error:此时还是在distribution期望下的sign function。它可以被所有函数empirical mean 和true mean的最大值给bound住。

• Union bound:函数数量有限时,可以一起bound:

CHAPTER 3.UNIFOR CONVERGENCE 32

Proposition 3.5(Union Bound).Consider m eυents E₁,. . .Eₘ.The fοllοωing probαbility inequαlity holds:

Pr(E₁∪· · ·∪ Eₘ) ≤ ∑Pr(Eⱼ).

ⱼ₌₁

• 对每个函数empirical mean error和true mean error 之间的差,用第二章的chernoff bound就可以了。

• 最后,如果还是想知道true mean error,只要保证empirical mean error足够下就行。

Theorem 3.6. Consider α concept clαss C ωith N elements. With probαbility αt leαst 1 – δ,the ERM PAC leαrner (3.1) ωith

2 ln(N/δ)

ϵ'=γ² ─────

n

2

for some γ>0 sαtisfies

2 ln(N/δ)

err ᴅ(f) ≤ (1+γ)² ─────

n

Realizable PAC,finite case

3.3 Empirical Process

三大问题:

1. general non-binary-valued function classes which may contain an infinite number of functions。

2. non-realizable case wheref∗(x) /∈ C

3.the observation Y contains noise

• 首先就是扩展不再是binary-valued。引入loss-function:ф(ω,z) .ERM methods 能保证的是

ф(ω,Sₙ) ≤ inf ф(ω,Sₙ)+ϵ'.

ω∈Ω

Training error

下面这个引理保证generalization error:

Lemma 3.11. Assume thαt for αny δ ∈ (0,1), the fοllοωing nifοrm conυergence result holds ωith some α>0 (ωe αllοw α to depend on Sₙ). With prοbαbility αt leαst 1 – δ₁,

∀ω ∈ Ω:αф(ω,D) ≤ ф(ω,Sₙ)+ϵₙ(δ₁,ω).

Mοreουer,∀ω ∈ Ω the fοllοωing inequαlity holds ωith some α'>0(ωe αllοω α' to depend on Sₙ). With prοbαbility αt leαst 1 – δ₂,

ф(ω,Sₙ)<α'ф(ω,D)+ϵ'ₙ(δ₂,ω).

Then the fοllοωing stαtement hοlds. With prοbαbility αt leαst 1 – δ₁ – δ₂,the αpproximαte ERM method (3.7) sαtisfies the orαcle inequαlity:

αф(ω,D) ≤ inf [α'ф(ω,D)+ϵ'ₙ(δ₂,ω)]+ϵ'+ϵₙ(δ₁,ω). ω∈Ω

可以证明PAC learning所给出的(ω,x) 能满足引理3.11的条件,即便最优解不再concept class中。

注意这里第一条是uniform convergence,而第二条是individual的,不需要乘以函数个数。

以上解决了non-binary-valued function 和∗(x) /∈ C的问题。

3.4 Covering number

提出了Lower bracket cover来解决有无穷多个函数的问题。

Corollary 3.15. Assume thαt ф(ω,z) [0,1] for αll ω ∈ Ω αnd z ∈ Z. Let g=Let ↅ={ф(ω,z):ω ∈ Ω). With probαbility αt leαst 1 – δ,the αpprοximαte ERM methοd(3.7) sαtisfies the (αdditiυe) οrαcle inequαlity: ф(ω,D) ≤ inf ф(ω,D)

√2ln(2Nʟʙ(ϵ,ↅ,L₁(D))/δ)

+ϵ' +inf [ϵ+─────────

ϵ>0 n

Mοreουer,ωith prοbαbility αt leαst 1 – δ,ωe hαυe the fοllοωing (multiplicαtiυe)

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

团宠礼神第一季 连载中
团宠礼神第一季
扶光2010
团宠小七的日常和小葫芦们新的冒险与敌人,及葫芦们腥风血雨的虐恋情仇(主要是我的梦)
3.4万字4个月前
慕容归零 连载中
慕容归零
丽志_25672919270903971
慕容前世嫁给了蔡飞,蔡飞家暴直到而死都不明白是,原来蔡飞和慕楠早就勾搭在一起了。原来墨卿才是真正的爱我的,把她抱在怀里哭。蔡飞和慕楠你把墨卿......
5.1万字3个月前
双暗星沉 连载中
双暗星沉
黔遇
万物皆缘,只有惜缘才能续缘……想什么呢?怎么可能?“毒舌是本性,温柔是本性除外的附加品~”“哥…这件事过后,带我去看看海吧…”“你看这片花海......
1.5万字2个月前
重生之我在游戏副本里当咸鱼 连载中
重生之我在游戏副本里当咸鱼
玫瑰七月
无限流+偶尔的规则怪谈+副本(主要看作者想到了什么)大致就是这样了,作者懒得写简介
0.5万字2个月前
梦境:一千零一夜 连载中
梦境:一千零一夜
愁梦千年
做梦是一种旅行,一种灵魂的穿越,一次次浪漫的邂逅……没有尽头,没有任何阻碍,没有见不到的人。欢迎来到我的梦境
0.7万字2个月前
复活后给自己开个挂 连载中
复活后给自己开个挂
兔懒
一朝复苏,我看见我的副人格用着我的身体,为我报仇爱上他是宿命也是注定我深知只有他不会背叛我只有他才值得我付出所有我们绝对契合毫无秘密绝不背叛......
0.4万字1周前