数学联邦政治世界观
超小超大

【高斯核函数过程】核方法(二)

2. 高斯过程神经网络

高斯过程的神经网络与线性回归的关系并非贝叶斯神经网络与线性回归的关系那样,因为高斯过程是非参模型,所以我们并不在意输出相对参数是否是线性关系,但是同样地,由于神经网络中有较多非线性映射的激活函数,这与基函数是类似的,非常耐人寻味,关于神经网络与高斯过程的联系,就可以从这些激活函数上做文章。目前已有很多相关研究。虽然通常神经网络的非线性单元只选取一个激活函数,但由于我们并不确定哪个激活函数是最优的,这时候就会借助高斯过程,可以看做是对神经网络结构不确定性的一种度量。在贝叶斯神经网络输入维度M → ∞ 的情况下,神经⽹络产⽣函数的分布将会趋于⾼斯过程。使用广义谱核 (generalized spectral kernels),可以证明对若干个激活函数的加权就是一个高斯过程,即

f(x)=λᵀ · ф(x)=∑ λᵐфᵐ(x) (29)

对于一个神经网络的第l 个隐藏层的一个隐藏单元 i ,其中 ωˡᵢ 是第 l 层 i 的权重, hˡ⁻¹ 是前一层的输出向量集合,作为当前层的输入向量,假设每个节点有 m 个激活函数 ф(·) ,对应系数为 λ ,那么隐藏单元 i 的输出为

hᵢ⁽ˡ⁾=∑ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹) (30)

我们可以使用参数化的方法来解决这种模型,有两类参数,分别是激活函数的系数λ 和网络参数 ω 。假设神经网络训练集 D ,对于输入向量 x 和目标向量 y 而言,其边缘概率分布为

p(y|x,D)=∫ ∫p(y|x,ω,λ)p(ω|D)p(λ|D)dωdλ

(31)

对于单一网络单元i 的输出,公式 (30) 可以写作

hᵢ⁽ˡ⁾=∫ ∫ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹)p(ωˡᵢ|D)p(λᵢ⁽ˡ,ᵐ⁾|D)dωdλ (32)

其中p(ωˡᵢ|D),p(λᵢ⁽ˡ,ᵐ⁾|D) 分别是激活函数系数以及网络参数的后验概率,这样可以按照贝叶斯神经网络中的变分法进行求解。这种高斯过程在深度学习网络中的应用比较常见,比如在 Transformer 中,我们就可以利用这种做法选定若干个激活函数如 ReLU, GELU, sigmoid, tanh 等,然后获得一个最佳的激活函数加权组合以提高网络性能。

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

蘤 连载中
繁梦hfrm
本片之前的名字《花》但由于一直打不出来,所以已《蘤》命名本篇文章是以一个穿梭在多重空间里的组织这个组织坐落在一道空间裂缝里名叫溟翼的神秘组织......
1.5万字5个月前
最后让我在看ta 连载中
最后让我在看ta
南屿崽
我是林川,永远爱着别人31的林川的想问29岁的林川,值得吗?我就是我,谁都替代不了四季的轮回,我们还会在见面的最后在看ta,看的是她还是他记......
10.8万字4个月前
半心遗音 连载中
半心遗音
岑笺
主要讲述的是一个法器被众人抢夺的多元素小说,也有宫斗,剧情狗血,慎入
1.2万字3个月前
十八天的时间 连载中
十八天的时间
夕落水
因为一个游戏,魏羽回到了循环的的世界,那里美丽危险,那里是恶人的地狱,也有好人的绝望,有的人出卖自己的一切,只为让别人死,有的人为了救人舍弃......
0.7万字1个月前
时光代理人:我是反派他妹 连载中
时光代理人:我是反派他妹
辞人顾江
随着命运的航线行驶,缓缓前行,留下的印记深浅不一,这就是我们的故事。未来有无数种可能,每一次的选择都会改变未来的走向,在这期间,我并不是唯一......
2.5万字6天前
怪异的小妹 连载中
怪异的小妹
小鹿童
林家有三子,两男一女。大哥名林萧,二哥为林子洲,三妹唤作林墨。那林墨满月之时,宴席上邀请了各大世家共同庆祝,却突发异状,她小脸泛红,哭声不止......
2.3万字3天前