数学联邦政治世界观
超小超大

【高斯核函数过程】核方法(二)

2. 高斯过程神经网络

高斯过程的神经网络与线性回归的关系并非贝叶斯神经网络与线性回归的关系那样,因为高斯过程是非参模型,所以我们并不在意输出相对参数是否是线性关系,但是同样地,由于神经网络中有较多非线性映射的激活函数,这与基函数是类似的,非常耐人寻味,关于神经网络与高斯过程的联系,就可以从这些激活函数上做文章。目前已有很多相关研究。虽然通常神经网络的非线性单元只选取一个激活函数,但由于我们并不确定哪个激活函数是最优的,这时候就会借助高斯过程,可以看做是对神经网络结构不确定性的一种度量。在贝叶斯神经网络输入维度M → ∞ 的情况下,神经⽹络产⽣函数的分布将会趋于⾼斯过程。使用广义谱核 (generalized spectral kernels),可以证明对若干个激活函数的加权就是一个高斯过程,即

f(x)=λᵀ · ф(x)=∑ λᵐфᵐ(x) (29)

对于一个神经网络的第l 个隐藏层的一个隐藏单元 i ,其中 ωˡᵢ 是第 l 层 i 的权重, hˡ⁻¹ 是前一层的输出向量集合,作为当前层的输入向量,假设每个节点有 m 个激活函数 ф(·) ,对应系数为 λ ,那么隐藏单元 i 的输出为

hᵢ⁽ˡ⁾=∑ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹) (30)

我们可以使用参数化的方法来解决这种模型,有两类参数,分别是激活函数的系数λ 和网络参数 ω 。假设神经网络训练集 D ,对于输入向量 x 和目标向量 y 而言,其边缘概率分布为

p(y|x,D)=∫ ∫p(y|x,ω,λ)p(ω|D)p(λ|D)dωdλ

(31)

对于单一网络单元i 的输出,公式 (30) 可以写作

hᵢ⁽ˡ⁾=∫ ∫ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹)p(ωˡᵢ|D)p(λᵢ⁽ˡ,ᵐ⁾|D)dωdλ (32)

其中p(ωˡᵢ|D),p(λᵢ⁽ˡ,ᵐ⁾|D) 分别是激活函数系数以及网络参数的后验概率,这样可以按照贝叶斯神经网络中的变分法进行求解。这种高斯过程在深度学习网络中的应用比较常见,比如在 Transformer 中,我们就可以利用这种做法选定若干个激活函数如 ReLU, GELU, sigmoid, tanh 等,然后获得一个最佳的激活函数加权组合以提高网络性能。

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

梦断南宫 连载中
梦断南宫
梦境之旅_
生命只有一次,又或许平行世界有无数次。一诺的妈妈会在另个世界依旧陪伴一诺吗?
13.4万字5个月前
神明予我岁岁平安 连载中
神明予我岁岁平安
长遥
“等你回到天上,可以让我做地上的文曲星吗?”“我只愿你岁岁平安。”
0.2万字5个月前
丧尸界里当军师 连载中
丧尸界里当军师
万紫万红
1V1四对cp凌芊芊从小与他人不同一次她跟随老奶奶进入另一个异空间。当起了界丧尸家族的国师。开启国师之路,慢慢的自己的身世之谜浮出水面知晓自......
23.6万字5个月前
海棠妖修录 连载中
海棠妖修录
馒头跳绳
雨落花间,晶莹落,星光点点,应不凡。一日化人,入局中,身为棋子不解因。人间卧虎又藏龙,人间怎还有那妖魔鬼怪,作乱一方,成了那人间炼狱。(希望......
0.8万字3个月前
末世之人类命运共同体 连载中
末世之人类命运共同体
诺尔塔斯
主角在末世重新成长建立三观结交朋友共同创建人类命运共同体的过程。——————背景介绍:一个贪玩的高维生物不小心将一个使宇宙的再生平行世界的能......
1.5万字2个月前
诗:剑:风 连载中
诗:剑:风
Arcanine
失去心脏的少年重新踏上征程,只为寻求他胸腔那一份跳动的炽热感。这人间的风景,果真值得少年在登仙之即流连忘返吗?
1.4万字4周前