数学联邦政治世界观
超小超大

【高斯核函数过程】核方法(二)

2. 高斯过程神经网络

高斯过程的神经网络与线性回归的关系并非贝叶斯神经网络与线性回归的关系那样,因为高斯过程是非参模型,所以我们并不在意输出相对参数是否是线性关系,但是同样地,由于神经网络中有较多非线性映射的激活函数,这与基函数是类似的,非常耐人寻味,关于神经网络与高斯过程的联系,就可以从这些激活函数上做文章。目前已有很多相关研究。虽然通常神经网络的非线性单元只选取一个激活函数,但由于我们并不确定哪个激活函数是最优的,这时候就会借助高斯过程,可以看做是对神经网络结构不确定性的一种度量。在贝叶斯神经网络输入维度M → ∞ 的情况下,神经⽹络产⽣函数的分布将会趋于⾼斯过程。使用广义谱核 (generalized spectral kernels),可以证明对若干个激活函数的加权就是一个高斯过程,即

f(x)=λᵀ · ф(x)=∑ λᵐфᵐ(x) (29)

对于一个神经网络的第l 个隐藏层的一个隐藏单元 i ,其中 ωˡᵢ 是第 l 层 i 的权重, hˡ⁻¹ 是前一层的输出向量集合,作为当前层的输入向量,假设每个节点有 m 个激活函数 ф(·) ,对应系数为 λ ,那么隐藏单元 i 的输出为

hᵢ⁽ˡ⁾=∑ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹) (30)

我们可以使用参数化的方法来解决这种模型,有两类参数,分别是激活函数的系数λ 和网络参数 ω 。假设神经网络训练集 D ,对于输入向量 x 和目标向量 y 而言,其边缘概率分布为

p(y|x,D)=∫ ∫p(y|x,ω,λ)p(ω|D)p(λ|D)dωdλ

(31)

对于单一网络单元i 的输出,公式 (30) 可以写作

hᵢ⁽ˡ⁾=∫ ∫ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹)p(ωˡᵢ|D)p(λᵢ⁽ˡ,ᵐ⁾|D)dωdλ (32)

其中p(ωˡᵢ|D),p(λᵢ⁽ˡ,ᵐ⁾|D) 分别是激活函数系数以及网络参数的后验概率,这样可以按照贝叶斯神经网络中的变分法进行求解。这种高斯过程在深度学习网络中的应用比较常见,比如在 Transformer 中,我们就可以利用这种做法选定若干个激活函数如 ReLU, GELU, sigmoid, tanh 等,然后获得一个最佳的激活函数加权组合以提高网络性能。

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

同门七仙子 连载中
同门七仙子
仙姬吖
仙界中,师父最疼爱的,师哥师姐最宠爱的,古灵精怪中透露出可爱调皮的小师妹洛瑶,在仙界中十分受宠,却遭遇历劫,法力尽失,但在凡间识得心上人,却......
0.6万字3个月前
夏芊月与魔法传说 连载中
夏芊月与魔法传说
猫忆蝶
讲的是一位少女,通过自己的努力,慢慢变强的故事
0.7万字3个月前
致命的爱啊 连载中
致命的爱啊
whatisyourdream
爱情真的好复杂,不管是兄弟之间的爱情,还是恋人之间的爱情,都是爱情,但他们始终是有区别的,我不可能和弟弟在一起,我爱的人是阿铠,而弟弟应该去......
3.1万字1个月前
春风酌酒 连载中
春风酌酒
不想更新的一天
我以春风酌酒,愿故友永宁。(禁止任何形式的抄袭,以及投喂AI等一系列的侵权操作。)
6.9万字1个月前
天皇下凡历劫记 连载中
天皇下凡历劫记
月下棠花
[天地仙魔文]魔幻多彩,令人迷叹。丨慕君之情,如晚春风扬,棠花依旧丨丨如沐晚风,棠花初开丨慕晚棠,天仙之皇,下凡历劫恢复记忆,只因无穷无尽的......
2.3万字1个月前
花痴女配就不能是万人迷了吗 连载中
花痴女配就不能是万人迷了吗
巫筱
【渣女+雄竟修罗场+舔狗文学+多男主买股文】温晴绑定了一个名为舔狗系统的不明生物体。在系统的解释下才明白自己生活在一本名为《师尊别走》的话本......
2.9万字4周前