数学联邦政治世界观
超小超大

【高斯核函数过程】核方法(二)

2. 高斯过程神经网络

高斯过程的神经网络与线性回归的关系并非贝叶斯神经网络与线性回归的关系那样,因为高斯过程是非参模型,所以我们并不在意输出相对参数是否是线性关系,但是同样地,由于神经网络中有较多非线性映射的激活函数,这与基函数是类似的,非常耐人寻味,关于神经网络与高斯过程的联系,就可以从这些激活函数上做文章。目前已有很多相关研究。虽然通常神经网络的非线性单元只选取一个激活函数,但由于我们并不确定哪个激活函数是最优的,这时候就会借助高斯过程,可以看做是对神经网络结构不确定性的一种度量。在贝叶斯神经网络输入维度M → ∞ 的情况下,神经⽹络产⽣函数的分布将会趋于⾼斯过程。使用广义谱核 (generalized spectral kernels),可以证明对若干个激活函数的加权就是一个高斯过程,即

f(x)=λᵀ · ф(x)=∑ λᵐфᵐ(x) (29)

对于一个神经网络的第l 个隐藏层的一个隐藏单元 i ,其中 ωˡᵢ 是第 l 层 i 的权重, hˡ⁻¹ 是前一层的输出向量集合,作为当前层的输入向量,假设每个节点有 m 个激活函数 ф(·) ,对应系数为 λ ,那么隐藏单元 i 的输出为

hᵢ⁽ˡ⁾=∑ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹) (30)

我们可以使用参数化的方法来解决这种模型,有两类参数,分别是激活函数的系数λ 和网络参数 ω 。假设神经网络训练集 D ,对于输入向量 x 和目标向量 y 而言,其边缘概率分布为

p(y|x,D)=∫ ∫p(y|x,ω,λ)p(ω|D)p(λ|D)dωdλ

(31)

对于单一网络单元i 的输出,公式 (30) 可以写作

hᵢ⁽ˡ⁾=∫ ∫ λᵢ⁽ˡ,ᵐ⁾фₘ(ωˡᵢhˡ⁻¹)p(ωˡᵢ|D)p(λᵢ⁽ˡ,ᵐ⁾|D)dωdλ (32)

其中p(ωˡᵢ|D),p(λᵢ⁽ˡ,ᵐ⁾|D) 分别是激活函数系数以及网络参数的后验概率,这样可以按照贝叶斯神经网络中的变分法进行求解。这种高斯过程在深度学习网络中的应用比较常见,比如在 Transformer 中,我们就可以利用这种做法选定若干个激活函数如 ReLU, GELU, sigmoid, tanh 等,然后获得一个最佳的激活函数加权组合以提高网络性能。

数学联邦政治世界观提示您:看后求收藏(笔尖小说网http://www.bjxsw.cc),接着再看更方便。

相关小说

粼深时见古 连载中
粼深时见古
珺炤
上辈子有着一个深爱自己的人鱼,却对渣男执迷不悟,被渣男害死,重活一世,她飞奔向他
13.0万字5个月前
雁归有时 连载中
雁归有时
生命高度
本书别名《没有明天》【虐文】【已完结】结合了某某些真实事件改编、以文字的方式呈现彭萧是在家暴家庭中长大,七岁那年,父亲残忍杀害母亲,22岁,......
9.3万字5个月前
镜中渊:忘语 连载中
镜中渊:忘语
晨亦love
在这无限流里存活下去
2.2万字5个月前
际缘 连载中
际缘
钰柳州
【双男主】+【回忆杀】+【小甜饼】+【幻想】霁清轩和顾闫旭认识,相识许多年,却在结婚几年后出轨。顾闫旭在医院好似出现了幻觉,看到了18岁的霁......
2.0万字4个月前
萌萌传 连载中
萌萌传
像老鹰一样123
《这样唱好美》中的女歌手,苏诗丁,唱得歌,比如《杀破狼》,唱得声音很玄空,清脆悦耳,小艳听了也说好听,撒撒听了说摇头,那我问他:“你喜欢什么......
61.9万字2个月前
荆棘坡 连载中
荆棘坡
阿克曼龙头求打压
兄妹,雷者自避(已签约)
2.6万字4周前