统计哲学（五）

通过概率分配支持代理人的认知状态表示的论据也为贝叶斯定理提供了支持对信仰程度的限制。 条件概率P（H |）可以解释为在获得样品S所获得的条件下附着在假设H上的信仰程度，作为由概率分配捕获的认知状态的整体部分。 相比之下，贝叶斯的规则对概率分配提出了概率分配的约束，该概率分配代表了在不同点处的代理人的认知状态。 它被写为

ps（h）= p（h|s），

并且它决定了新的概率分配，表达在获得样本后代理的认知状态，系统地与旧分配有关，代表样本进入之前的认知状态。在统计的哲学中，许多贝叶斯人采用贝叶斯的规则隐含地，但在如下我将仅假设贝叶斯统计推论依赖于贝叶斯的定理。

无论是焦点在于贝叶斯的规则还是贝叶斯定理，上述争论中的共同主题是他们从逻辑角度接近贝叶斯统计推断，并专注于其内部一致性或一致性（CF.How. 2003）。 虽然其在统计数据中的使用是无可否认的归纳，但贝叶斯推断从而获得演绎或至少非放大性格：在某种程度上已经存在推论中的一切。 在贝叶斯统计推断中，这些前提是由假假设，P（Hθ）的P（HΘ）给出，以及分别为每个假设Hθ确定的似函数函数p（s`hθ）。 这些房屋在推理开始时将单个概率分配固定在空间M×s上。 反过来，结论又是这种概率分配的直接后果。 它们可以通过应用概率理论的定理来源，特别是贝叶斯定理。 因此，贝叶斯统计推断成为概率逻辑的一个例子（CF.Haiperin 1986，Halpern 2003，Haenni等，2011）。

总结，有几个论点表明贝叶斯定理或贝叶斯规则的统计推断是客观的。 这些论点邀请我们将贝叶斯统计数据视为概率逻辑的实例。 对贝叶斯统计推断的逻辑性的这种吸引力可以为其主观性的主观特征提供部分补救措施。 此外，统计推断的逻辑方法避免了形式主义对代理人的不切实际的要求，并且它推定了代理人拥有某些知识。 很像在演绎逻辑中，我们不需要假设推断是心理上的现实，也不认为代理商真的相信论据的场所。 相反，参数呈现具有规范理想的代理，并采取条件形式的一致性约束：如果您接受该处所，那么这些是结论。

4.3.4游览：归纳逻辑和统计数据

概率逻辑的一个重要实例是在电感逻辑中呈现，如Carnap，HITIKKA和其他（Carnap 1950和1952，HINTIKKA和SUPPEN 1966，Carnap和Jeffrey 1970，HITIKKA和NIINILUOTO 1980，Kuipers 1978年，1994年，尼克斯和巴黎2006年，巴黎和Waterhouse 2009）。 从历史上看，在上面引用的概率逻辑之前开发的卡纳帕基辅助逻辑，或者更多地与统计哲学中的辩论中的辩论或多或少。 但是，卡内帕的逻辑系统可以很容易地放置在贝叶斯推理的逻辑方法的背景下，并做到这一点非常有洞察力。

为简单起见，我们选择类似于表示定理的博览会中使用的设置，即二进制数据生成过程，即0和1的字符串。 预测规则确定事件的概率，表示Q

1

t + 1

，该字符串中的下一位是1，基于带有长度T的给定的位数，由St.Carnap和追随者表示特定的可交换预测规则，主要是直线规则的变体（Reichenbach 1938），

p（q

1

t + 1

|sn / t）=

n + 1

t + 2

，

其中sn / t表示一串长度t，其中n个条目是1的。 Carnap通过对样本的概率分配的约束来推导出这样的规则。 其中一些限制沸腾到概率的原理。 其他限制性，它们之间的交换性是独立的动机，对所谓的逻辑解释的概率的吸引力。 在这种逻辑解释下，概率分配必须在样本空间的转换下尊重某些侵略性，类似于以特定方式限制语言的逻辑原则。

Carnapian电感逻辑是概率逻辑的实例，因为它的顺序预测全部基于开头的单个概率分配，因为它依赖于贝叶斯定理来调整对样本数据的预测（CF.ROMEIJN 2011）。 与贝叶斯统计推断的一个重要区别是，对于卡内帕，在一开始的概率分配仅在样本范围内，而不是通过假设。 然而，通过De Finetti的代表性的表示，Carnap的可交换规则可以等同于特定贝叶斯统计推论。 进一步的不同之处在于卡内基亚的电感逻辑为特定可交换规则提供了优选地位。 鉴于De Finetti的代表性定理，这将归结为特定一组优选的前瞻选择。 如下面进一步发展，Carnapian归纳逻辑因此与目标贝叶斯统计数据有关。 它是一个MOIC点是否可以被视为逻辑上的进一步约束，因为Carnap和追随者具有它，或者是否最好为概率形式主义保留在孤立的概率形式主义中，因为de Finetti和追随者争辩。

4.3.5目标前锋

另一组对贝叶斯统计推理的主观性的反应直接针对先前分配：我们可能提供进一步的合理性原则，可以客观地选择前提者的选择。 文献提出了填写模型之前的几个客观标准。 这些中的每一个都奠定了关于模型参数值的完全无知的正确表达，或者关于参数的最小信息。 这里讨论了三个这样的标准。

在Bertrand的悖论的背景下，我们已经讨论了漠不关心的原则，根据哪种概率应该均匀分布在可用的可能性。 这种想法的进一步发展是通过分布应该具有最大熵的要求来提出。 Notably, the use of entropy maximization for determining degrees of beliefs finds much broader application than only in statistics: similar ideas are taken up in diverse fields like epistemology (e.g., Shore and Johnson 1980, Williams 1980, Uffink 1996，也是威廉姆森2010），归纳逻辑（Paris和Vencovska 1989），统计力学（Jaynes 2003）和决策理论（Seidenfeld 1986，Grunwald和Halpern 2004）。 在客观的贝叶斯统计中，该想法适用于模型的先前分配（CF.Berger 2006）。 对于有限数量的假设，分布P（Hθ）的熵定义为

e [p] =

σ

θ∈θ

p（hθ）logp（hθ）。

这一要求明确地导致易于设备假设。 但是，对于连续模型，最大熵分布在模型中的参数上大致依赖于度量。 因此，主观性的负担将移动到参数化，但当然可能是我们有强烈的理由偏好于其他参数化（CF.Jaynes 1973）。

其他方法是目标决定的方法。 鉴于上述问题，通过Jeffreys（1961）提出了一种用于在连续模型上选择的特别吸引力的方法。 所谓的Jeffreys Priors的一般思想是分配给参数空间中的小补丁的先前概率与可能被调用的，该补丁中的分布的密度。 直观地，如果许多分布，即它们之间不同的分布，则在参数空间中的一个小补丁上填充在一起，如果在该分布中几乎没有变化（CF. Balasubramanian 2005）。 在技术上，这种密度由与Fisher信息成比例的先前分配来表示。 这些前瞻的一个关键优势是它们在参数空间的Reparametersization下是不变的：新的参数化自然地导致调整的分布密度。

定义前沿的最终方法是根据参考前瞻的名称（Berger等人2009）。 该提案从观察开始，我们应该尽量减少我们统计分析结果的主观性，因此我们应该最大限度地减少现有概率对后部的影响。 参考前沿的思想正是它将允许样本数据在后部分布中最大地说。 但从首先我们不知道我们将获得什么样的样品，所选的是选择以最大化数据的预期影响。 必须自行对样品空间的一些分布，但再次，必须采取期望，这可能是后一种分布的强烈原因。

4.3.6绕过前锋

对前瞻主观性的不同反应是扩大贝叶斯形式主义，以便在某种程度上开放之前选择。 之前的主观选择是在这种情况下绕过。 有两个这样的答案将在一些细节中考虑。

回顾统计假设的先前概率分布表达了我们对哪些假设的不确定意见。 等级贝叶斯模型背后的核心观点（Gelman等人2013）是，在统计假设的相同模式中，可以在前瞻本身水平上重复。 更确切地说，我们可能不确定在假设上的先前概率分布是正确的。 如果我们通过一组参数表征可能的前瞻，我们可以在表征先前表征的参数上的概率分布中表达了关于先前选择的这种不确定性。 换句话说，我们在层次结构中移动我们的不确定性一个级别：我们考虑在统计假设上的多个前瞻，并比较这些前瞻对样本数据的性能，就像前提者本身自己的假设一样。

等级贝叶斯建模的想法（Gelman等人2013）自然地与Carnapian预测规则（例如，Skyrms 1993和1996，Festa 1996）的贝叶斯的比较有关，也涉及最佳的估计归纳方法（Kuipers 1986，Festa 1993）。 等级贝叶斯建模也可以与另一个工具相关，用于选择假设的特定事先分配，即经验贝叶斯的方法，这估计了导致模型的最大边缘似然性的前提。 在科学哲学中，等级贝叶斯建模已经为Henderson等人（2010）而进行了第一个外观。

还有一个响应，避免了完全选择的选择。 此响应从与分层模型相同的想法开始：而不是在模型中的假设上考虑单个，而不是考虑一个，我们考虑其中的参数化集。 但是，而不是定义该组的分布，间隔值或不精确的概率的支持者声称，我们的认识状态是关于前方的关于这组分布更好地表达，因此必须将尖锐的概率分配替换为下限和上限作业。 现在，不确定的意见是最能由一组概率分配捕获的想法，或者短暂的历史记录，并被广泛的文学支持（例如，De Finetti 1974，Levi 1980，Dempster 1967和1968年，Shafer 1976，Walley 1991）。 鉴于统计哲学的主要辩论，使用间隔值的前瞻性确实形成了贝叶斯统计数据的有吸引力的延伸：它允许我们避免先前选择特定的，从而向古典观点提出了讨论者统计。

这些理论发展可能看起来很有吸引力，但事实是他们大多享有统计哲学家之间的崇拜状态，并且他们没有在街上移动统计学家。 另一方面，由于良好的软件和数值近似方法的可用性，标准的贝叶斯统计数据已经过于过去十年左右的普及。 贝叶斯统计数据的大部分实际使用对统计结果的潜在主观方面或多或少不敏感，采用均匀的前沿作为分析的中性起点，依赖于上述会聚结果，以清洗其余的主体性（CF.Gelman和Shalizi 2013）。 然而，这种科学家对建模的实际态度不应被误认为是对统计哲学中提出的问题的原则答案（见Morey等，2013）。

5.统计模型

在上面，我们已经看到了古典和贝叶斯统计数据的不同。 但两种统计方法也有很多共同点。 最重要的是，所有统计程序都依赖于统计模型的假设，这里指的是任何受限制的统计假设。 此外，它们都旨在在这些假设上提供判决。 例如，经典的似然比测试考虑了两个假设，H和H'，然后提供抑制和接受的判决，而贝叶斯比较可在这两个假设上传递后验概率。 虽然在贝叶斯统计数据中，该模型的假设非常强烈，古典统计数据不会赋予特殊认知状态的模型：它们只是科学家目前娱乐的假设。 但在整个董事会上，采用模型绝对是任何统计程序的核心。

自然问题是是否可以说统计模型的质量，以及是否可以给出任何判决统计程序的任何判决。 当然，某些型号会导致更好的预测，或者比其他人更好地指导。 模型的评估涉及科学哲学中的深刻问题，因为统计模型往往决定了如何调查的数据生成系统是如何概念化和接近的（KIESEPPA 2001）。 因此，模型选择类似于理论的选择，概念方案，甚至是整个范例，从而似乎超越了学习理论合理性的正式框架（CF.Carnap 1950，Jeffrey 1980）。 尽管有一些关于模型选择的考虑似乎似乎统计，但在它们落下的统计处理范围之外，统计提供了几种方法，用于接近统计模型的选择。

5.1模型比较

事实上，评估统计模型的方法（Claeskens和Hjort 2008，Wagenmakers和Waldorp 2006）。 首先，方法场合的比较统计模型，但通常它们用于选择其他模型。 在下文中，我们只审查导致哲学辩论的突出技巧：Akaike的信息标准，贝叶斯信息标准，以及与贝叶斯相关的边缘似然和后模范概率的计算模型选择。 我们撇开使用交叉验证的方法，因为它们已经存在，而不是在哲学文学中关注。

5.1.1 Akaike的信息标准

Akaike的信息标准，适度称为信息标准或AIC，是基于估计的经典统计程序（参见Burnham和Anderson 2002，Kieseppa 1997）。 它从想法开始，模型M可以通过估计来判断

θ

它提供了它，更具体地，通过对实际生成数据的分布，即真正分发的分布。 这种接近度通常等同于预期的预测准确性的估计，因为如果估计和真实分布彼此更接近，它们的预测也会更好地对准。 在AIC的推导中，两个分布的所谓的相对熵或Kullback-Leibler发散用作其接近度的量度，因此作为估计预期预测精度的衡量标准。

当然，真正的分布是评估模型的统计学家未知的。 如果是，那么整个统计分析将是无用的。 然而，事实证明，我们可以在特定模型中估计的真实分布与分布之间的分歧估计不偏见估计

aic [是] = - 2logp（s|h

θ

（s））+的2d，

其中s是样本数据，

θ

（S）是模型M的最大似然估计（MLE），D = DIM（θ）是模型参数空间的尺寸的数量。 该模型的MLE从此表达了模型质量的特征，即在概念上不同于估计功能的角色。

从上面的表达可以看出，优选具有较小AIC的模型：我们希望适合在复杂性成本几乎没有成本。 请注意，模型中的维度或独立参数或独立参数增加了AIC，从而降低了模型的可乐量：如果两个型号达到样本相同的最大可能性，则将优选具有较少参数的模型。 出于这个原因，AIC的统计模型可以被视为偏好更复杂的模型的独立动机（清醒和福尔斯特1994）。 但此结果也邀请了一些关键言论。 对于一个，我们可能会强加其他标准，而不是仅仅对对真理估计的无偏见，这将导致近似的不同表达。 此外，它并不总是明确的模型在审查中的尺寸确实是什么。 对于曲线拟合这似乎很简单，但对于模型的空间的更复杂的模型或不同的概念化，事情看起来并不那么容易（参见Myung等，Kieseppa 2001）。

曲线配件呈现了模型选择的主要示例。 给定一个由平面中的一组点组成的样本s（x，y），我们被要求选择最适合这些数据的曲线。 我们假设所考虑的模型是y = f（x）+ε的模型，其中ε是具有平均0和固定标准偏差的正态分布，其中f是多项式函数。 不同的模型的特征在于具有不同数量的不同程度的多项式。 估计修复了这些多项式的参数。 例如，对于0度多项式f（x）= c0，我们估计常数

^

c0

为此数据的概率是最大的，并且对于1度多项式f（x）= c0 + c1x，我们估计斜率

^

c1

和偏移

^

c0

。 现在注意到总共n个点，我们总能找到与所有点相交的程度n，从而导致相对高的最大可能性p（s | {

^

c0

，...

^

CN

}）。 然而，施加AIC，我们通常会发现具有程度K＜N的多项式的一些模型是优选的。 虽然p（s | {

^

c0

，...

^

ck

}）将稍低，这通过较少数量的参数来补偿AIC。

5.1.2贝叶斯的模型评估

各种其他突出的模型选择工具基于来自贝叶斯统计的方法。 它们都开始从想法开始，即在样本数据的模型的性能中表达了模型的质量：在整个模型上，使得最可能的采样数据是最可能的。 因此，与前面提到的分层贝叶斯建模有密切的连接（Gelman 2013）。 因此，贝叶斯模型选择工具中的中央概念是模型的边缘可能性，即，使用先前分配作为称重功能的模型中可能性的加权平均值：

p（s|mi）=∫θ∈θip（hθ）p（s|hθ）dθ。

这里θi是属于mi的参数空间。 边际似然可以与模型P（MI）的先验概率相结合，以使用贝叶斯定理来导出所谓的后模型概率。 评估模型的一种方式，称为贝叶斯模型选择，是通过比较模型在他们的边缘可能性上，或者在他们的后后部（CF.Kass和Raftery 1995）上进行比较。

通常，无法在分析上计算边缘可能性。 通常可以获得数值近似，但是为了实际目的，它证明了非常有用，并且相当足够地，采用边际可能性的近似。 这种近似已被称为贝叶斯信息标准，或BIC for Short（Schwarz 1978，Raftery 1995）。