哲学（四）

奥卡姆定理是否成立取决于奥卡姆方法的描述，即取决于一组假设的简单性的确切定义。有大量数学结果使用语言不变的简单性度量来建立奥卡姆定理，我们接下来将对此进行解释。

5.1 定义简单性

说一个假设

H

H 来自一组可能的假设背景

H

如果存在证据序列使得 H 是可验证的

H

H 是唯一的假设

H

H 表示与证据序列一致。例如，在上面的黑乌鸦问题中，假设“存在一只非黑乌鸦”是可验证的，因为它是由对非黑乌鸦的观察所蕴含的。 “所有乌鸦都是黑色的”假设是不可验证的，因为它不包含任何有限的证据序列。以下过程为每个假设分配一个简单性等级

H

H 来自一组假设

H

H [Apsitis 1994，Luo 和 Schulte 2006]。

将所有可验证的假设简单性等级指定为 0。

从假设空间中去除可验证的假设，形成新的假设空间

H

1

。

H1。

将简单性等级 1 分配给可验证的假设

H

1

。

H1。

从假设空间中删除新的可验证的简单性等级为1的假设，形成新的假设空间

H

2

。

H2。

继续删除假设，直到在当前假设空间下没有新的假设可验证。

每个假设的简单性等级

H

H 是通过此过程将其去除的第一阶段。换句话说，正是第一个受限假设空间的索引使得

H

H 可验证。

具有较高简单性等级的假设被认为比具有较低等级的假设更简单。简单性等级是根据逻辑蕴涵关系定义的，因此是语言不变的。定义的简单性等级可以被视为以下意义上的可证伪性程度。考虑一个简单性等级 1 的假设。这样的假设是可证伪的，因为验证等级 0 的替代假设的证据序列会证伪它。此外，简单性等级 1 的假设始终是可证伪的，因为无论观察到什么与其一致的证据序列，它仍然是可证伪的。简单性等级的假设

n

+

1

n+1 可以通过等级假设持续被证伪

n

。

名词让我们在运行示例中说明该定义。

5.2 示例

在归纳之谜中，可验证的假设是具有临界时间 t 的 grue 假设：任何 t 个绿色祖母绿后面跟着蓝色祖母绿的序列都需要相应的 grue(t) 泛化。因此，格鲁假设的简单性等级为 0。格鲁假设被消除后，唯一剩下的假设是“所有祖母绿都是绿色的”。鉴于这是有限假设空间中的唯一可能性，任何绿色祖母绿序列都蕴涵“所有祖母绿都是绿色的”。因此，“所有祖母绿都是绿色的”的简单性等级为 1。删除所有绿色假设后，不再有任何假设。

在乌鸦颜色问题中，可验证的假设是“将观察到非黑色乌鸦”，其简单性等级为 0。在删除将观察到非黑色乌鸦的假设后，唯一剩下的可能性是仅观察到黑色乌鸦，因此，该假设在有限的假设空间中是可验证的，并且简单性等级为 1。

因果图的简单性等级由图中未包含的直接链接的数量给出。因此，因果模型提出的直接联系越少，其简单性等级越高。

一组守恒定律的简单性等级由独立定律的数量给出。 （线性代数意义上的独立性。）因此，理论引入的非冗余定律越多，其简单性等级就越高。每个定律都排除了一些反应，因此在给定观察到的反应的情况下最大化独立定律的数量相当于排除尽可能多的未观察到的反应。

5.3 稳定信念和简单性：奥卡姆定理

以下定理显示了归纳问题的思维变化复杂性与所定义的简单性排名之间的联系。

定理。让

H

H是一组经验假设。然后有一种方法可以可靠地识别出正确的假设

H

当且仅当上面定义的消除过程在 n 个阶段之后以一组空假设终止时，最多 n 个想法的极限中的 H 才会改变。

因此，归纳问题最多可以解决

n

当思想改变时，任何可能的假设的最大简单性等级是

n

。

名词 在归纳谜题中，最大简单性等级为 1，因此最多可以通过 1 次思维改变来解决此问题。下一个结果提供了连接简单性和思维改变性能的奥卡姆定理。

奥卡姆定理.让

H

H 是一组具有最优思维改变界限 n 的经验假设。那么，当且仅当归纳法满足以下条件时，它才是最佳的思维改变方法。

每当该方法采用以下假设之一时

H

,

H，这个假设是与证据一致的最简单的假设。

如果该方法在查询时改变主意

t

+

1

t+1，当时唯一最简单的假设

t

t 在时间被伪造

t

+

1.

t+1。

该定理表明，思想改变最优方法可能会像怀疑论者一样保留猜想，但如果它确实采用了明确的假设，则该假设必须是最简单的假设，即具有最大简单性等级。因此第4节讨论的思想改变最优方法都是采用与数据一致的最简单假设的奥卡姆方法。奥卡姆定理显示了与长期反对意见的显着逆转，即长期可靠性对短期猜想施加的约束太少：如果我们将实现稳定信念的目标添加到事实的长期收敛性中，那么实际上就存在是一种独特的归纳方法，可以在给定的经验问题中实现这一目标。因此，方法分析从不提供短期处方转变为提供完整处方。

5.4 回归思维变化和简单性：另一个奥卡姆定理

前一小节为所研究的每个假设定义了完整的简单性排名。这意味着任何假设都可以与另一个更简单或同样简单的假设进行比较。一个要求不高的概念是偏序，它允许某些假设根本不具有可比性，例如苹果和橙子。 Genin 和 Kelly [2015] 表明，以下偏序导致了避免回归思维变化的奥卡姆原则（参见第 4.3 节）。

观察序列分离假设

H

1

假设的 H1

H

2

H2 如果观察结果与

H

1

H1 和伪造

H

2

H2（给定背景知识）。

比喻

H

1

H1离不开

H

2

H2，书面

H

1

＜

H

2

H1＜H2，如果没有观察序列分开

H

1

H1 来自

H

2

H2。等价地，

H

1

＜

H

2

H1＜H2 当且仅当有任何证据符合

H

1

H1 也符合

H

2

。

H2。

分离术语由 Smets 等人提出，他们将其与点集拓扑中的分离原理联系起来。根据 3.2 节中点集拓扑的认识论解释，我们有

H

1

<

H

2

H1

H

1

H1 是数据序列的边界点

H

2

。

H2。在一个认识论上引起共鸣的短语中，Genin 和 Kelly 说假设

H

1

H1“面临归纳问题”

H

2

H2 每当

H

1

＜

H

2

H1＜H2。这是因为每当

H

1

H1是正确的，一个可靠的学习者必须进行“归纳飞跃”和猜想

H

1

H1 尽管任何有限数量的证据也与

H

2

H2。

效果

在乌鸦问题中，

H

1

=

H1=“所有乌鸦都是黑色的”

＜

H

2

=

＜H2=“有些乌鸦不是黑色的”。但事实并非如此“有些乌鸦不是黑色的”

＜

＜“所有乌鸦都是黑色的”因为对白乌鸦的观察是分开的

H

2

H2 来自

H

1

。

H1。

在因果图学习中，如果图

G

1

G1 包含替代图中边的子集（直接因果链接）

G

2

G2，那么

G

1

＜

G

2

G1＜G2。这是因为任何相关性都可以解释为

G

1

G1也可以用更大的图来解释

G

2

G2。

在曲线拟合中，

L

＜

问

L＜Q 其中

L

L 是线性函数的集合，并且

问

Q 是二次函数的集合。这是因为任何可以用线性函数拟合的点集也可以用二次函数拟合。

这些例子表明 ＜＜ 偏序对应于我们对经验假设的直觉​​简单判断； Genin 和 Kelly [2019] 为这一主张提供了广泛的辩护。可以证明， ＜＜ 排序与上一小节中定义的简单等级一致，从某种意义上说，如果

H

1

＜

H

2

H1＜H2 但不是

H

2

＜

H

1

H2＜H1，则简单性等级为

H

1

H1 小于等级

H

2

H2。

这些观察激发了奥卡姆原理：如果归纳方法总是推测出一个最大简单假设，则它满足关于可分离性的奥卡姆原理

H

H 与证据一致。在我们的符号中，如果奥卡姆方法采用假设

H

H 给定有限观测序列，则不存在替代更简单的假设

H

′

H′ 使得

H

′

＜

H

H′＜H。也就是说，每个备择假设

H

′

H′最终将与

H

H 根据证据如果

H

′

H′为真。在乌鸦的例子中，泛化方法满足奥卡姆原理，但相反的方法则不满足，因为它采用

H

2

=

H2=“有些乌鸦不是黑色的”。以下定理表明，奥卡姆原理与回归心理变化之间的联系是普遍的。

如果归纳方法避免了猜想循环（从而避免了思想的回归变化），它就满足了关于可分离性的奥卡姆原理。

证明参见 Genin 和 Kelly [2015；定理10]。 Genin和Kelly也为避免猜想循环提供了充分的条件。

虽然本节的结果在简单性和思维改变最优性之间建立了富有成效的联系，但该方法的局限性在于，它要求某些假设必须被某些证据序列最终推论或证伪。对于统计模型来说，情况通常并非如此，其中假设的概率可能会变得任意小，但通常不为 0。例如，考虑抛硬币问题，假设“正面的概率为 90%”。如果我们观察一百万个反面，假设的概率确实很小，但它不是0，因为任何数量的反面在逻辑上都与高概率的正面一致。下一节讨论如何使可靠性方法适应统计假设。

6. 统计假设的可靠学习

统计假设在实际的数据驱动决策中最常见，例如在科学和工程领域。因此，归纳推理的哲学框架包含统计假设非常重要。统计假设和我们迄今为止考虑的假设集之间有两个关键区别 [Sober 2015]。

观察结果和假设之间的关系是概率性的，而不是演绎性的：统计假设为观察序列分配一个概率，通常在 0 到 1 之间。演绎假设要么与观察序列一致，要么是伪造的。

统计假设的分析通常假设观察结果是随机样本：连续的观察结果彼此独立并遵循相同的分布。可以分析统计方法，其中后来的观察结果取决于当前的观察结果，但归纳方法的数学复杂性比独立数据大得多。

由于这些特性，对于认识论、归纳推理和科学哲学中的传统哲学讨论来说，非统计方法的学习理论是比统计更直接的框架。例如，关于合理的真实信念的认识论讨论涉及信念的演绎概念，其中询问者接受一个命题，而不是为数据分配一个概率。科学理论通常根据过去的观察（初始条件）对未来数据做出确定性预测，因此独立性要求使得应用方法论框架来理解科学探究变得更加困难（参见我们的案例研究）。

规范的手段-目的认识论可以应用于统计假设和演绎假设。特别是，我们将讨论如何将可靠地收敛到事实和最小化回归性思维变化的思想适应统计环境。关键思想是改变分析单位：之前我们考虑了归纳方法对特定数据序列的行为，而在统计分析中，我们考虑了它在一组相同长度的数据序列上的聚合行为。特别是，我们考虑一种方法针对给定数量的观测值推测假设 H 的概率

n

。

名词

统计假设的预备知识

我们将用一个经典的简单例子来说明主要思想，观察抛硬币，并指出如何将它们推广到更复杂的假设。欲了解更多详细信息，请参阅[Genin 和 Kelly 2017，Genin 2018]。假设调查员对未知偏见有疑问

p

一枚硬币的 p，其中

p

p 代表单次翻转出现“正面”的机会。不同的可能假设对应不同的偏差范围

p

p，即[0,1]的一个分区，即偏差的范围。假设调查员提出一个简单的点假设：硬币公平吗？然后我们有

H

1

=

H1=“

p

=

0.5

p=0.5”

H

2

=

H2=“事实并非如此

p

=

0.5

p=0.5”。也就是说，要么

p

＜

0.5

p＜0.5 或

p

＞

0.5。

p＞0.5。

扩展我们之前的术语，我们可以说真正的偏差值

p

p 代表假设 H，如果它位于由下式指定的集合内

H

H. 在我们的示例中，偏差值 p 是正确的

H

1

H1当且仅当

p

=

0.5

p=0.5；否则

p

p 正确的是

H

2

H2。给定一个真实的偏差值

p

p，并假设独立性，我们可以计算任何有限观察序列的概率。该概率称为样本分布。例如，对于一枚公平的硬币

p

=

0.5

,

p=0.5，观察到 3 个正面的概率为

0.5

×

0.5

×

0.5

=

0.125。

0.5×0.5×0.5=0.125。如果正面朝上的概率为 0.7，则观察到 3 个正面朝上的概率为

0.7

×

0.7

×

0.7

=

0.343。

0.7×0.7×0.7=0.343。请注意独立性假设如何使我们能够将一系列观测值的概率计算为单个观测值概率的乘积。如果没有独立性假设，我们就无法从单个观测值的概率推断出多个观测值的概率，并且样本分布也无法定义。

与本条目中的惯例一样，归纳法在观察有限的观察序列后推测假设。推测统计假设的方法称为统计检验（请参阅下面“其他互联网资源”部分中的链接）。统计文献为不同类型的统计假设提供了大量计算有效的统计检验。在下面的讨论中，我们考虑此类方法的一般学习性能，即可靠地收敛到真实假设并避免思想变化。考虑固定的观察长度

n

,

n，称为样本量。对于样本大小

n

n，有一组长度为

n

n 使得该方法推测假设

H

H给出样本。例如，对于

n

=

3

n=3，该方法可能推测

H

2

=

H2= 观察到 3 个正面后“硬币不公平”。该方法输出假设的总概率

H

H 给出一些长度样本

n

n 是样本的样本概率之和，使得该方法推测

H

H给出了样本。在补充中，我们给出了总概率的计算示例。因为这个总概率是统计假设方法的关键量，所以我们为其引入以下符号。

磷

n

,

p

（

H

）

=

Pn,p(H)=给定归纳法推测假设的概率

H

后H

n

n 个观测值，假设单个观测值的真实概率为

p

p

在非统计学习中，我们需要一种可靠的方法来在足够多的观察后最终确定真实的假设。该标准的统计版本是，经过足够多的观察后，推测出真实假设的机会应该接近 100%。更技术地说，假设一种方法对于每个偏差值都可以偶然识别出真实的统计假设

p

p，对于每个阈值

0

<

t

＜

1

0＜t＜1，有样本量

n

n 对于所有较大的样本量，该方法推测假设

H

H 是这样的

p

p 至少有概率

t

t。在符号中，我们有

磷

n

′

,

p

（

H

）

＞

t

对于所有样本量，Pn′,p(H)>t

n

′

＞

n

n′＞n，其中

H

H 是正确的假设

p

下图说明了推测正确假设的机会如何随着样本大小而增加，而推测错误假设的机会如何随着样本大小而减少。通过替换真实偏差值，该定义可以推广到更复杂的统计假设

p

p 带有参数列表。



图8 [图8的扩展描述在补充中。]

限制机会识别的概念类似于赖兴巴赫实用主义辩护中限制收敛到概率估计的概念。转化为我们的示例，赖兴巴赫考虑了输出真实偏差值估计的归纳规则

p

,

p，并要求这样的规则收敛于真实值，即对于每个偏差值

p

p，对于每个阈值

0

＜

t

＜

1

0＜t＜1，有样本量

n

n 使得对于所有较大的样本量，该规则以概率 1 输出与真实值不同的估计值

p

至多p

t

数学联邦政治世界观提示您：看后求收藏（笔尖小说网http://www.bjxsw.cc），接着再看更方便。