形式学习理论（四）

4.2更多示例

同样的推理也适用于所有乌鸦是否都是黑色的问题。猜想所有乌鸦在观察到只有黑色乌鸦的样本后，所有乌鸦都是黑人的大胆概括，最多可以改变思维：如果确实所有的乌鸦都是黑色的，那么概括的化合物就永远不会改变其主意。而且，如果有一个非黑人乌鸦，驳斥场合有一个想法改变，但之后问题就解决了。

将其与相反的方法形成鲜明对比，该方法断言在观察到所有黑色样本后存在非黑乌鸦。如果仅继续观察黑色乌鸦，相反的方法必须最终改变主意，并断言“所有乌鸦都是黑人”，否则它无法实现正确的概括。但是在那时，可能会出现一个非黑乌鸦，迫使第二种想法改变。因此，稳定信念的目的对方法在短期内构想的强烈限制对此问题进行了限制：仅观察黑色乌鸦，选项是“所有乌鸦都是黑色的”或“没有意见”，但没有一个非黑乌鸦”。

在《保护法》问题中，第2.1节中描述的限制性方法是唯一使思想变化最小化的方法。回想一下，限制性方法采用了一套保护法，这些法律排除了尽可能多的未观察到的反应。可以证明，如果有

n

n观察到反应的已知基本颗粒，此方法最多需要

n

n的想法改变。 （标准模型中的基本粒子数量在

n

=

200

）

。

n = 200）。

对于学习因果图，第2.2节中描述的方法的以下变体最大程度地减少了思维变化的数量。

假设我们已经观察到一组感兴趣的变量之间的一组相关性或关联。

如果有独特的因果图可以解释与最小数量直接因果链接的观察到的相关性，请选择此图。

如果有多个因果图解释了观察到的与最小数量的直接因果链接的相关性，请输出“尚无意见”（或猜想最小边缘图的分离）。

这个示例说明，有时将思想变化最小化需要预扣信念。直观地，当数据对数​​据有两个或更多简单的解释时，就会发生这种情况，询问者必须等到进一步的观察到这些可能性之间的决定。跳到一个简单的结论之一可能会导致不必要的思想变化，以防另一种同样简单的解释是正确的。在这种情况下，一方面，实现稳定信念的目标是在实现稳定信念的目标之间进行了权衡，并迅速对另一方面的信念定居[Schulte 1999]。我们讨论了下一节关于简单性的简单和稳定信念之间的联系。

4.3回归思想变化

Genin和Kelly [2015]通过区分不同种类的思维变化来完善思维变化方法。

放弃一个真正的假设，支持一个假假设。这是不良的回归思维变化。

放弃一个虚假的假设，支持一个真实的假设。这是一个理想的进步思维变化。

放弃一个虚假的假设，支持另一个假假设。

下表说明了新的归纳之谜和乌鸦示例中的这些区别。 Genin和Kelly研究了归纳方法应最大程度地减少回归思维变化的数量的原则，即，新证据的次数导致方法放弃了一个真正的假设，而不是假设假设。回归思想变化的观念是认知失败的标志，这与认识论中的悠久传统相匹配。知识的贬低性理论（请参阅下面的其他互联网资源部分中的链接）认为，为了使代理人的真实信念算作知识，这是不可原谅的，因为接受进一步的命题不应导致代理人使她的信念abanon abanon 。翻译成思想语言的变化，这意味着，只有在没有进一步的证据会导致她改变思想并采用替代性的错误猜想的情况下，询问者的真实猜想才能将其视为知识。柏拉图的梅诺生动地传达了这一点。

现在，这是一个真实观点的本质的例证：虽然他们遵守我们，但它们是美丽而富有成果的，但是他们逃脱了人类的灵魂，并且不会长时间，因此它们的价值不多……。但是，当它们被束缚时，首先，它们具有知识的本质。而且，第二，他们在持久。

真正的假设“所有祖母绿都是绿色的”，“有一个非黑乌鸦”

猜想0“所有祖母绿都是grue（1）”“有一个非黑乌鸦”

观察1绿色翡翠黑乌鸦

猜想1“所有祖母绿都是grue（2）”伪造false“所有乌鸦都是黑色”

观察2绿色翡翠白乌鸦

猜想2“所有祖母绿都是绿色”的假至真实“有一个非黑乌鸦”假到真实

说明回归和进步的思想变化

虽然将回归思维变化最小化是一个比避免思维变化更重要的认识论目标，但它会导致归纳学习的狭窄较弱。同时，任何遵循的限制都具有更大的规范性力量。上表说明了新的归纳之谜和乌鸦问题的两个原理之间的差异。在新的归纳之谜中，如果仅观察到绿色祖母绿，投影规则可能会继续投射任何数量可怕的谓词而不会产生回归性的思维变化：它只是放弃了一个错误的可怕谓词，为另一个错误的可怕谓词。因此，即使是不自然的投影规则也会发生0回归思维变化，只要它们从未放弃一旦采用的“全绿色假设”。

对于所有乌鸦是否都是黑色的问题，最大程度地减少回归思维变化的后果是不同的。再次考虑一种相反的方法，即观察到黑人样本后，有一个非黑乌鸦。如表中所示，并在上面讨论过，相反的方法最终必须改变其假设，因为看到更多的黑色乌鸦猜想所有乌鸦都是黑色的，然后在观察白乌鸦后，回到了真正的初始假设，认为有一个非黑乌鸦。因此，在最坏情况下，相反的方法至少发生了一种回归思维的改变。另一方面，断言所有乌鸦在观察黑人样本后才宣称所有乌鸦的概括方法只有在观察到非黑乌鸦时才会改变其猜想---渐进的思想从虚假假设变为真实假设。因此，避免回归思维的原则改变了相反的方法的概括方法。

如该示例所示，回归思维变化与猜想的循环有关。这是因为一个可靠的方法在采用假方法后必须最终返回一个真实的假设，因此回归思维变化至少会导致一个循环真正的猜想 - 构想猜想 - 真实性猜想。因此，在无周期学习的标题[Genin and Kelly 2015]的标题下研究了避免回归思维变化的方法或最小化掉头[Carlucci等。 2005]。 Genin和Kelly [2015，2019]提供了一个总体结果，该结果阐明了避免回归思维变化和猜测周期的一般方法学进口（第5.4节中进行了描述）。它们的结果属于一个定理家庭，在避免思维变化和Ockham的剃须刀之间建立了惊人的联系，我们在下一节中进行了讨论。

5. 简单、稳定的信念和奥卡姆剃刀

关于归纳推理和科学方法的一个强烈直觉是，我们应该更喜欢简单的假设而不是复杂的假设；请参阅有关简单性的条目。统计学家、计算机科学家和其他关注从观察中学习的研究人员广泛使用了对简单性的偏好来解决实际的归纳问题 [Domingos 1999]。从基础的角度来看，简单性是有问题的，原因至少有两个。

论证问题：为什么要采用简单的假设？一个明显的答案是世界是简单的，因此复杂的理论是错误的。然而，关于世界是简单的先验主张是极具争议的——请参阅关于简单性的条目。从学习理论的角度来看，驳回复杂的假设会损害归纳方法的可靠性。在凯利的比喻中，固定偏差就像一块停了的手表：当手表指向正确的时间时，我们可能会碰巧使用它，但手表并不是一个可靠的计时工具[Kelly 2007a，2010]。

描述问题：认识论者担心简单性并不是假设的客观特征，而是“取决于呈现方式”，正如诺齐克所说。古德曼之谜就说明了这一点。如果用蓝绿色术语进行概括，“所有祖母绿都是绿色”似乎比“所有祖母绿首先是绿色，然后是蓝色”更简单。但在 grue-bleen 语言中，“所有祖母绿都是 grue”似乎比“所有祖母绿首先都是 grue，然后是 bleen”更简单。

学习理论家最近一直致力于应用手段-目的认识论来发展一种简单性与归纳法之间联系的理论，以解决这些问题[Kelly 2010，Harman and Kulkarni 2007，Luo and Schulte 2006，Steel 2009]。事实证明，一个富有成效的视角是检验假设空间的结构与相应归纳问题的思维变化复杂性之间的关系。基本思想是，虽然简单性并不与真理有先验的联系，但选择简单的假设可以帮助探究者更有效地发现真理，避免思想改变。凯利的道路比喻说明了这个想法。考虑两条到达目的地的路线，一条通过直路高速公路，另一条通过小路。两条路线最终都通向同一点，但后面的道路需要更多的曲折[Kelly 2007a，2010]。

这个想法的形式化采用奥卡姆定理的形式：该定理表明（在适当的限制下）归纳方法对于给定问题尽可能有效地找到真相，当且仅当该方法是奥卡姆方法时，即，它选择与数据一致的最简单的假设。奥卡姆定理为奥卡姆归纳剃刀作为实现认知目标的手段提供了理由。

奥卡姆定理是否成立取决于奥卡姆方法的描述，即取决于一组假设的简单性的确切定义。有大量数学结果使用语言不变的简单性度量来建立奥卡姆定理，我们接下来将对此进行解释。

5.1 定义简单性

说一个假设

H

H 来自一组可能的假设背景

H

如果存在证据序列使得 H 是可验证的

H

H 是唯一的假设

H

H 表示与证据序列一致。例如，在上面的黑乌鸦问题中，假设“存在一只非黑乌鸦”是可验证的，因为它是由对非黑乌鸦的观察所蕴含的。 “所有乌鸦都是黑色的”假设是不可验证的，因为它不包含任何有限的证据序列。以下过程为每个假设分配一个简单性等级

H

H 来自一组假设

H

H [Apsitis 1994，Luo 和 Schulte 2006]。

将所有可验证的假设简单性等级指定为 0。

从假设空间中去除可验证的假设，形成新的假设空间

H

1

。

H1。

将简单性等级 1 分配给可验证的假设

H

1

。

H1。

从假设空间中删除新的可验证的简单性等级为1的假设，形成新的假设空间

H

2

。

H2。

继续删除假设，直到在当前假设空间下没有新的假设可验证。

每个假设的简单性等级

H

H 是通过此过程将其去除的第一阶段。换句话说，正是第一个受限假设空间的索引使得

H

H 可验证。

具有较高简单性等级的假设被认为比具有较低等级的假设更简单。简单性等级是根据逻辑蕴涵关系定义的，因此是语言不变的。定义的简单性等级可以被视为以下意义上的可证伪性程度。考虑一个简单性等级 1 的假设。这样的假设是可证伪的，因为验证等级 0 的替代假设的证据序列会证伪它。此外，简单性等级 1 的假设始终是可证伪的，因为无论观察到什么与其一致的证据序列，它仍然是可证伪的。简单性等级的假设

n

+

1

n+1 可以通过等级假设持续被证伪

n

。

名词让我们在运行示例中说明该定义。

5.2 示例

在归纳之谜中，可验证的假设是具有临界时间 t 的 grue 假设：任何 t 个绿色祖母绿后面跟着蓝色祖母绿的序列都需要相应的 grue(t) 泛化。因此，格鲁假设的简单性等级为 0。消除格鲁假设后，唯一剩下的假设是“所有祖母绿都是绿色的”。鉴于这是有限假设空间中的唯一可能性，任何绿色祖母绿序列都蕴涵“所有祖母绿都是绿色的”。因此，“所有祖母绿都是绿色的”的简单性等级为 1。删除所有绿色假设后，不再有任何假设。

在乌鸦颜色问题中，可验证的假设是“将观察到非黑色乌鸦”，其简单性等级为 0。在删除将观察到非黑色乌鸦的假设后，唯一剩下的可能性是仅观察到黑色乌鸦，因此，该假设在有限的假设空间中是可验证的，并且简单性等级为 1。

因果图的简单性等级由图中未包含的直接链接的数量给出。因此，因果模型提出的直接联系越少，其简单性等级越高。

一组守恒定律的简单性等级由独立定律的数量给出。 （线性代数意义上的独立性。）因此，理论引入的非冗余定律越多，其简单性等级就越高。每个定律都排除了一些反应，因此在给定观察到的反应的情况下最大化独立定律的数量相当于排除尽可能多的未观察到的反应。

5.3 稳定信念和简单性：奥卡姆定理

以下定理显示了归纳问题的思维变化复杂性与所定义的简单性排名之间的联系。

定理。让

H

H是一组经验假设。然后有一种方法可以可靠地识别出正确的假设

H

当且仅当上面定义的消除过程在 n 个阶段之后以一组空假设终止时，最多 n 个想法的极限中的 H 才会改变。

因此，归纳问题最多可以解决

n

当思想改变时，任何可能的假设的最大简单性等级是

n

。

名词 在归纳谜题中，最大简单性等级为 1，因此最多可以通过 1 次思维改变来解决此问题。下一个结果提供了连接简单性和思想改变性能的奥卡姆定理。

奥卡姆定理.让

H

H 是一组具有最优思维改变界限 n 的经验假设。那么，当且仅当归纳法满足以下条件时，它才是最佳的思维改变方法。

每当该方法采用以下假设之一时

H

,

H，这个假设是与证据一致的最简单的假设。

如果该方法在查询时改变主意

t

+

1

t+1，当时唯一最简单的假设

t

t 在时间被伪造

t

+

1.

t+1。

该定理表明，思想改变最优方法可能会像怀疑论者一样保留猜想，但如果它确实采用了明确的假设，则该假设必须是最简单的假设，即具有最大简单性等级。因此第4节讨论的思想改变最优方法都是采用与数据一致的最简单假设的奥卡姆方法。奥卡姆定理显示了与长期反对意见的显着逆转，即长期可靠性对短期猜想施加的约束太少：如果我们将实现稳定信念的目标添加到事实的长期收敛性中，那么事实上就存在是一种独特的归纳方法，可以在给定的经验问题中实现这一目标。因此，方法分析从不提供短期处方转变为提供完整处方。

数学联邦政治世界观提示您：看后求收藏（笔尖小说网http://www.bjxsw.cc），接着再看更方便。