正式学习理论（一）

正式学习理论是规范认识论的数学实施例。 它涉及代理人如何使用关于她的环境的观察来达到正确和信息性结论的问题。 Putnam，Glymour和Kelly等哲学家将学习理论作为科学推理和归纳推理的规范框架。

术语。 认知科学和相关领域通常通过观察来使用术语“学习”来获取信息的过程 - 因此“学习理论”。 对于大多数认知科学家来说，“学习理论”一词表明，人类和动物学习从心理学中的行为范式源于心理学的实证研究。 绰号“正式”区分该条目的主题从行为学习理论。 学习理论认识论的哲学术语包括“逻辑可靠性”（Kelly [1996]，Glymour [1991]）和“意味着期限论”（Schulte [1999]）。

由于许多发展和应用，正式学习理论来自计算机科学，“计算学习理论”一词也是常见的。 许多结果对计算机科学学习理论的结果涉及勇敢的和VAPNIK的学习概念可能大致正确（PAC学习）（Valiant [1984]）。 吉尔伯特哈曼在他的Nicod讲座中向哲学家推出了对实证成功的概念，并在随后的书中阐述了[Harman和Kulkarni 2007]。 勇敢的自己提供了一个可访问的PAC学习及其与最近书籍的归纳问题的关系（Valiant [2013，Ch.5]）。 本文介绍了来自Hilary Putnam的开创性工作的学习理论的非统计传统[1963]并标记为E. Gold [1967]。 最近的研究已经扩展到统计环境中的依托统计方法，其中归纳方法将概率分配到随机样本的统计假设。 新的统计框架在本条目结束时描述了关于可靠统计查询的部分。

哲学特征。 与其他哲学方法相比，学习理论并不旨在描述普遍的感应方法或突出归纳合理性的一般公理。 相反，学习理论追求上下文依赖的手段 - 结束分析[斯蒂尔2010]：对于给定的经验问题和一系列认知目标，如何实现目标的最佳方法是什么？ 大多数学习理论考察了哪些调查策略可靠，有效地导致对世界的纠正信念。

文章概述。 与传统的归类化推断相比，学习理论提供了一种从衷的思考诱导和科学方法的新方法。 本文的主要目的是通过示例解释理论的主要概念。 在整个条目中重复运行示例; 与此同时，这些部分旨在尽可能彼此独立。 我们使用这些例子来说明哲学兴趣的一些定理，并突出了学习理论背后的关键哲学想法和见解。

对学习理论的数学实质感兴趣的读者将在参考书目中找到一些参考文献，以及补充文件中的基本定义的摘要。 jain等人的文本。 收集许多主要定义和定理[1999]。 新结果出现在年度会议的汇报中，例如学习理论（COLT）和算法学习理论（ALT）的会议。 关于学习理论认识论的哲学问题和动机是广泛的哲学家的作品，如Putnam，Glymour和Kelly（Putnam [1963]，Glymour [1991]，甘肃和凯利[1992]，Kelly [1996]）。

1.融合真理，除了真相

1.1简单的通用泛化

1.2归纳的新谜语

1.3讨论

1.4伪造主义和概括的例外情况

2.科学实践的案例研究

2.1粒子物理保护法

2.2因果关系

2.3认知架构模型

2.4讨论

3.查询的限制和实证问题的复杂性

3.1可验证和对细化的假设

3.2点设置拓扑和可验证性的原理

3.3查询限制的可识别性

4.短期内长期运行：可靠和稳定的信念

4.1示例：归纳的新谜语

4.2更多例子

4.3回归思维变化

5.简单，稳定的信仰和ockham的剃刀

5.1定义简单

5.2例子

5.3稳定的信仰和简单性：A ocham定理

5.4回归思维变化和简单：另一个ockham定理

6.可靠地学习统计假设

7.其他方法：分类与假设的命令

补充文件：基本的正式定义

参考书目

学术工具

其他互联网资源

相关条目

1.融合真理，除了真相

学习理论分析评估形成信仰的倾向。 哲学的若干信仰习得过程的术语有常见的用途; 我将使用“归纳策略”，“推理方法”和最常见的“归纳方法”表示同样的事情。 了解学习理论如何评估归纳方法的最佳方式是通过一些示例进行工作。 以下演示始于一些非常简单的归纳问题，并逐渐移动到更复杂和更现实的环境。

1.1简单的通用泛化

让我们重新审视所有乌鸦是否是黑色的经典问题。 想象一下，一名鸟类学家通过检查一个raven之后的一个raven来解决这个问题。 恰好存在一个观察序列，其中仅发现黑乌鸦; 所有其他人都至少有一个非白垩乌鸦。 下图说明了可能的观察序列。 图中的点表示可以进行观察的点。 左侧左侧的黑鸟表示，在这个阶段，观察到黑乌鸦。 类似地，点右侧的白色鸟表示观察到非伯文乌鸦。 鉴于完整的观察顺序，所有观察到的乌鸦都是黑色或非黑色的; 图标记了完整的观察序列，并与他们的陈述。 灰色风扇表示在观察白色乌鸦之后，并非所有乌鸦都是黑色的，因为来自进一步观察的所有观察序列都是黑色的。

一个图：链接到下面的扩展说明

图1 [图1的扩展描述是补充。]

如果世界是这样的，那么只发现黑乌鸦，我们希望鸟类学家能够解决这一概括。 （可能有一些非白皮乌鸦仍然可以永远隐藏在视线中，但即使那么泛化“所有乌鸦都是黑色的”，至少会让观察结果吧。）如果世界这一目标，最终发现了一个非黑白乌鸦，那么我们希望鸟类学家能够到达结论并非所有乌鸦都是黑色的。 这指定了一系列查询目标。 对于任何特定的诱导方法，可能代表鸟类学家鉴于证据采用猜想，我们可以询问该方法是否达到这些目标。 有绝对的考虑方法; 我们将只看两个，一个持怀疑态度的一个，一个大胆地推广。 大胆的方法猜测所有乌鸦在看到第一个乌鸦是黑色之后都是黑色的。 除非出现一些非白垩乌鸦，否则它挂在这个猜想上。 持怀疑态度的方法不超出证据所需的东西。 因此，如果发现了一个非黑白乌鸦，那么持怀疑态度的方法总结说，并非所有的乌鸦都是黑色的，但其他方法不会以某种方式制作猜想。 下图说明了粗体和持怀疑态度的方法。

两个部分图：链接到下面的扩展说明

图2 [图2的扩展描述是补充。]

这些方法是否达到了我们出发的目标？ 考虑大胆的方法。 有两种可能性：所有观察到的乌鸦都是黑色的，或者发现一些非白垩乌鸦。 在第一种情况下，方法猜测所有乌鸦都是黑色的，从来没有吸引这种猜想。 在第二种情况下，该方法的结论是，一旦发现第一个非白垩乌鸦，并非所有乌鸦都是黑色的。 因此，无论证据如何进入，最终都会给出正确的答案，以及所有乌鸦是否都是黑色的，并用这个答案坚持。 学习理论家称这些方法可靠，因为无论世界提供的观察结果如何，他们都在正确的答案。

持怀疑态度不符合这么好。 如果出现一个非伯文乌鸦，那么该方法确实到达了正确的结论，并非所有乌鸦都是黑色的。 但是，如果所有乌鸦都是黑色的，那么怀疑论者从未采取“归纳飞跃”以采取这种概括。 因此，在这种情况下，怀疑论者未能为所有乌鸦是黑色的问题提供正确的答案。

这说明了如何进行评估方法的方法：大胆的方法符合正确答案的目标，而持怀疑态度并非如此。 注意这一论点的性格反对怀疑论者：问题，在这个观点中，怀疑论者并不是违反了一些合理性的佳能，或者没有欣赏“自然的均匀性”。 学习 - 理论分析承认，无论在过去都观察到了多少黑乌鸦，下一个可能是白色的。 问题是，如果所有观察到的乌鸦都是黑色的，那么怀疑论者从不回答“都是乌鸦黑？”的问题。 即使泛化可能是错误的，那么对该问题的正确答案需要从证据中概括。

至于大胆的方法，很重要的是要清楚它所做，并且没有实现。 该方法最终将在正确的答案中定居 - 但它（或我们）可能永远不会确定它已经这样做了。 正如威廉·詹姆斯把它所说，当科学发现正确的答案时，“没有钟声收费”。 我们确信该方法最终将在正确的答案中定居; 但我们可能永远不会确定当前的答案是正确的。 这是一个微妙的观点; 下一个示例进一步说明它。

1.2归纳的新谜语

Nelson Goodman在诱导（新）谜语中提出了一个着名的拼图，称为诱导（[Goodman 1983]）。 我们的下一个例子是由他的拼图启发。 古德曼考虑了有关祖母绿的概括，涉及绿色和蓝色的熟悉颜色，以及某些不寻常的颜色：

假设在某个时间t之前检查的所有祖母绿都是绿色的...... 我们的证据报表断言，翡翠A是绿色的，即翡翠B是绿色的，等等......

现在让我们介绍比“绿色”更少熟悉的另一个谓词。 这是谓词的“GRE”，它适用于以防以防万一绿色的所有东西，而是为了他们是蓝色的。 然后，在时间t，对于声明声明，宣传给定的祖母绿是绿色的，并联证明翡翠是文化道的并行证据。 问题是我们是否应该猜想所有祖母绿是绿色的，而不是所有祖母绿都是国产性的，当我们在时间之前检查的绿色祖母绿样本时，如果是的话，为什么。

显然，我们在这个问题中有一个GRE谓词，一个用于每个不同的“临界时间”T; 让我们写出GRUE（T）以表示这些GUE谓词。 在讨论此示例时，让我们参考在讨论此示例中的投影规则。 在一个世界中，一个投影规则成功，以防它在这个世界中稳定的概括。 因此，在发现所有被检查的祖母绿被发现为绿色的世界中，我们希望我们的预测规则会聚到所有祖母绿都是绿色的命题。 如果所有检查的祖母绿都是GUE（T），我们希望我们的预测规则会聚到所有祖母绿是GUE（T）的命题。 请注意，此规定将绿色和GUE谓词完全倾向于一个标准，也没有偏向。 如前所述，让我们考虑两项规则：自然投影规则，猜测所有祖母绿都是绿色的，只要发现绿色祖母绿，并且令人难以置信的规则，这些规则一致地与可用证据一致地投影下一个GRE谓词。 在绿色蓝色词汇表达，令人毛骨悚然的投影规则猜想，在观察一些N个绿色祖绿色之后，所有未来的人都将是蓝色的。 下面的附图说明了可能的观察序列，自然投影规则和令人毛市窗投影规则。

自然投影规则：链接到下面的扩展说明

图3 [图3的扩展描述是补充。]

下图显示了令人毛骨悚然的投影规则。

令人毛骨悚然的投影规则：链接到下面的扩展说明

图4 [图4的扩展描述是补充。]

这些规则如何衡量到达真正的概括的目标？ 为此示出了例子中，所考虑的唯一严重可能性是：（1）所有祖母绿都是绿色的，或（2）所有祖母牌都是一些临界时间t的原味（t）。 然后，无论正确的泛化是什么，自然投影规则都在正确的泛化上稳定。 例如，如果所有祖母绿都是绿色的，则自然投影规则从一开始就断言此事实。 并假设所有祖母绿都是一些临界时间t的原因组合（t）。 然后在时间t，将观察到蓝绿翡翠。 此时，自然投影规则在猜想上落户，即所有祖母绿都是GUE（T），这必须鉴于我们对可能的观察序列的假设。 因此，无论在询问的过程中获得哪些证据，与我们的背景假设一致 - 自然投影规则最终稳定地扎实关于祖母绿颜色的正确概括。

令人毛骨悚然的规则也不做。 例如，如果所有的祖母绿都是绿色的，则规则永远不会猜测这一事实，因为它会使投影金槽谓词。 因此，存在可能的观察序列 - 即那些祖母绿是绿色的那些，其中令人毛骨悚然的规则无法收敛到正确的概括。 因此，均署的均线分析将推荐对令人毛骨悚然的规则的自然投影规则。

1.3讨论

诱导谜语的平均终端分析说明了一般来说对于学习理论分析的许多哲学重要点。

平等处理所有假设。 与前面的例子一样，这个论点中的任何内容都没有关于效果的论点，即某些可能性不得认真对待一个先验。 特别是，论证中没有任何内容表明，具有Grue谓词的概括是不成本的，不动形的，或者以其他方式劣于“所有祖母绿是绿色”的先验。

语言不变性。 分析不依赖于框架证据和概括的词汇。 为了便于阐述，我主要使用绿色蓝色参考框架。 然而，GRE-BLEEN扬声器会同意，即使他们想以他们的GLE-BLEN语言而不是蓝绿色语言而不是蓝绿色语言，即使他们希望表达自然规则的猜想而不是蓝绿色语言，即使他们想要表达自然统治的猜想，而不是蓝绿色语言的自然统治的猜想，也就是说到目前为止我们已经使用过。

依赖上下文。 虽然分析不依赖于语言，但它确实取决于可能的观察序列是什么。 如上所述的示例似乎包括与颜色谓词讨论的颜色对应的可能性。 但是，意思是分析适用于其他可能的谓词。 Schulte [1999]和图表[2000]讨论了许多其他版本的遗传杂志，其中一些意思是结束分析的利用突出，所有祖母绿都在所有绿色祖母绿样本上的原因。

1.4伪造主义和概括的例外情况

我们的前两个示例具有简单的通用概括。 如果我们考虑允许例外的概念，那么长期可靠性概念的一些微妙方面，特别是与伪造主义的关系变得明显。 为了说明，让我们考虑另一个ornithological的例子。 两次竞争的假设正在调查中。

除了许多天鹅是白色的。 即，基本上所有的天鹅都是白色的，除了规则的有限数量的例外。

除了许多天鹅都是黑色的。 即，基本上所有天鹅都是黑色的，除了规则的有限数量的例外。

假设其中一个或另一个假设是正确的，是否有一种可靠地沉积在右侧的电感方法？ 是什么让这个问题比我们的前两个更困难的是，在调查下的每个假设都与任何有限的证据一致。 如果找到100个白色天鹅和50个黑色天鹅，则50个黑色天鹅或100个白色天鹅可能是规则的例外。 在Karl Popper的工作熟悉的术语中，我们可能会说任何假设都没有谬误。 因此，前两个示例的归纳策略在这里不起作用。 这种策略基本上是采用“大胆”的普遍普遍化，例如“所有乌鸦都是黑色”或“所有祖母绿是绿色”，只要它“通过集合”，就可以挂在这个猜想中。 但是，当在调查可能的例外情况时，这种策略是不可靠的。 例如，假设询问者首先采用“所有但有限的许多天鹅是白色的假设”的假设。 可能是从那时起，只发现黑天鹅。 但这些明显的反击中的每一个都可以“解释”作为一个例外。 如果询问者遵循悬挂到她的猜想的原则，直到证据与猜想逻辑上不一致，她将永远不会放弃她的虚假信念，所有但是有限地许多天鹅都是白色的，更少到达正确的信念，所有但是有限的天鹅是黑色的。

可靠的查询需要更细微的调查策略。 这是一个（很多）。 开始询问竞争假设，说“所有但有限的许多天鹅都是黑色的”。 选择一些截止比率来表示“清除大多数”; 为了明确，让我们说70％。 如果目前的猜想是所有但是有限的许多天鹅都是黑色的，那么改变你的思想，猜想这一切，而且是有限的许多天鹅是白色的，以防超过70％的观察天鹅实际上是白色的。 同样，如果目前的猜想是，当观察到的Swans的超过70％是黑色的70％时，所有的猜想都是白色的。

有一点思想表明，这条规则在长期运行中可靠地识别正确的假设，无论两个竞争的假设中哪一个都是正确的。 因为如果所有但是有限的许多天鹅都是黑色的，那么最终将耗尽规则的非批量例外，并且任意大多数观察到的天鹅将是黑色的。 同样，如果所有但是有限的许多天鹅都是白色的。

概括的例外情况说明了Popperian伪造主义与对真理的可靠融合的学习理论的关系。 在某些查询环境中，特别是那些涉及普遍概括的人，一种天真的波普尔“猜测和反驳”，直到证据伪造它们的猜测，才能获得可靠的归纳方法。 在其他问题中，与当前的例子一样，它没有。 依靠伪造有时，但并不总是，询问的最佳方式。 学习理论提供了数学定理，澄清了猜想和驳流方法之间的关系和可靠的查询。 细节在第3节（查询的限制和经验问题的复杂性）中讨论。 一般而言，讲述与不合突变的假设的学习问题的方法可以表示为采用精制的假设空间，其中原始假设被销钉的加强假设所取代。

2.科学实践的案例研究

本节提供了进一步的示例，以说明学习 - 理论分析。 本节中的例子是科学实践中出现的更现实和地址的方法论问题。 它们不是概率的; 统计假设在第6节中讨论。本条目提供了完全分析的概要; 以下有关于更详细的讨论的引用。 在[凯利1996，CH中，可以在更多案例研究中找到。 7.7，Harrell 2000]。 希望进一步发展意外理论和哲学的进一步发展的手段 - 期末认识论可以跳过这个部分而不会丧失连续性。

2.1粒子物理保护法

基本粒子物理学的标志之一是发现仅在亚杀灭境界（Ford 1963，Ne'eman和Kirsh 1983，Feynman 1965）的新保守法的发现。 （Feynman集团中的一个，保守Baryon数，其他“巨大的保护法”的能量，充电和势头。）简化有点，保护原则有助于解释涉及基本粒子的某些过程不会发生：解释是一些保护原则被侵犯（参见奥纳日[1971，Ch.2]和Ford [1963]）。 因此，粒子调查的目标是找到一套保护原则，使得对于根据（已知）物理法律可以进行的每个过程，但未能在实验上观察，有一些保护原则，这些原则将规定该过程。 如果发生了一个过程，那么它应该满足我们所介绍的所有保护法。

这构成了我们可以应用手段结束分析的推理问题。 推导方法响应于观察过程的报告产生一组守护原理。 意味着结束分析询问保证哪种方法符合所有观察的保护原则，即排除未观察到的流程并允许观察到的流程。 Schulte [2008]描述了一种实现这一目标的归纳方法。 非正式地，该方法可以描述如下。

假设我们在基本粒子中观察了一组反应。

猜想一系列保护法，允许观察到的反应和规定尽可能多的不观察反应。

保护法的逻辑是观察一些反应需要其他不观察者的可能性。 学习 - 理论方法规定了所有不必要的反应。 事实证明，这种方法对目前可用证据的保护原则是对物理学家介绍的人的经验相当于。 具体而言，他们的预测完全符合作为粒子物理标准模型的一部分的充电，Baryon号，muOn号，Tau号码和Lepton编号。

对于一些物理过程，获得经验充足的保护原理的唯一方法是通过定位一些隐藏的颗粒未被发现。 Schulte [2009]扩展了分析，使得感应方法不仅可以引入保护法，而且可能不仅发出不良粒子。 基本原理再次以不可避免的方式排除不可观察的反应的基本原理。 当该方法应用于已知的粒子数据时，它重新发现了电子Antineutin的存在。 这是当前粒子物理学中关键问题的颗粒之一。