正式学习理论（三）

定理。 有一个学习者可以可靠地识别H如果每个假设H相当于相互排斥的假假设的有限或可数差异的HH IF H，则可靠地识别正确的假设。

由于Vertirefutable假设是相互排斥的，因此它们构成了一个有效的精制假设空间，其成员恰好是原始假设的一个。 表征定理需要在没有损失学习电力的情况下，归纳方法可以将原始假设空间转换为可验证的假设空间。 下图说明了对Verivefutable假设的分解。

两个部分图：链接到下面的扩展说明

图6 [图6的扩展描述是补充。]

几点将有助于解释特征定理的重要性。

可靠方法的结构。 特征定理告诉我们如何在调查下的假设结构上进行可靠方法的结构。 例如，所提到的定理建立了伪性和可测试性之间的连接，而是比天真植物的设想更加衰减：没有必要的假设是直接伪造的; 相反，必须有能力加强每个假设，从而产生可计数数量的细化“次晶状体”。 我们可以将这些复制的子片形状视为不同的方式，其中主要假设可能是真实的。 （例如，一种“所有但是有限许多天鹅是白色的一种方式”是真的，如果是最多10个黑色天鹅;另一个是如果有100个黑色天鹅等）。 加强原始假设，使它们成为明确的反驳匹配Lakatos方法的精神，其中一般科学范例阐述了辅助假设，以定义可测量（即，伪燃）索赔。

导入背景假设。 表征结果在可溶性和无法解决的问题之间绘制一条线。 背景知识降低了问题的归纳复杂性; 有足够的背景知识，问题在无法解决的阈值和可溶解之间穿过阈值。 在许多经验调查领域中，关键的背景假设是那些使得可靠的查询可行的域名。 （Kuhn [1970]对“范式”所体现的背景假设的重要性有关。

语言不变性。 学习 - 理论表征定理涉及kelly调用各种观察序列的“时间缠结”[凯利2000]。 最终，他们依赖于给定证据，背景假设和经验索赔之间的着名关系。 由于逻辑蕴涵不依赖于我们用来帧证据和假设的语言，因此由表征定理所确定的实证问题的归纳复杂性是语言不变。

4.短期内长期运行：可靠和稳定的信念

作为询问目的的目标，对真理融合的长期批评是，虽然本身很好，但这种目标与短期内的任何疯狂行为一致[鲑鱼1991]。 例如，我们在新的诱导谜语中看到了可靠的投影规则可以猜想下一个祖母绿将是蓝色的，无论已经找到了多少绿色祖母绿 - 只要最终规则项目“所有祖母绿都是绿色的”。 一个响应是，如果手段结束分析考虑到其他认知目标，除了长期收敛之外，它可以为在短期内猜测的内容提供强烈指导。

为了说明这一点，让我们返回到归纳的Goodmanian谜语。 自柏拉图以来，哲学家已经考虑了稳定的真实信念的想法，而不是不稳定的真实信念，而Sklar（如Sklar）的认识论论论文已经提倡的“认知保守主义”的倡导者。 Kuhn告诉我们，范式辩论中保守主义的重大原因是改变科学信仰的成本[Kuhn 1970]。 在这种精神上，学习理论家已经检查了最小化他们在解决他们的最终猜想中改变理论的次数的方法[Putnam 1965，Kelly 1996，Jain 1999]。 据说这些方法可以最大限度地减少头脑变化。

4.1示例：归纳的新谜语

新的诱导谜语结果是这个想法的一个很好的插图。 考虑自然投影规则（猜想所有祖母绿在绿色祖绿色样本上是绿色的）。 如果所有的祖母绿都是绿色的，则此规则永远不会改变其猜想。 如果所有祖母绿都是一些临界时间t的人物，那么自然投影规则被放弃了它的猜想“所有祖母绿是绿色的”时刻t-一个心灵变化 - 此后，所有祖母绿都是GUE（T）“。 值得注意的是，项目GUE而不是绿色的规则也不做。 例如，考虑一项规则，即观察一个绿色祖母绿后，所有祖母体都是GUE（3）的规则。 如果观察到两个绿色祖母绿，规则的猜想是伪造的，并且必须最终改变其思想，例如猜想所有祖母绿是绿色的（假设绿色祖母绿继续被发现）。 但随时在那一点上，可能会出现一个蓝绿色，强迫第二种思想变化。 这个论点可以推广，表明最小化心灵变化的目的允许只能在所有绿色祖母绿的样本上投射绿色谓词[Schulte 1999]。 我们在第1.2节中看到了自然投影规则最多改变了一次的内容; 下图在典型的情况下说明了不自然的投影规则可能需要改变其两次或更多内容的典型情况。

规则示例：链接到下面的扩展说明

图7 [图7的扩展描述是补充。]

4.2更多例子

相同的推理适用于关于所有乌鸦是否是黑色的问题。 据猜测所有乌鸦在观察只有黑乌鸦的样本之后猜测所有乌鸦的胆总电器在大多数心灵变化中取得成功：如果确实所有乌鸦都是黑色的，那么普通化器就永远不会改变其思想。 如果有一个非白垩乌鸦，驳斥发生了一个思想变化，但之后问题已经解决了。

将其对比，这与相反的方法断言，在观察所有黑色的样本后存在非黑皮乌鸦。 如果只有黑色乌鸦继续观察到，则相反的方法必须最终改变其思想并断言“所有乌鸦都是黑色”，否则它未能到达正确的概括。 但随时在那一点上，可能会出现一个非黑白乌鸦，强迫第二个思想变化。 因此，稳定的信仰的目标将对这种问题的短期猜想的方法存在强烈的限制：在观察黑色乌鸦时，选项是“所有乌鸦都是黑色的”或“没有意见”，但不是“有一个非白乌鸦”。

在保护法问题中，第2.1节中描述的限制方法是唯一可以最大限度地降低脑力变化的方法。 回想一下，限制性方法采用一系列保护法，这些规律尽可能多地排除许多不观察的反应。 可以表明，如果存在未观察到其反应的N已知的基本颗粒，则该方法最多需要变化。 （标准模型中的基本粒子的数量在n = 200周围）。

对于学习因果图，第2.2节中描述的方法的以下变体最小化了脑数变化。

假设我们观察了一组感兴趣的变量中的一组相关关系或关联。

如果有一个唯一的因果图，则解释了与最小数量的直接因果链接的观察到的相关性，请选择此图。

如果有多个因果图，则解释了与最小数量的直接因果关系，输出“尚未意见”的观察到的相关性（或者猜测最小边缘图的分离）。

这个例子说明有时最小化心灵变化需要扣留信念。 直观地，这是在有两个或多个同样简单的数据解释时发生的，并且查询者必须等到进一步观察，在这些可能性之间决定。 跳到一个简单的结论中的一个可能导致一个不必要的心灵变化，以防替代方案同样简单的解释结果是正确的。 在这种情况下，在一方面，在实现稳定的信念的目标之间存在权衡，并迅速解决对方的真实信念[Schulte 1999]。 我们讨论了简单的下一节简单和稳定信念之间的联系。

4.3回归思维变化

Genin和Kelly [2015]通过区分不同类型的心灵改变来改进心灵变化方法。

放弃真正的假设，有利于虚假的假设。 这是一个不受欢迎的回归思想变化。

放弃虚假假设，有利于真正的假设。 这是一个理想的进步性思想变化。

放弃一个错误的假设，有利于另一种错误的假设。

下表说明了诱导和乌鸦示例的新谜语中的这些区别。 Genin和Kelly调查了归纳方法应该最大限度地减少回归思维变化的数量的原则，即新证据的次数导致抛弃真实假设的方法，以满足错误的假设。 回归心灵变化的概念是认知性失败的标志与认识论中的漫长传统相匹配。 知识的缺失性理论（见下面的其他因特网资源部分中的链接）认为，为了代理人的真正信念，必须在接受进一步命题的意义上不应引导代理人来吸引代理人来阿巴肯的真实信念。 翻译成思想语言变化，这意味着询问者的真正当前猜想只有在没有进一步的证据时才能够算作知识，只有没有让她改变她的思想并采纳替代虚假猜想。 柏拉图的Meno生动地传达了这一点。

现在这是真正意见的性质的说明：虽然他们恪守我们，但他们是美丽而富有成效的，但他们逃离了人类的灵魂，而且不会持续很长时间，因此它们并不是太多价值...... 但是，当他们受到约束时，他们拥有知识的本质; 而且，在第二个地方，他们持久。

真的假设。“所有祖母绿都是绿色的”“有一个非黑人乌鸦”

猜想0。“所有祖母绿都是GRUE（1）”“有一个非黑人乌鸦”

观察1。绿色翡翠。黑乌鸦

猜想1。“所有祖母绿都是GRUE（2）”假到假“所有乌鸦都是黑色的”真假

观察2。绿色翡翠。白色乌鸦

猜想2。“所有祖母绿都是绿色的”假到真实“”有一个非黑色乌鸦“假到真实

说明回归和渐进的头脑变化

虽然最小化回归性思维变化是一种更重要的认识目标，而不是避免心灵变化一般，它导致逼近的诱导措施较弱。 与此同时，任何遵循它的狭窄都带来了更规范的力量。 上表说明了归纳新谜语和乌鸦问题的两个原则之间的差异。 在新的归纳谜语中，如果只观察到绿色祖母绿，投影规则可能会继续投影任何数量的令人难题的谓词而不产生回归的思想变化：它只是为了另一个错误的令人难以置信的谓词来放弃一个错误的令人惊力的谓词。 因此，即使是不自然的投影规则也会产生回归的思维变化，只要他们一旦采用，他们就不会放弃“所有绿色假设”。

对于所有乌鸦是黑色的问题，最小化回归思维变化的后果是不同的。 再次考虑相反的方法，即在观察黑色样本后存在非黑皮乌鸦。 如表中所示并讨论，相反的方法必须最终改变其假设，在看到更多的黑掠夺以猜想所有乌鸦都是黑色之后，然后，在观察白色的乌鸦时，恢复其真正的初步假设，即有一个非黑白乌鸦。 因此，相反的方法在最坏的情况下经历了至少一个回归思想变化。 另一方面，在观察黑色样本之后断言所有乌鸦的概括方法只会在观察到非黑化人乌鸦时改变其猜想 - 从虚假假设变为真实假设。 因此，避免回归思维变化的原则将呈现相反的方式单独出现概括方法。

作为示例说明的，回归思维变化与猜想的循环相关联。 这是因为在采用假的一个方面必须最终返回真正的假设，因此回归思维变化导致至少一个循环真正的猜想假猜想真实猜想。 因此，在无循环学习[Genin和Kelly 2015]的标题下研究了避免回归思维变化的方法或最小化U形旋转[Carlucci等人。 2005]。 Genin和Kelly [2015,2019]提供了一种阐明的一般结果，阐明了避免回归思维变化和猜想循环的一般方法导入（第5.4节所述）。 它们的结果属于一个定理家庭，在避免心灵变化和ockham的剃刀之间建立一个醒目的联系，我们在下一节中讨论。

5.简单，稳定的信仰和ockham的剃刀

关于归纳推理和科学方法的强烈直觉是，我们应该更喜欢复杂的假设; 看简单的条目。 统计人员，计算机科学家和其他有关从观察学习的其他研究人员已经大量利用偏好，以简单地解决实际的归纳问题[Domingos 1999]。 从基本的角度来看，至少有两个原因是错误的。

理由问题：为什么采用简单的假设？ 一个明显的答案是世界简单，因此复杂的理论是假的。 然而，Apriori声称世界简单的是高度争议 - 看看简单的简单。 从学习理论的角度来看，驳回复杂的假设损害了归纳方法的可靠性。 在凯利的隐喻中，一个固定的偏见就像一个停止的手表：当它在正确的时间指向时，我们可能会碰巧使用手表，但手表不是讲述时间的可靠仪器[凯利2007a，2010]。

描述问题：认识论家担心简单不是一个假设的客观特征，而是“取决于呈现方式”，因为诺齐克把它放了。 Goodman的谜语说明了这一点。 如果概括以蓝绿色术语框架，“所有祖母绿都是绿色的”似乎比“所有祖母绿是第一个绿色，然后是蓝色”似乎更简单。 但是，在一种grue-bleen语言中，“所有祖母绿都是grue”似乎比“所有祖母绿是第一个grue然后bleen”似乎更简单。

学习理论家从事近期和正在进行的努力应用手段结束的认识学，以制定一种在解决这些问题的简单和归纳之间的联系理论[凯利2010，Harman和Kulkarni 2007，Luo和Schulte 2006，钢铁2009]。 事实证明，富有成效的视角是检查假设空间的结构与相应感应问题的脑部变化复杂性之间的关系。 基本因的想法是，虽然简单不喜欢真理的先验联系，但选择简单的假设可以帮助询问者更有效地找到真相，从而在避免头脑变化的意义上。 凯利的道路隐喻说明了这个想法。 考虑到目的地的两条路线，一个通过直的高速公路，另一个通过背道路。 这两个路线最终都会导致同一点，但后面的道路需要更多的曲折和转弯[凯利2007a，2010]。

这个想法的正式化采用了OCKHAM定理的形式：显示（根据适当限制）的定理，即归纳方法对于给定的问题尽可能有效地找到真理，如果该方法是ockham方法，即它选择最简单的假设与数据一致。 OCKHAM定理为OCKHAM的归纳剃须刀作为认知目标的手段提供了理由。

ockham定理是否为真，取决于ockham方法的描述，即，在一组假设的简单性的精确定义上。 使用我们解释的语言不变的简单测量，存在一系列数学结果，我们解释了ockham定理。

5.1定义简单

例如，如果存在证据序列，则可以验证来自背景组的Backositive H，使得H是与证据顺序一致的H一致的唯一假设。 例如，在上面的黑色乌鸦问题中，假设“有一个非黑根乌鸦”是可核实的，因为它被观察到非黑斑乌鸦。 假设“所有乌鸦都是黑色”是不可核实的，因为它不受任何有限的证据顺序。 以下过程从一组假设H [浮子炎1994，罗和舒尔特2006]为每个假设H分配简单等级。

分配所有可验证假设简单级别0。

从假设空间中删除可验证假设以形成新的假设空间H1。

将简单性等级1分配给保证H1可验证的假设。

从假设空间中删除具有简单级别1的新可靠的假设，以形成新的假设空间H2。

继续删除假设，直到没有给出当前假设空间的确认新假设。

每个假设H的简单等级是通过该程序去除它的第一阶段。 换句话说，它是第一限制假设空间的索引，使H验证。

具有更高简单级别的假设被认为比具有较低级别的人更简单。 简单级别在逻辑蕴涵关系方面定义，因此是语言不变的。 定义的简单级别可以被视为以下意义上的伪料度。 考虑一个简单级别的假设1.这种假设是伪造的，因为验证秩0的替代假设的证据序列伪造它。 此外，无论观察到它是否一致的证据序列，它仍然是持续伪造的简单秩1的假设是持续伪造的。 简单性等级n + 1的假设是通过秩n的假设持续伪造的。 让我们说明运行示例中的定义。

5.2例子

在诱导的谜语中，可验证假设是具有临界时间T的GRUE假设：任何序列的T次为蓝绿色，其次是蓝色的序列需要相应的GUE（T）泛化。 因此，GRUE假设接受了简单级别0.在消除了GRUE假设之后，唯一的剩余假设是“所有祖母绿是绿色”。 鉴于它是限制假设空间中的唯一可能性，“所有祖母绿都是绿色”的任何绿色祖绿色均依次。 因此，“所有祖母绿都是绿色”的简单级别1.除了删除所有绿色假设之后，仍然没有假设。

在乌鸦颜色问题中，可核实的假设是“将被观察到的非黑白乌鸦”，这会收到简单的等级0.除了移除非黑皮乌鸦的假设之后，唯一的剩余可能性是只有黑乌鸦将是观察到，因此在限制假设空间中可核实该假设，并在简单级别1获得简单级别1。

因果图的简单等级由图中未包含的直链路数量给出。 因此，由于因果模型，越少的直接链接，其简单级别越高。

一系列保护法的简单级别由独立法律的数量给出。 （在线性代数的独立性。）因此，通过理论引入了更多的非冗余法，其简单等级越高。 每种法律都规定了一些反应，因此鉴于观察到的反应的独立法律最大化相当于裁定尽可能多的未观察到的反应。

5.3稳定的信仰和简单性：A ocham定理

以下定理显示了归纳问题的思维变化复杂性与定义的简单排名之间的连接。

定理。 让H成为一系列经验假设。 然后，存在一种方法，可靠地识别H中的H中的H从H中的正确假设，如果上面定义的消除过程终止在n阶段之后的空集的假设终止时，则才能最多地识别到最多。

因此，对于最多不可能溶解的归纳问题，任何可能假设的最大简单级别是n。 在诱导的谜语中，最大简单等级为1，因此在大多数1个脑部变化中可以解决这个问题。 下一个结果提供了连接简单性和思维变化性能的ockham定理。

ockham定理。 让H成为一组经验假设，最佳的心灵变化绑定n。 然后，incuctive方法是inveLylyal，如果才能满足以下条件。

每当该方法采用H来自H的一个假设时，这个假设是与证据一致的独特最简单的假设。

如果该方法在查询时间t + 1改变其思想，则在时间t处的唯一最简单的假设在时间t + 1伪造。

本定理表明，一种思想更改的最佳方法可能扣留猜想作为怀疑论者，但如果它确实采用了明确的假设，则假设必须是最简单的一个，在具有最大简单性等级的意义上。 因此，第4节中讨论的心灵变化是所有的ockham方法，它采用与数据一致的最简单的假设。 ockham定理表明，从长远的反对意见，长期的可靠性对短期猜想的限制施加了太少的逆转的逆转：如果我们加入了长期收敛到真相，实现稳定信仰的目标，那么实际上就有一种独特的归纳方法，可以在给定的经验问题中实现这一目标。 因此，方法分析从不提供短期处方提供完整的处方。

5.4回归思维变化和简单：另一个ockham定理

之前的章节为每个假设的调查定义了完全简单的排名。 这意味着可以将任何假设与另一个假设相比更简单或同样简单。 一种苛刻的概念是部分顺序，其允许一些假设可能根本不可比较，就像苹果和橘子。 Genin和Kelly [2015]表明以下部分阶数导致避免回归思想变化的ockham原则（见第4.3节）。

观察序列如果观察结果与H1一致并伪造H2（给定的背景知识），则观察序列将假设H1与假设H2分开。

假设H1与H2不可分离，写入H1＜H 2，如果没有观察序列从H 2分离H1。 等效地，H1＜H2如果且仅当任何与H1一致的证据也与H2一致。