正式学习理论（二）

2.2因果关系

有一个关于因果图中所代表的学习因果关系的实质性研究[Spirtes等。 2000]。 凯莉建议了一种学习 - 理论分析，对推断因果关系的分析，其中证据是观察到的兴趣变量的显着相关性的形式（现代版的休谟“恒定的连词”）。 随着观察到越来越多的相关性，可以保证以下归纳方法将经验充分的因果图纳入[Schulte，Luo和Greiner 2007]。

假设我们观察了一组感兴趣的变量中的一组相关关系或关联。

选择一个因果图，该图介绍了与最小数量的直接因果关系的观察到的相关性。

2.3认知架构模型

一些思想哲学家认为，心灵由相当独立的模块组成。 每个模块都有自己的“输入”来自其他模块，并将“输出”发送到其他模块。 例如，“听觉分析系统”模块可能以输入称为听到的字并将语音分析发送给“听觉输入词汇”。 模块化组织的想法提出了有哪些心理模块的经验问题以及它们如何彼此联系起来。 通过研究正常和异常受试者对各种刺激的反应，突出的认知神经科学研究传统试图沿着这些线路开发沿着这些线的心理架构模型。 这个想法是将正常反应与异常的反应进行比较 - 经常由脑损伤引起的 - 以便吸引牙齿能力彼此依赖的推论以及如何。

Glymour [1994]要求依赖封锁方法是否有资产，以最终解决精神组织真正的精神组织理论，令人遗憾的是关于正常和异常能力和反应的详尽证据。 他认为，对于一些可能的心理架构，没有刺激反应类型的证据可以区分它们。 由于可用证据确定了诱导方法的猜想，因此不保证一种方法将解决认知架构的真实模型。 Glymour还探讨了在多大程度上更丰富的证据可以解决未定的心理架构。 （富裕证据的一个例子是双重脱离。一个双重解除的例子将是一对患者，一个患者，一个人具有正常能力理解口语的能力，但未能理解书面，另一个人理解书面话语，而不是说话。）

在进一步的讨论中，BUB [1994]表明，如果我们授予关于精神模块的某些限制假设，那么一套完整的行为观察将允许神经心理学家确定（正常）心灵的模块结构。 实际上，在BUB的假设下，有一种可靠的方法来识别模块化结构。 该程序的高级思想如下。

如果模块M1在模块M2上呼叫模块M2，则可以使用包含来自模块M1→M2的边缘的图G识别每个假设的模块化结构。

每个模块图G与模块之间的一组可能的路径一致。 例如，如果由G定义的路径是由G'约束的那些的子集，则图G比另一图G'更受约束。

猜测任何最大限制的模块图G，即，没有比G更受约束的其他图形G'。

2.4讨论

这些研究说明了学习理论的一些一般特征：

一般性。 理论的基本概念非常一般。 本质上，该理论适用于提示询问的问题，许多候选人答案以及答案中决定的一些证据。 因此，可以在任何针对经验知识的任何纪律中应用的方法，例如物理或心理学。

上下文依赖。 学习理论是纯粹的规范性的先验认识论，它在意义上涉及在可能的查询环境中评估方法的标准。 但该方法并不旨在实现普遍，无背景的方法。 方法论建议取决于偶然因素，如手术方法规范，调查问题，代理商带来询问的背景假设，观察手段，她的处置，她的认知能力和她的认知目标。 因此，为了评估给定域中的特定方法，如提到的案例研究中，必须研究有问题的案例的细节。 手段结束分析通常通过指出给定科学企业的关键方法特征以及通过准确解释为什么和这些功能如何与企业的成功进行解释，以奖励这项研究，以实现其认识目标。

权衡。 在手段结束认识论的角度下，询问涉及持续斗争，而不是执行普遍的“科学方法”。 调查人员必须平衡相互矛盾的价值观，并可能考虑在短期运行中接受困难的各种策略，希望从长远来看。 例如，在保护法问题中，理论规定，即保护法，保守法和本体定义，即引入较少的隐藏颗粒，可能存在冲突。 例如，粒子理论主义者可以接受阳性未被发作的粒子，希望它们最终将被视为科学进展。 搜索HGGS BOSON的策略。 一个重要的学习 - 理论项目是在出现这种权衡以及解决这些权衡的情况时检查。 第4节延长了学习理论分析，以考虑目标除了长期可靠性之外。

3.查询的限制和实证问题的复杂性

在看到类似于上述的示例之后，一个人开始想知道模式是什么。 关于允许查询可靠地抵达的实证问题是什么？ 我们可以如何进入测试假设的可靠方法是什么概念？ 学习理论家用特征定理回答这些问题。 特征定理通常是“在给定的感应问题”中可以在给定的感应问题中获得这种标准，如果归纳问题符合以下条件，则可以获得在给定的感应问题中“。

我们首先涵盖查询可以确定经验假设是否正确（相对于背景知识）。 然后，我们考虑何时以及如何何时以及如何汇集到正确的假设，而不抵达某些结论，如第1节所述。我们将介绍足够的定义和正式概念，以确切地说明结果; 补充文件提供完全正式化。

学习问题由有限或可用的无限的可能假设H = H1，H2，...，HN，......。 这些假设是相互排斥的，共同涵盖与询问者的背景假设一致的所有可能性。

例子

在第1.1节的乌鸦颜色问题中，有两个假设H1 =“所有（观察到的）掠夺是黑色的”，H2 =“一些（观察到的）乌鸦不是黑色的”。

在新的第1.2节的诱导谜语中，有无数的替代假设：我们有HGREEN =“所有（观察到的）祖母绿是绿色的”，并且可以是形式的许多替代品HT =“所有（观察到的）祖母绿是GUE（T）”其中T是自然数。

本节定义假设的属性，确定从观察中的检测查询可以指示它们是否正确。 这些属性不是绝对的，而是相对于一组替代方案H，其中任何一个都可以获得所有调查者知道。 最基本的相对属性是相对征报。

如果H对延长有限观察的一些完整的数据序列，则H假设H与有限数量的观察结果一致。

如果H与观察结果不一致，则有限数量的观察结果伪造假设H.

有限数量的观察，相对于假设Set H，如果h是与观察结果一致的唯一假设，则需要假设h。

请注意，由于逻辑素质不依赖于我们用于帧证据和假设的语言，因此一致性，征集和伪造的概念不依赖于我们用于帧证据和假设的语言。

示例。 回想起1.1节（为方便重复的图）的乌鸦情景。

与图1相同：链接到下面的扩展描述

图1 [图1的扩展描述是补充。]

第一个乌鸦是黑色的观察结果与假设H1 =“全部（观察到的）掠夺是黑色的，H2 =”一些（观察到的）乌鸦不是黑色的“。 观察到第一个乌鸦或任何乌鸦是白色的伪造假设H1并需要假设H2。 灰色风扇结构说明了雷图明，这意味着在观察任何白色乌鸦之后，假设H1对于任何延伸的完整数据序列是正确的，这些完整数据序列记录了所有进一步观察到的掠夺的颜色。

3.1可验证和对细化的假设

我们需要了解可以通过可靠查询解决的假设结构的下一组概念是可验证和谬论假设的概念。 索赔的可验证性和伪石可在认识论和科学哲学中进行了广泛讨论，特别是哲学家涉及逻辑经验主义问题。 该子部分描述了如何在学习理论中使用这些概念，然后将学习理论概念与更广泛认识学中的讨论进行比较。

假设H是可核实的，如果H是正确的，则最终观察到证据，需要H是正确的。 更重要的是：H是关于假设SET H的验证，如果对于其中H正确的每个完整的数据序列，则存在有限数量的观察，其伪造来自H的所有替代假设H'。

假设H是反应的，如果H，最终观察到伪造的证据，则伪造H.更正式：H对假设SET H的反复化，如果对于每个完整的数据序列，其中H不正确（但在H中的其他一些假设）时，存在有限的观察结果，伪造H.

例子

假设H2 =“有些（观察到的）乌鸦不是黑色”是可验证的，但不反驳。 它是可验证的，因为它是正确的任何数据序列，在某个有限时间内具有非黑色乌鸦。 观察非黑乌黑乌鸦需要H2。 假设H2不稳定，因为如果只观察到黑色掠夺，则H2是不正确的，但没有有限的观察结果伪造H2。

假设H1 =“所有（观察到的）掠夺是黑色的”是可靠的，但不能核实。 它是反驳的，因为它不正确的任何数据序列都具有在某个有限时间的非黑色乌鸦。 观察非黑乌鸦伪造H1。 H1不是可验证的，因为如果只观察到黑乌鸦，那么H1是正确的，但没有有限的观察观察结果需要H1。

在第1.2节的新谜题中（方便的图6例）中，假设“所有（观察到的）祖母绿是绿色的”所有（观察到的）是绿色的“是谬论但不能核实，出于与”所有（观察到的）掠夺是黑色的“所有（观察到的）掠夺”是反驳的可验证。

任何GUE假设HT =“所有（观察到的）祖母绿都是GUE（T）”是可核心和对方的。 HT是反驳的，因为任何完整的数据序列都是错误的，所以将有一个伪造它的ConderExample。 HT是可验证的，因为如果它是正确的，那么在时间t的蓝色祖母绿的第一次观察伪造了假设“所有（观察到的）祖母绿是绿色的，并且也伪造了所有其他HT假设。

令人毛骨悚然的假设的示例表明，经验假设可以是可验证的和反复化（有时被称为“可判断”的计算理论）。 可判定的经验声明的其他典型示例是奇异观察，例如“第一个乌鸦是黑色”，以及奇异观测的布尔组合。

与图4相同：链接到下面的扩展描述

图4 [图4的扩展描述是补充。]

我们将简要讨论与认识论和科学哲学的相关概念的相似之处和差异。

验证主义是逻辑经验主义哲学的一部分。 核心思想是，对于声称要有意义，必须经验验证。 与我们的概念的主要区别是哲学目标：学习理论的目标不是从毫无意义的索赔中分离有意义，而是为了表征实证成功标准，我们可以期待给定一组假设的询问。 根据上述定义可验证的假设允许查询提供肯定测试：当假设是正确的时，询问将最终表明它的正确性（给定的背景知识）。 逻辑经验主义者提供的“验证性”的具体定义不等同于学习理论意义上的可验证性。 例如，严格的验证主义认为，“为了有意义，必须通过有限数量的观察句来暗示。”。 没有有限数量的观察句等同于H2 =“一些（观察到的）乌鸦不是黑色的假设”，因为这个假设相当于观察句（即，时间1的非黑乌鸦，在时间2，......）的非黑乌鸦。

伪造主义是科学哲学中的知名观点。 核心思想是，对于教练来说是科学的，而不是伪科学或形而上学，它必须在以下意义上伪造：“陈述......为了被评为科学，必须能够与可能的冲突，或者可以想到观察”。 （Popper 1962,39）。 与我们的发展的主要区别是哲学目标：学习理论的目标不是从伪科学理论划定科学假设，而是表征实证成功标准，我们可以期待给定一组假设的探究。 根据上述定义来反应的假设允许查询提供负面测试：当假设不正确时，询问将最终表明其不确定（给定的背景知识）。 上述Popper引用中“伪料”的具体定义不等同于学习 - 理论意义上的压力[Schulte和Juhl 1996]。 例如，假设H =“第一个乌鸦是黑色，一些其他乌鸦是非黑色的”冲突，这是第一个乌鸦是白色的可能观察。 但是，如果实际上所有观察到的乌鸦都是黑色的，那么H是不正确的，但没有通过任何有限次数观察伪造，因此不根据学习理论定义来反驳。 进一步讨论Popperian伪造与学习理论之间的关系，见[Genin 2018]。

3.2点设置拓扑和可验证性的原理

为了进一步阐明验证和防水性的学习理论概念，我们注意到它们满足以下基本属性。 我们给出非正式但严谨的证据。

可验证假设的分离也是可验证的。

证明：让h = h1或h2，...或hn或...是可验证假设hi的分离（差障可能是无限的）。 假设H是正确的完整数据序列的正确性。 然后一些HI对数据序列是正确的。 由于HI是可验证的，有一个有限数量的观察结果，即因此需要H.因此如果H对任何完整数据序列都正确，则根据需要H的序列，有一个有限次数，因此需要H的序列。 例如，让你是可验证假设，即时我有一个非黑乌黑乌鸦。 然后假设H =“一些（观察到的）乌鸦不是黑色”相当于H1或H2，......或HN或......。 由于每个假设HI是可验证的，因此H.

可验证假设的有限连词也是可验证的。

证明：让H = H1和H2，...和HN是可验证假设HI的有限结合。 假设H是正确的完整数据序列的正确性。 然后每个HI对数据序列都是正确的。 由于HI是可验证的，因此有一个有限的观察结果，需要嗨。 因为只有有限的许多假设HI，最终将通过有限次数观察来验证每个假设，这需要它们的结合H.因此，如果H对任何完整的数据序列是正确的，则存在来自需要H的序列的有限次数，如验证性需要。 例如，让H1是可验证假设，即第一个乌鸦是非黑色的，让H2成为第二只乌鸦非黑色的可验证假设。 如果HENCLEN H = H1和H2对于数据序列是正确的，则前两个掠夺不是黑色的。 因此，观察前两只乌鸦需要H.

是一个正版学和矛盾（琐碎）可验证。

证明：TaItology（如“第一个观察到的乌鸦是黑色或黑色或黑色”）对任何数据序列都是正确的，并被任何证据顺序才能。 如果它是正确的，因此，差异是矛盾的（如“第一个观察到的乌鸦是黑色的，而不是黑色”）是彻底验证的。

如果否则否定否则，则验证假设是可验证的。

证明：我们考虑唯一的方向; 交谈类似。 假设假设的否定不是h是反驳的。 考虑任何完整的数据序列，假设h是正确的。 然后不是H是不正确的，并且将由有限次数的观察结果伪造，因为它是反驳的。 这种有限的观察组需要H.因此，如果H对任何完整数据序列都正确，则根据需要H的序列存在有限数量的观察结果，这是验证性所需的。 例如，H =“一些（观察到的）乌鸦不是黑色”是对细化假设的否定而不是H =“所有（观察到的）乌鸦都是黑色的。 如果没有h的完整数据序列是不正确的，则最终将伪造非黑色乌鸦的观察。 这种观察结果需要H.

值得注意的是，列出的属性正是称为Pock-Set拓扑的重要分支的基本公理[Abramsky 1987，Vickers 1986]。 拓扑空间由称为开放集或邻域的集合来定义，该集合可以满足可验证假设的公理性能（在任意工会下关闭和有限差点，空集和整个空间都是打开的）。 打开集的Set-理论恭维称为已关闭集合，因此对关闭集合对应于封闭式集。 被引导的拓扑发明是为了支持一种没有数字的广义功能分析（更准确地说，没有距离）。 它醒目的是，拓扑的基础公理在经验假设的性质方面具有精确的认识论解释，允许确定核实或伪造。 学习理论的当前数学发展通常是作为一种基本概念，这是一组满足所列出的属性的一组可验证假设。 这种方法有两个优点。

学习理论可以借鉴，贡献丰富的概念，以及来自现代数学最发达的分支之一[凯利1996，Baltag等人的结果。 2015年，de Brecht和Yamamoto 2008]。

将证据项目的概念调整到应用程序的上下文的灵活性使得更容易应用于不同域中的一般理论。 例如，考虑获得越来越多的兴趣测量的问题（例如，物理学中的光速）。 我们可以将基本的可验证假设围绕数量（数量的真实价值）打开间隔[BALTAG等人。 2015年，Monist，Genin和Kelly 2017]。 另一个例子是下面第6节中涵盖的统计可验证的概念。

为了具体性，该条目描述了基本可验证假设是有限序列证据项目的剖钉的例子。 我们将描述定义和结果，使得它们仅假设列出的公理性质，以便它们易于应用于其他设置。

3.3查询限制的可识别性

基本结果描述了一种方法可以可靠地在相互排斥的假设中可靠地找到正确假设的条件，这些假设共同涵盖了与询问者的背景假设一致的所有可能性。 H的学习者将有限的观察顺序映射到H中的假设。例如在归纳的新谜语中，自然投影是一个学习者的假设集合，包括“所有祖母绿是绿色”，H1 =“所有祖母绿都是GUE（1）”，H2 =“所有祖母体都是GRE（2）”等。所有临界时间t。 学习者可靠地识别或简单地识别，如果每个完整的数据序列都有以下保持：如果h来自h是数据序列的正确假设，则存在有限次数的观察，使得学习者猜测正确的假设h对于与数据序列一致的任何进一步的观察结果。 概括方法和自然投影规则是其假设集的可靠学习者的示例。

定理。 有一个学习者可靠地识别H如果每个假设H是具有细化假设的有限或可数分离的H，则可靠地识别H.

对于证明见Kelly [1996，Ch。 3.3]。

例。 为了说明，让我们回到两个替代假设的鸟类例子：（1）所有但是有限的许多天鹅都是白色的，并且（2）所有但是有限的许多天鹅都是黑色的。 正如我们所看到的那样，从长远来看，可以可靠地解决这两个假设中的哪一个是正确的。 因此，通过表征定理，两个假设中的每一个必须是对细化的经验权利要求的分离。 要看看这确实如此，请注意“所有但是有限的许多天鹅是白色”的是逻辑上等同于分离

最多1个天鹅是黑色的，或者最多2天鹅是黑色......或者最多的天鹅是黑色......或......，

同样，“所有但有限的许多天鹅都是黑色的”。 分离中的每个索赔都是反复化的。 例如，采取“最多3天空是黑色”的声明。 如果这是假的，将找到超过3个黑色天鹅，此时索赔是最终伪造的。 下图说明了可识别的假设如何构造为细化假设的抗剖视图。

两个部分图：链接到下面的扩展说明

图5 [图5的扩展描述是补充。]

表征定理意味着我们可以考虑一种可靠的方法，以便采用正在对抗的调查下的原始假设的内部增强版本。 作为上面的示例，定理并不意味着加强的假设是相互排斥的（例如，“最多3天鹅是黑色的”，“最多2天鹅是黑色的”。）。 由于BALTAG，GIERASIMCZUK和SMET的最近替代表征定理[2015]提供了一种替代结构分析，其中可识别的假设被分解成相互排斥的组件，如下所述。

如果相当于可验证的结合和反驳假设的结合（给定的背景知识）：H =（v和r），则假设h是可验证的，其中V是可验证的，并且R是反复化的。 例如，假设“恰好2天鹅是黑色”是可验证的，因为它相当于可确认假设“至少2天空是白色”的结合，并且最多2天空是白色的质量假设“。 “Veridefutable”一词是由于[Genin和2015]; 它表示，当虚构的假设是真的时，存在一些初始条件之后，假设是反应的，即，如果是假的话，假设将被数据伪造。 Baltag等人。 请参阅视网膜内关闭的Vertirefutable假设。 他们建立以下特征定理以获得可靠学习[BALTAG等人。 2015]。