正式学习理论（完结）

分离术语是由于Smets等人。，谁将其与点集拓扑中的分离原则相关联。 就Pock-Set拓扑的认识论解释从第3.2节中，如果H1的每个完整数据序列是H2的数据序列的边界点，则只有H1＜H2。 在鉴定性共振短语中，Genin和Kelly表示，每当H1＜H 2时，假设H1“面向感应的诱导问题”。 这是因为每当H1正确时，可靠的学习者都必须采取“归纳飞跃”和猜想H1，尽管任何有限的证据也与H2一致。

例子

在乌鸦问题中，H1 =“所有乌鸦都是黑色的”＜h2 =“有些乌鸦不是黑色”。 但情况并非如此“一些乌鸦不是黑色”＜“所有乌鸦都是黑色的”，因为白色乌鸦分离H1的H2分离H2。

在因果图学习中，如果曲线图G1包含替代图G2中的那些边的边缘（直接因果关系），则G1＜G2。 这是因为G1可以解释的任何相关性也可以通过较大的图表G2来解释。

在曲线拟合中，L＜q其中l是线性函数集的集合，并且q是一组二次函数。 这是因为可以通过线性函数拟合的任何一组点也可以通过二次函数拟合。

这些例子表明＜部分顺序对应于我们对经验假设的直观简单判断; Genin和Kelly [2019]提供了广泛的索赔。 可以表明，＜订购与前一小节中定义的简单级别同意，从中的意义上，如果H1＜H2但不是H2＜H1，则H1的简单等级小于H2的等级。 这些观察结果激励了ICHHAM原理：如果始终猜测与证据一致的最大简单的假设H一致，则诱导方法满足occuctive方法。 在我们的符号中，如果OCKHAM方法给定假设H给出有限观察序列，则没有替代更简单的假设H'，使得H'＜H。 也就是说，如果H“是真的，每种替代假设H'最终将与证据分开。 在乌鸦示例中，概括方法满足了ockham原理，但相反的方法没有，因为它采用H2 =“一些乌鸦不是黑色”。 以下定理表明，ockham原则和回归思维变化之间的连接是一般的。

定理。 如果诱导方法避免猜测循环（并且因此回归的脑电变化），则它可以满足可分离性满足OCKHAM原理。

对于证明，请参阅Genin和Kelly [2015; 定理10]。 Genin和Kelly还提供足够的条件来避免刺激循环。

虽然这一部分的结果在简单和思维变化的最优性之间建立了富有成效的连接，但对方法的限制是它要求某些假设必须被一些证据顺序得出结论或伪造。 这通常不是统计模型的情况，其中假设的概率可以是任意较小的但通常不是0.例如，考虑硬币翻转问题，并且假设“头部的概率为90％”。 如果我们观察一百万个尾巴，假设的概率确实非常小，但它不是0，因为任何数量的尾部都与头部的高概率一致。 下一节讨论了可靠性主义方法如何适应统计假设。

6.可靠地学习统计假设

统计假设是实际数据驱动决策中最常见的，例如在科学和工程中。 因此，对于包含统计假设的归纳推理的哲学框架是重要的。 统计假设和我们迄今为止考虑的假设套件之间存在两个关键差异[2015年清醒]。

观察与假设之间的关系是概率，而不是抑制：统计假设为观察序列分配概率，通常在0和1之间。不能与观察序列或伪造的一致性假设。

统计假设的分析通常假设观察结果形成随机样本：连续观察彼此独立并遵循相同的分布。 可以分析统计方法，其中稍后观察依赖于当前观察，但电感方法的数学复杂性远大于独立数据。

由于这些属性，非统计方法的学习理论比传统哲学讨论的统计学，归纳推断和科学哲学的统计数据更加直观。 例如，对合理的真实信念的认识论讨论涉及探究者接受命题的信念的演绎概念，而不是为数据分配概率。 科学理论通常从过去观察（初始条件）中对未来数据的确定性预测，因此独立要求使得应用方法框架更加困难以了解科学调查（参见我们的案例研究）。

规范性方式结束认识论可以应用于统计假设以及演绎。 特别是我们将讨论如何对真理和最小化回归思想变化的可靠融合的想法如何适应统计环境。 关键的想法是改变分析单位：而先前我们考虑了对特定数据序列的归纳方法的行为，在统计分析中，我们考虑其聚合行为在一组相同长度的数据序列上。 特别地，我们认为方法猜测假设H对于给定数量的观察结果n。

统计假设的初步

我们将用经典简单示例说明主要想法，观察硬币翻转，并指出它们如何概括为更复杂的假设。 有关更多详细信息，请参阅[Genin和Kelly 2017，2018 Genin]。 假设调查员对硬币的未知偏置P有一个问题，其中P代表单个翻转出来的机会“头”。 不同的可能假设对应于偏压P的不同范围，即，[0,1]的分区，偏置的范围。 让我们说调查员问一个简单的观点：是硬币博览会吗？ 然后我们有

h1 =“p = 0.5”

H2 =“不如P = 0.5”。 也就是说，P＜0.5或p＞0.5。

延长我们以前的术语，如果它在H.在我们的示例中指定的设置内，我们将表示真正的偏差值p是假设h的假设h.如果p = 0.5，则偏置值P是正确的 否则P对于H2是正确的。 给定真正的偏差P，并假设独立性，我们可以计算任何有限的观察序列的概率。 这种概率被称为样品分布。 例如，对于具有p = 0.5的公平硬币，观察3个头的概率为0.5×0.5×0.5 = 0.125。 如果头部的机会为0.7，则观察3个头的可能性为0.7×0.7×0.7 = 0.343。 注意独立假设如何允许我们将一系列观察序列的概率计算为单个观察概率的乘积。 如果没有独立的假设，我们无法从单一观察的概率推断出多次观察的概率，并且不定位样品分布。

像往常一样，在该条目中，感应方法在观察有限序列后猜测假设。 一种猜测统计假设的方法称为统计测试（请参阅下面的其他因特网资源部分中的链接）。 统计文献为不同类型的统计假设提供了广泛的计算有效统计测试。 在下面的讨论中，我们考虑了这种方法的一般学习绩效，关于可靠的融合到真实假设，避免了思维变化。 考虑固定的观察长度n，称为样本大小。 对于样品尺寸N，存在一组长度的样本，使得该方法猜测假设Hgive样品。 例如，对于n = 3，在观察3个头后，该方法可以猜测H2 =“硬币不公平”。 该方法输出假设H给出一些长度N样品的聚合概率，是样品的样本概率之和，使得该方法给予样品的H. 在补充中，我们举例说明了总概率的示例计算。 因为这种聚合概率是统计假设方法的关键数量，所以我们介绍了以下符号。

pn，p（h）=给定的电感方法在n观察结果后猜测假设h的概率，因为单个观察的真正概率是p

在非统计学学习中，我们需要一种可靠的方法，最终在足够多的观察后最终解决真正的假设。 该标准的统计版本是在足够多的观察后，猜测真假设的机会应该接近100％。 技术地说，该方法算法偶然识别真正的统计假设，如果每个偏压P，并且对于每个阈值0＜T＜1，则存在用于所有较大的样本尺寸的样本大小，该方法猜测P与P的假设H表示最小概率t。 在符号中，我们具有PN'，P（h）＞所有样本大小n'＞n，其中h是p的假设。 下图说明了猜测真实假设的机会如何随着样本尺寸而增加，而猜测假假设的可能性随着样本大小而降低。 通过用参数列表替换真正的偏置值p，可以通过替换真正的偏置值p来概括到更复杂的统计假设。

图8 [图8的扩展描述是补充。]

限制识别的概念的概念类似于限制收敛到瑞希纳巴赫的务实辩护中的概率估计的概念。 翻译成我们的例子，Reichenbach考虑了输出真正偏置值P的估计的归纳规则，并且要求这样的规则在每个偏置值P的索引中会聚到真实值，并且对于每个阈值0＜t＜1，存在样本大小n这样，对于所有较大的样本尺寸，具有概率1，规则输出到最多t的估计值与真值p不同。 在统计中，如果采样大小的增加，则调用方法一致，该方法将正确答案的方法收敛到100％（请参阅下面的其他因特网资源部分中的链接）。 术语是不幸的，因为它建议哲学读者与正式证明系统的一致性联系。 事实上，一致性的统计概念与演绎逻辑无关; 相反，它是识别识别概念的概率模拟，这是本入口的主要主题的探讨。

Genin和Kelly提供了一种表征定理，为一组统计假设提供必要和充分的条件，以偶然可识别，类似于第3.3节中讨论的结构条件[2017; 定理4.3]。 Genin [2018]讨论了最小化心灵变化的要求的统计类似物。 回想一下，当询问者吸引真正的假设有利于虚假的第4.3节时，就会发生回归思维变革。 概率模拟是逆转的机会，当样品尺寸增加时呈现真假假设的机会时发生。 例如，考虑疫苗是否对传染病有效的问题。 假设疫苗制造经营着1000名患者的试验，并设计了一种统计方法，该方法有90％正确地表明疫苗有效，当情况确实如此。 现在使用相同的统计方法使用1500名患者进行另一次试验。 如果该方法正确表明疫苗有效降至80％，则会发生机会逆转。 如该示例所示，逆转的机会对应于复制真实结果的故障。 在上图中示出了逆转，其中透露真正假设的机会比为3，虽然有机会逆转显然不希望，但实际上常用的统计方法难以避免这种逆转Geniin 2018] 更可行的目标是通过阈值T绑定逆转，使得如果猜测真相的机会随着样本大小的增加而减小，则它最多减少。 （在符号中，pn，p（h）-pn + 1，pn + 1，p（h）＜t对于所有样本大小，n和真正的偏差值p，其中h是p。）GenIn [2018]显示有界机会逆转是可行的情况，并提供了阐明了限制的ockham定理，限制率逆转提供统计假设学习。

7.其他方法：分类与假设的命令

康德区分了一个不管一个人的个人目的和情况如何遵循，以及指示我们雇用我们的手段的假设要求。 考虑学习理论的一种方法是作为实证调查的假设必要性研究。 许多认识论家提出了归纳查询的各种分类要求，例如以“归纳逻辑”的形式或“认知理性的规范”。 原则上，假设和分类要求有三种可能的关系进行实证调查。

1.分类的命令将导致询问者获得认知目标。 在这种情况下，意味着结束分析证明了基本的势在必可。 例如，当面对一个简单的通用概括时，如“所有乌鸦是黑色”，我们在上面看到，在Popperian的配方之后采用伪造的泛化并粘在其上，直到对其产生可靠的方法。

2.分类的命令可能会阻止询问者实现他的目标。 在这种情况下，分类的命令限制了查询范围。 例如，在具有例外的两个替代概括的情况下，保持通用概括的原理，直到它被伪造地导致不可靠的方法（CF. [凯利1996，CH.9.4]）。

3.有些方法符合询问的分类势在必行和目标，也没有。 然后我们可能会尽力而为，并选择达到查询和满足分类起命目标的那些方法。 （参见本节的进一步讨论。）

对于提出的查询规范，我们可以应用手段 - 结束分析，询问规范是否有助于或阻碍查询的目标。 这是Putnam对Carnap确认功能的批判的精神[Putnam 1963]：他的论文的推动是Carnap的方法在检测到作为其他方法的常规模式方面不那么可靠。 最近，学习理论家已经调查了贝叶斯调理的力量（参见贝叶斯认识学的条目）。 John Earman已经猜明，如果给定的问题有任何可靠的方法，那么贝叶斯更新的可靠方法[Earman 1992，Ch.9，Sec.6]。 Cory Juhl [1997]提供了议员猜想的部分确认：他证明它在只有两个潜在的证据（例如，“翡翠是绿色”的潜在证据时，它持有。 一般情况仍然是开放的。

认知保守主义是一种方法论规范，至少在哲学中突出，因为奎因对我们信仰的“最小叛变”的概念[1951]。 如上所述，如上所述，一个版本的认知保守主义持有该询问应该寻求稳定的信念。 另一方面，更接近Quine的制定，这是一种常见的迫切，即鉴于新证据的信念变化应该是最小的。 最近在哲学逻辑中的工作已经提出了许多称为AGM公理的最小信念变化的标准[Gärdenfors1988]。 学习理论家已经表明，每当有一种可靠的方法来调查经验问题时，就有一个通过最小的变化进行（如AGM假设的定义）进行。 在[Martin and Osherson 1998，Kelly 1999，Baltag等人的情况下，在[Martin和Osherson 1998年，在Martin和Osherson 1998年进行了可靠查询的性质。 2011年，Baltag等人。 2015]。

许多计算学习理论侧重于具有有界合理性的探究者，即具有认知限制的代理，例如有限的存储器或有界计算能力。 许多不干扰逻辑上无关代理的经验成功的许多分类规范仍然限制了认知有限代理的范围。 例如，考虑一致性的规范：相信假设一旦证据与它逻辑上不一致，假设是假的。 一致性原则是贝叶斯确认理论和agm信仰修订的一部分。 Kelly和Schulte [1995]表明，一致性可防止具有无限无明确的认知能力的代理，从可靠地评估某些假设。 道德是，如果一个理论是足够的复杂，那么在逻辑上无所不知的代理可能无法立即确定给定的一条证据是否与理论一致，并且需要收集更多数据以检测不一致的数据。 但一致性原则 - 和Fortiori，贝叶斯更新和AGM信仰修正 - 不要承认“等待和观察更多”作为科学策略的有用性。

在Huber [2018]，[Glymour 1991]，[凯利1996，CHS，诸如意味着结束认识论中的这些和其他哲学问题的思考和其他哲学问题。 2,3]，[Glymour和Kelly 1992]，[Kelly等人。 1997]，[Glymour 1994]，[Bub 1994]。 特别涉及科学哲学的兴趣可能是学习 - 理论模型，适应历史主义者和相对主义者的询问概念，主要是通过扩大归纳方法的概念，以便可以主动选择范式查询的范式 有关此主题的更多详细信息，请参阅[Kelly 2000，Kelly 1996，Ch.13]。 学习理论的数学的书籍长度介绍是[凯利1996，Martin和Osherson 1998，Jain等人。 1999]。 “归纳，算法学习理论和哲学”是最近关于学习理论的着作[朋友等人。 2007]。 贡献包括介绍论文（Harizanov，Schulte），数学进步（马丁，沙姆加，斯蒂芬，卡拉兰里），了解学习理论的优势和含义的哲学思考（甘草，罗尔，朋友），理论对哲学问题的应用（凯利），以及哲学史上学习理论思维的探讨（歌德）。

补充文件：基本的正式定义