资讯（四）

单个消息X中的信息量是：

我（x）= - logpx

该公式，可以解释为Boltzmann熵的倒数，涵盖了一些关于信息的基本直觉：

消息X在发生的0和1之间具有某个概率Px。

如果px = 1那么i（x）= 0。 如果我们肯定收到一条消息，它就会在al上没有“新闻”。 消息的概率越低，它包含的信息越多。 像“明天太阳会上升”的消息似乎包含的信息比消息“耶稣是凯撒”的信息较少，因为第二个陈述不太可能被任何人辩护（尽管它可以在网上找到）。

如果两个消息x和y是不相关的，则i（x和y）= i（x）+ i（y）。 信息很广泛。 两个组合消息中的信息量等于各个消息中信息量的总和。

作为概率的否定日志的信息是唯一完全满足这些约束的数学函数（封面和托马斯2006）。 Shannon提供了理论框架，其中二进制字符串可以解释为（编程）语言中的单词，其中包含一定数量的信息（见3.1语言）。 表达式-Logpx精确地给出了消息X的最佳代码的长度，并且因此在频繁字母变短表示时代码更有效的旧直觉（参见3.2最佳代码）。 Logarithms作为乘法的减少（见3.3号）是系统广泛特性的自然表征，并且已经被十九世纪物理学家（见3.4物理）所用物理学家使用。

Shannon定义明确不涵盖的信息的一个方面是将消息被解释为命题的信息的实际内容。 因此，“耶稣是凯撒”的陈述和“月亮是由绿色奶酪制成的”可以携带相同数量的信息，而他们的意义完全不同。 信息哲学中的大部分努力都针对更多信息的信息（Bar-Hillel＆Carnap 1953; Floridi 2002,2003,2003）。 虽然Shannon的提议几乎完全被哲学家完全忽视，但它在过去的二点中变得显然，他们对哲学问题的影响很大。 Dretske（1981）是第一个分析香农理论的哲学影响之一，但各种逻辑系统与信息理论之间的确切关系尚不清楚（见6.6逻辑和语义信息）。

4.3 Solomonoff，Kolmogorov，Chaitin：信息作为程序的长度

Carnap（1945,1950）占据了将一组观察结果与定义相应概率相关联的这个问题。 他分辨出两种形式的概率：概率1或“确认度”P1（H; e）是两个句子之间的逻辑关系，假设h和句子e报告一系列观察。 这种类型的陈述是分析的或矛盾的。 第二种形式，概率2或“相对频率”是统计概念。 用他的学生所罗门组织（1997）的话说：

Carnap的概率模型开始于一系列符号，这是整个宇宙的描述。 通过他自己的正式语言分析，他能够为任何可能代表宇宙的任何可能的符号分配先验概率。

用于分配概率Carnap的方法，不普遍，依赖于所使用的代码系统。 当我们可以为“任何可能的字符串”符号分配通用概率时，只能开发使用贝叶斯规则的一般归纳理论。 在1960年的一个论文中，Solomonoff（1960,1964A，B）是第一个绘制解决这个问题的解决方案的概要。 他制定了现在称为通用概率分布的内容的概念：将所有可能的有限字符串的集合视为通用图灵机U的程序，并在输出U的最短程序P的长度方面定义符号的符号X的概率。

通过Kolmogorov（1965）和Chaitin（1969）单独发明算法信息理论的这种概念在稍后稍后发明。 Levin（1974）将通用的数学表达式开发了一个先验概率作为通用（即最大）下脓性半排序M的数学表达，并显示了M（x）的负对数与Kolmogorov复杂性重合X至于附加对数术语。 复杂度措施的实际定义是：

Kolmogorov复杂性串X的算法复杂度是在通用图灵机U上运行时产生x的最小程序P的长度L（P），指出为u（p）= x：

k（x）：=

最小值

p

{l（p），u（p）= x}

算法信息理论（A.K.A.KOLMogorov复杂性理论）已开发成具有广泛的应用领域的丰富研究领域，其中许多域名是哲学相关的（Li＆Vitányi2019）：

它为我们提供了一般的归纳理论。 贝叶斯规则的使用允许在最小描述长度（Rissanen 1978,1999; Barron，Rissanen，＆Yu 1998;Grünwald2007，Long 2019）和最低消息长度（华莱士2005）。 请注意，Domingos（1998）争论了这些原则的一般有效性。

它允许我们制定各个对象的概率和信息内容。 即使是个人自然数。

它为学习理论作为数据压缩（Adriaans 2007）奠定了基础。

它在不可压缩性方面给出了字符串随机性的定义。 这本身就导致了一个全新的研究领域（Niess 2009; Downey＆Hirschfeld 2010）。

它允许我们在其随机性缺陷方面制定一个目标的预测值的预测值：即，最佳理论是最短的理论，使数据看起来是随机条件的理论。 （Vereshchagin＆Vitányi2004）。

还有下方：

算法复杂性是无明确的，尽管它可以在很多实际情况下进行近似，但在某些情况下，商业压缩节目接近理论最佳（Cilibrasi＆Vitányi2005）。

算法复杂度是一种渐近度量（即，它给出了最直达常数的值）。 在某些情况下，这种常量的值对于实际目的而言是禁止的。

虽然最短理论始终是随机性缺陷的最佳选择，但数据集的增量压缩一般不是良好的学习策略，因为随机性缺陷不会用压缩率单调（Adriaans＆Vitányi2009）单调。

算法信息理论提供的定义的一般性取决于通用图灵机的概念的一般性，从而最终对教会图书论文的解释。

对象的Kolmogorov复杂性不会考虑实际计算对象所花费的时间。 在这方面，Levin提出了Kolmogorov复杂性的变种，可惩罚计算时间（Levin 1973,1984）：

Levin复杂性String X的levin复杂性是长度L（P）和最小程序P的计算时间的总和，它在通用图灵机U上运行时产生x，指出为u（p）= x：

kt（x）：=

最小值

p

{l（p）+日志（时间（p）），u（p）= x}

算法信息理论已获得快速接受作为信息的基本理论。 通过封面和托马斯（2006年）的信息理论中众所周知的介绍：“......我们认为Kolmogorov复杂性（即，AIT）比Shannon熵更为基础”（2006：3）。

Solomonoff（1997）和Chaitin（1987年）提出了算法复杂性理论是人工智能理论（和知识理论）的一般理论的基础。 若干作者捍卫了数据压缩是治理人类认知的一般原则（Chater＆Vitányi2003; Wolff 2006）。 Hutter（2005,2007A，B）认为，所罗门组织的正式和完整的理论基本上解决了诱导问题。 Hutter（2007a）和rathmanner＆hutht（2011）枚举了诱导围绕的古典哲学和统计问题，并声称所罗门组织的理论解决或避免所有这些问题。 可能是因为它的技术性，理论在很大程度上被哲学社区忽略了。 然而，它是二十世纪信息理论最基本的贡献之一，它与许多哲学问题明显相关，例如归纳问题。

5.系统考虑

在数学中，信息与具有有限但无限尺寸的系统类的广泛特性相关联（粒子，文本，代码，网络，图形，游戏等）。 这表明可以统一处理各种信息理论。 在信息哲学的手册中，有三种不同形式的信息（Adriaans＆Van Benthem 2008b）：

信息 - 答：

知识，逻辑，在信息答案中传达的内容

信息b：

概率，信息理论定量测量

信息c：

算法，代码压缩，定量测量

由于最近的发展，信息-B（Shannon）和信息-C（Kolmogorov）之间的联系是合理的理解（封面和托马斯2006）。 本文提出的历史材料表明，关于信息 - a（逻辑，知识）的反思历史上比普遍知道到目前为止更为遍布。 逻辑实证主义可以与后敏感的研究计划表现为尝试与概率推理嫁给可能的世界逻辑解释（Carnap 1945,1950; Popper 1934;最近的方法见Hutter等人。2013）。 现代企图设计贝叶斯认识论（Bovens＆Hartmann 2003）似乎并不意识到二十世纪上半叶所做的工作。 但是，统一信息-A和信息-B的尝试似乎是可行的运动（Adriaans 2020）。 由于Gell-Mann＆Lloyd（2003年）的工作，热力学和信息理论之间的联系变得更加越来越近，除了：另见：Bais和Farmer 2008）。 Verlinde（2011,2017）甚至展示了对信息的重力（参见信息处理和热力学熵的条目）。

5.1信息哲学作为数学哲学的延伸

关于信息概念的主要定义，如Shannon信息，Kolmogorov复杂性，语义信息和量子信息，当我们将其解释为数学哲学的延伸时，可以实现信息哲学的统一方法。 答案是“什么是数据？” 和“什么是信息？” 然后从一个人的答案中发展到“什么是套装？”这样的相关问题 和“什么是数字？” 随着后者，人们可以观察到数学哲学中的许多打开问题围绕着信息的概念。

如果我们查看信息和计算的基础，则有两个概念至关重要：数据集的概念和算法的概念。 一旦我们接受这些概念，就像理论的其余部分数据和计算一样自然地展开。 人们可以在这里“插上”一个人最喜欢的认识论或形而上学的立场，但这并没有真正影响计算和信息哲学中的基础问题。 人们可能会维持数学宇宙的形式主义，柏拉图或直觉视图（参见数学哲学的条目），仍然达成了有效计算的基本概念。 计算理论，因为其过敏和建构主义性质，似乎在这些理论重叠的共同点上或多或少地居住。

5.1.1信息作为自然现象

作为科学概念的信息在我们每天在衡量事物时，我们每天都在处理自然的背景下出现。 示例是普通的动作，如用棍子测量物体的尺寸，使用我们的手指计数，使用一根绳索绘制一条直线。 这些过程是抽象概念的锚点，如长度，距离，数量，形成构建科学块的直线。 这些概念在我们的实际经验中植根了这些概念，保证了他们的适用性和有用性。 最早的信息处理迹线在计数，管理和会计的概念周围演变。

示例：Tally Sticks

其中一个最基本的信息测量装置是使用计数棒的一元计数。 Tally Sticks已经在20,000年前已经使用过。 当一个假设的史前猎人杀死一只鹿时，他本可以通过划伤“|”来注册这一事实 在一块木头上。 在这种棍子上的每一个笔划都代表了一个对象/项目/事件。 一元计数的过程基于将符号被连接到序列中的基本操作。 该测量方法说明了信息的扩展概念的原始版本：序列的长度是计数物品量的量度。 请注意，这种顺序计数过程是非换向和非关联的。 如果是“|” 是我们的基本符号和⊕我们的级联运算符，然后是一系列符号具有：

（（...（|⊕|）...）⊕|）⊕|）

新符号始终在序列结束时连接。

此示例有助于了解语境在信息分析中的重要性。 本身就是一根棍子上的划痕可能根本没有任何意义，但一旦我们决定这样的帖子代表另一个对象或事件它就会成为一个有意义的符号。 当我们在这样的上下文中操纵它时，我们处理信息。 原则上，简单的划痕可以代表我们喜欢的任何事件或对象：符号是常规的。

定义：符号是指示，表示，或者被理解为代表想法，对象或关系的标记，符号或单词。

符号是符号操纵系统与世界绑定的语义锚。 观察元声明：

符号“|” 表示对象y。

如果为true，则指定语义信息：

它是完好的：该语句具有特定的语法。

这是有意义的：只在划伤“|”的上下文中 实际上是故意的，例如，棒或岩石中标记良好的定义发生，它具有含义。

这是真实的。

符号操作可以采取多种形式，并且不限于序列。 可以在史前时代找到不同形式的信息处理的许多示例。

示例：在美索不达米亚计算绵羊

随着城市化的过程，利用粘土令牌施用牛（Schmandt-Besserat 1992），在梅托帕托米西亚的早期会计系统中出现了大约8000个BCE。 不同形状的令牌用于不同类型的动物，例如绵羊和山羊。 登记后，令牌包装在球状粘土容器中，标记在外面表示它们的内容。 容器被烘烤以使注册永久性。 因此，早期形式的写作出现了。 4000 BCE之后，令牌安装在弦上以保持订单。

从集合到字符串的历史转变很重要。 它是一种更复杂的信息编码形式。 正式我们可以区分几个令牌组合的复杂性：

在容器中的类似令牌的无序集合。 这代表了一组。 令牌可以在容器中自由移动。 令牌的体积是唯一的相关质量。

一个在容器中的不同类型的令牌的无序集合。 这代表了所谓的多立方。 体积和频率都是相关的。

字符串上的键入令牌的有序集合。 这代表了一系列符号。 在这种情况下，字符串的长度是相关的质量。

5.1.2符号操作和扩展率：集，多重标识和字符串

符号代码的序列比Multisets和Multisets更多信息比集更具表现形象。 因此，写作本身的出现可以被视为寻求寻找行政数据最具表现力的表现。 当在消息序列中测量信息时，区分重复，订单和分组的方面非常重要。 可以根据这些结构操作（参见下结构逻辑的条目）来研究信息的广泛方面。 我们可以在符号序列上定义的运算符方面学习一组消息。

定义：假设m，n，o，p，...是符号，并且⊕是张量或张力运算符。 我们定义了序列类：

任何符号都是序列

如果α和β是序列，那么（α⊕β）是序列

对于序列，我们在符号连接级别定义以下基本属性：

收缩：

（m⊕m）= m。

收缩破坏了序列中频率的信息。 物理解释：当它们连接时，两个相同符号的出现可能会崩溃到一次发生。

可交换：

（m⊕n）=（n⊕m）

Conmutatity在序列中摧毁有关订单的信息。 物理解释：符号可以在连接时交换位置。

相关性：

（p⊕（q⊕r））=（（p⊕q）⊕r）

关联性破坏了关于序列中嵌套的信息。 物理解释：当它们连接时，符号可能会重新组合。

观察：收缩，换向和关联性的序列系统就像集一样。 考虑等式：

{p，q}∪{p，r} = {p，q，r}

当我们为两个序列（p⊕q）和（p⊕r）模拟集合时，相应的含义是：

（p⊕q），（p⊕r）⊢（（p⊕q）⊕r）

证明：

（（p⊕q）⊕（p⊕r））串联

（（q⊕p）⊕（p⊕r））可交换

（（（q⊕p）⊕p）⊕r）相关性

（（q⊕（p⊕p））⊕r）相关性

（（q⊕p）⊕r）收缩

（（p⊕q）⊕r）可交换

可以在这些属性方面配制集，多行或串的结构方面：

套装：收缩，交换和关联率下的消息倒塌。 一组是一个对象的集合，其中每个元素仅发生一次：

{一个，b，c}∪{b，c，d} = {一个，b，c，d}

并且哪个订单不相关：

{一个，b，c} = {b，c，一个}。

集合与我们正常的日常天真的信息相关联，作为新的，以前未知，信息。 如果我们收到我们之前没有看到的消息，我们只会更新我们的设置。 这种信息概念在序列和频率方面都是健忘。 无法重建该组消息。 此行为与集合的概念相关联：我们只对元素的平等感兴趣，而不是频率。

MULTISET：在通用和关联性下的消息逐渐崩溃。 多立方是一个对象的集合，其中可以多次发生相同的元素

{一个，b，c}∪{b，c，d} = {一个，b，b，c，c，d}

并且哪个订单不相关：

{一个，b，一个} = {b，一个，一个}。

Multisets与Shannon信息中定义的信息的资源敏感概念相关联。 我们对消息的频率感兴趣。 这一概念对顺序有所健忘。 我们每次收到一条消息时更新我们的设置，但我们忘记了序列的结构。 此行为与信息的扩展概念相关联：我们对元素的平等感兴趣，频率都感兴趣。

序列：序列是关联的。 序列是有序多网的：ABA baa。 存储消息序列的整个结构。 序列与Kolmogorov复杂性相关联，定义为符号序列的长度。

设置可以被解释为空间，其中对象可以自由移动。 当相同的对象彼此附近时，它们崩溃到一个对象。 Multisets可以解释为物体可以自由移动的空格，其中约束对象总数保持不变。 这是扩展性的标准概念：空间的总体积保持不变，但内部结构可能不同。 序列可以被解释为物体具有固定位置的空间。 通常，序列包含比派生的多立方更多的信息，它包含比关联集更多的信息。

观察：序列和多重概念之间的相互作用可以被解释为一块蜡的弹性的形式化，使哲学史作为信息范例遍及哲学。 不同的序列（表格）是同一多车辆（物质）的表示。 蜡块的体积（串的长度）是恒定的，因此可以在蜡中表示的信息量的量度（即，符号序列）。 在量子物理学方面，蜡片的稳定性似乎是一种突出的财产：当被操纵大量时，原子水平上的物体的统计不稳定似乎甚至出现。

5.1.3组和数字

在数学中的概念被认为是基本的。 可以认为任何可识别的离散对象集合是一组。 当我们分析基本陈述时，集合理论与信息概念之间的关系：

e∈a

读取对象E是集合A的元素。观察该语句（如果为true）代表一段语义信息。 它是乖巧，有意义的和真实的。 （参见关于信息的语义概念的条目）信息的概念已经在数学的基本构建块中播放。“套装是什么？”的哲学问题 Ti Esti Question的答案是由Zermelo-Fraenkel公理（参见集合理论的条目）隐含的答案，首先是扩展性：

如果它们具有相同的元素，则两组相等。