信息（五）

5.1.2 符号操作和广泛性：集合、多重集和字符串

符号序列比多重集编码更多信息，而多重集比集合更具表现力。因此，书写本身的出现可以看作是寻找最具表现力的管理数据表示形式的探索。在测量消息序列中的信息时，区分重复、顺序和分组方面很重要。信息的广泛性可以用这种结构操作来研究（参见子结构逻辑条目）。我们可以根据在符号序列上定义的运算符来研究消息集。

定义：假设 m、n、o、p、… 是符号，⊕ 是张量或连接运算符。我们定义序列类：

任何符号都是一个序列

如果 α 和 β 是序列，则 (α⊕β) 是一个序列

对于序列，我们在符号连接层面上定义以下基本属性：

收缩：(m ⊕m)=m。收缩会破坏序列中有关频率的信息。物理解释：当连接时，相同符号的两次出现可以折叠为一次出现。

交换性：(m ⊕n)=(n ⊕ m)交换性会破坏序列中有关顺序的信息。物理解释：符号连接时可以交换位置。

结合性：(p⊕(q⊕r))=((p⊕q)⊕r)结合性会破坏序列中有关嵌套的信息。物理解释：符号连接时可以重新分组。

观察：具有收缩性、交换性和结合性的序列系统的行为类似于集合。考虑以下方程：

{p,q}∪{p,r}={p,q,r}

当我们将集合建模为两个序列（p⊕q）和（p⊕r）时，相应的蕴涵为：

（p⊕q），（p⊕r）⊢（（p⊕q）⊕r）

证明：

（（p⊕q）⊕（p⊕r））连接（（q⊕p）⊕（p⊕r））交换性（（（q⊕p）⊕p）⊕r）结合性（（q⊕（p⊕p））⊕r）结合性（（q⊕p）⊕r）收缩性（（p⊕q）⊕r）交换性

集合、多重集和字符串的结构方面可以用这些来表达属性：

集合：在收缩性、交换性和结合性下，消息序列会折叠成集合。集合是对象的集合，其中每个元素只出现一次：

{a,b,c}∪{b,c,d}={a,b,c,d}

并且顺序无关紧要：

{a,b,c}={b,c,a}。

集合与我们日常的天真信息概念相关，即新的、以前未知的信息。只有当我们收到以前未见过的消息时，我们才会更新集合。这种信息概念在序列和频率方面都是健忘的。消息集无法重建。此行为与集合的外延性概念相关：我们只对元素的相等性感兴趣，而不对频率感兴趣。

多重集：在交换性和结合性下，消息序列会折叠成多重集。多集是对象的集合，其中同一元素可以出现多次

{a,b,c}∪{b,c,d}={a,b,b,c,c,d}

并且顺序无关紧要：

{a,b,a}={b,a,a}。

多重集与香农信息中定义的资源敏感信息概念相关。我们对消息的频率感兴趣。这个概念与序列有关。我们每次收到消息时都会更新集合，但会忘记序列的结构。这种行为与信息的广泛性概念有关：我们既对元素的相等性感兴趣，也对频率感兴趣。

序列：序列是关联的。序列是有序多重集：aba≠baa。消息序列的整个结构都会被存储。序列与柯尔莫哥洛夫复杂度相关，柯尔莫哥洛夫复杂度定义为符号序列的长度。

集合可以解释为对象可以自由移动的空间。当相同的对象彼此相邻时，它们会折叠成一个对象。多重集可以解释为对象可以自由移动的空间，但约束条件是对象的总数保持不变。这是广延性的标准概念：空间的总体积保持不变，但内部结构可能不同。序列可以解释为对象具有固定位置的空间。通常，序列包含的信息多于派生的多重集，而派生的多重集包含的信息多于关联集。

观察：序列和多重集概念之间的相互作用可以解释为蜡块可塑性的形式化，这种可塑性作为信息范式贯穿了哲学史。不同的序列（形式）是同一多重集（物质）的表示。蜡块的体积（绳子的长度）是恒定的，因此是蜡块（即符号序列）中可以表示的信息量的度量。从量子物理学的角度来看，蜡块的稳定性似乎是一种新兴特性：当大量物体被操纵时，原子层面上物体的统计不稳定性似乎会趋于平衡。

5.1.3 集合和数字

数学中的集合概念被认为是基本的。任何可识别的离散对象集合都可以被视为一个集合。当我们分析基本语句时，集合理论和信息概念之间的关系变得清晰：

e∈A

其中读取对象 e 是集合 A 的一个元素。请注意，如果此语句为真，则表示一条语义信息。它是格式正确、有意义且真实的。（请参阅关于信息的语义概念的条目）信息概念已经在数学的基本构成要素中发挥作用。哲学问题“什么是集合？” ti esti 问题的答案由 Zermelo-Fraenkel 公理（参见集合论条目）隐式地确定，其中第一个是外延性公理：

如果两个集合具有相同的元素，则它们相等。

数学概念由一组公理隐式定义的想法是由希尔伯特提出的，但并非没有争议（参见弗雷格-希尔伯特争议条目）。定义是隐式的，这意味着我们只有集合的例子，而没有可能制定任何定义它们的肯定谓词。集合的元素不一定是物理的，也不一定是抽象的，也不一定是空间的或时间的，也不一定是简单的，也不是真实的。唯一的先决条件是能够对成员资格做出明确的判断。集合概念的这种隐式定义并非没有问题。我们可能会定义乍一看似乎是真集合的对象，但经过仔细审查后，它们似乎存在内部不一致。这是以下论点的基础：

罗素悖论：这个悖论激发了大量关于数学基础的研究，它是克里特哲学家埃皮梅尼德斯（大约公元前 6 年）提出的说谎者悖论的一个变体，埃皮梅尼德斯显然表示克里特人总是撒谎。这些悖论的关键在于以下概念的结合：普遍性、否定性和自我参照性。

任何不是克里特人的人都可以说所有克里特人总是撒谎。对于克里特人来说，这是不可能的，因为该陈述具有普遍的否定自我参照性。如果陈述为真，那么他就没有撒谎，这使得陈述不真实：一个基于自我矛盾的真正悖论。同样，罗素创造了所有不属于自身成员的集合的概念，这些集合的成员身份无法确定。显然，所有集合的集合是集合论中不可接受的对象。一般来说，在哲学和数学中，系统在系统内验证关于自身的陈述的程度是有限的。（有关进一步的讨论，请参阅罗素悖论条目。）

集合概念的隐式定义意味着该类本质上是开放的。有些对象的数学定义不清楚或极具争议，它们是否定义了一个集合。

现代数学哲学始于弗雷格-罗素数论（Frege 1879, 1892, Goodstein 1957，参见替代公理集合论条目）。如果我们接受对象类的概念是有效和基本的，以及对象类之间一一对应的概念，那么我们可以将数字定义为等数类的集合。

定义：如果两个集合 A 和 B 之间存在一一对应关系，即函数 f:A→B，使得对于每个 a∈A 都恰好有一个 f(a)∈B，则这两个集合是等数的，即 A∼B。

任何一组对象（比如四个）都成为数字 4 的表示，对于任何其他对象集，我们可以通过定义与我们的示例集的一一对应关系来建立对定义数字 4 的等价类的成员资格。

定义：如果 A 是有限集，则 SA={X∣X∼A} 是所有与 A 等数的集合的类。相关的泛化运算是基数函数：|A|=SA={X∣X∼A}=n。这定义了一个与集合 A 相关的自然数 |A|=n∈N。

我们可以通过选择适当的数学示例对象来填充它，从而重建数学宇宙的大部分内容，首先假设存在一个唯一的空集 ∅ 来表示数字 0。这给了我们一个只有一个成员 {∅} 来表示数字 1 的集合，并重复此构造，{∅,{∅}} 表示 2，整个自然数集 N 就出现了。然后根据皮亚诺公理定义初等算术：

零是一个数字。

如果 a 是一个数字，那么 a 的后继也是一个数字。

零不是数字的后继。

两个后继相等的数字本身相等。

（归纳公理）如果一个数集 S 包含零，并且包含 S 中每个数的后继，则每个数都在 S 中。

由此产生的数学宇宙碎片相对没有争议，柏拉图主义者和建构主义者可能都同意其基本优点。基于皮亚诺的公理，我们可以定义更复杂的函数，如加法和乘法，它们在 N 上是封闭的，而反函数减法和除法不是封闭的，它们导致整数集 Z 和有理数 Q。

5.1.4 用数字测量信息

我们可以通过未指定的函数 I(n) 来定义数字 n 的信息概念。我们观察到加法和乘法指定了多重集：两者都是非收缩的、交换的和结合的。假设我们将张量算子 ⊕ 解释为乘法 ×。用加法来定义 I(m×n) 的语义是很自然的。如果我们同时得到消息 m 和 n，那么合并后的消息的总信息量就是各个消息的信息量之和。这导致了以下约束：

定义：加性约束：

I(m×n)=I(m)+I(n)

此外，我们希望较大的数字比较小的数字包含更多信息，这给出了：

定义：单调性约束：

I(m)≤I(m+1)

我们还想选择一个特定的数字a作为我们的基本测量单位：

定义：规范化约束：

I(a)=1

以下定理由Rényi (1961)提出：

定理：对数是唯一满足加性、单调性和规范化的数学运算。

观察：数字N的对数逻辑表征我们的直觉，究竟是关于N个数字N的信息概念。 当我们决定1）Multisets是扩展概念的正确形式化时，2）乘法是表达添加性的正确操作，那么对数是满足我们的约束的唯一测量功能。

我们定义：

定义：适用于所有自然数字n∈n+

我（n）=洛根。

对于a = 2，我们的测量单位是钻头

对于a = e（即，欧拉的号码）我们的测量单位是GNAT

对于A = 10，我们的测量单位是哈特利

5.1.5在数字集中测量信息和概率

对于有限套，我们现在可以指定我们知道设置条件的某个元素的信息量，以了解整个集合。

定义：假设S是一个有限的集，我们有：

e∈s

然后，

我（e|s）=洛嘎| s |

即，集合的基数的日志。

套装更大，搜索越难，我们在找到我们正在寻找的东西时得到的更多信息。 相反，没有任何进一步的信息，选择S是PS（x）= 1 |的某个元素的概率。 关联的函数是所谓的Hartley函数：

定义：如果从随机均匀地均匀地均匀的样本，则在哈特利函数（Hartley 1928）给出了结果之后所显示的信息：

h0（s）=洛嘎| s |

这些定义的组合给出了一个定理，将条件信息和概率的概念连接在一起：

统一定理：如果s是有限的设置，那么

我（x|s）= h0（s）

关于集合的集合条件的元素x的信息等于我们在均匀分布下选择该元素x的概率的日志，这是我们知道集合而不是选择集合的元素，这是我们无知的衡量标准。

观察：请注意，Hartley函数统一由Boltzmann S = klogw定义的熵概念，其中W是系统S的微状态集的基数，具有Shannon信息的概念（x）= - logp（x）。 如果我们认为s是一组消息，那么我们在统一分布PIS 1 |下我们从集合（即，从s中获取消息）的元素x的概率。 H0（s）也称为S.的Hartley熵

使用这些结果，我们将有限集的子集中定义了条件的信息量，如下所示：

定义：如果A是有限的组，而B是任意子集b⊂a，则| A | = N和| B | = K我们有：

我（b|a）=洛嘎（nk）

这只是我们信息的基本定义的应用：带大小k的子集类的基数是（NK）。

概率概念的正式属性由概率的kolmogorov公理指定：

定义：p（e）是一些事件e发生的概率p。 （ω，f，p），p（ω）= 1是概率空间，采用样本空间ω，事件空间和概率测量。

让P（e）是一些事件e发生的概率p。 设（ω，f，p），p（ω）= 1，是概率空间，采样空间ω，事件空间f和概率测量P.

事件的概率是非负数实数

有一个测量单位。 发生事件空间中的事件中的一个事件的概率为1：p（ω= 1）

概率是完全独立的概率：p（∞⋃i= 1ei）=∞σi= 1p（ei）

其中一个后果是单调性的：如果a⊆b意味着p（a）≤p（b）。 请注意，这与信息概念所定义的添加性相同。 在亚杀菌层面，加油的kolmogorov公理丢失了其有利的有效性，有利于更微妙的概念（参见第5.3节）。

5.1.6统一的侧视图

从哲学的角度来看，这种建筑的重要性在于它导致基于非常有限的公理假设的无限性信息的无论如何信息：

这是一个意义上的还原剂，一旦接受类和映射等概念，在更复杂的数学概念的上下文中的信息概念的定义自然会出现。

这是普遍的意义上，套装的概念是普遍的和开放的。

它是语义的意义上，套装本身的概念是一个语义概念。

它在一个连贯的概念框架中统一了各种概念（集合，基数，数字，概率，扩展，熵和信息）。

它是在本体学中立的感觉中，即设定或阶级的概念并不意味着其可能的成员上的任何本体限制。

这表明Shannon的信息理论和Boltzmann的熵概念植根于更基础的数学概念。 一组消息的概念或一组微状态是集合的更多数学概念的专业。 信息的概念已经存在于这种更基本的水平上。 虽然许多开放性问题仍然存在，但特别是在信息理论和物理学之间的关系的背景下，统一信息理论的观点看起来比二十一世纪初更好。

5.1.7信息处理和信息流

在Logarithms的TheroIts中的数字中的信息量允许我们在处理信息的容量方面对其他数学函数进行分类。 函数的信息效率是函数输入中的信息量和输出中的信息量之间的差值（Adriaans 2021 [oIr]）。 它允许我们测量信息如何流过一组函数。 我们使用f（x1，x2，...，xk）的速记f（¯x）：

定义：函数的信息效率：让F：NK→N是K变量的函数。 我们有：

输入信息I（¯x）和

输出信息I（f（¯x））。

表达式f（¯x）的信息效率是δ（f（¯x））= i（f（¯x）） - i（¯x）

函数f是信息节省Δ（f（¯x））= 0 i.e.，它包含其输入参数中的信息量，

如果δ（f（¯x））＜0和

如果Δ（f（¯x））= c，则它具有常数信息。

它是扩展ifΔ（f（¯x））＞0的信息。

在一般确定性信息处理系统中，不创建新信息。 他们只处理它。 关于信息和计算之间互动的以下基本定理是由于Adriaans和Van Emde Boas（2011）：

定理：确定性程序不扩展信息。

这符合香农的理论和kolmogorov复杂性。 确定性程序的结果总是相同的，因此结果的概率为1，它在Shannon的理论下给出了0比特的新信息。 同样，对于kolmogorov复杂性，程序的输出永远不会比程序本身的长度更复杂，加上常数。 这在Adriaans和Van Emde Boas（2011年）深入分析了这一点。 在一个确定性世界中，情况是：

程序（输入）= outputtheni（输出）≤i（程序）+我（输入）

信息的本质是不确定性，并且概率“1”发生的消息不包含任何信息。 只要计算停止，可能需要很长时间才能计算数字可能需要很长时间。 在斯科特域名理论中研究了无限计算（Abramsky＆Jung 1994）。

估算基本函数的信息效率并不琐碎。 原始递归函数（参见递归函数的条目）有一个信息扩展操作，增量操作，一个信息丢弃操作，选择，所有其他都是信息中立。 通过计数和选择的组合来定义更复杂的操作的信息效率。 从信息效率的角度来看，基本算术功能是描述具有相同结果的计算的复杂函数，但具有不同的计算历史。

一些算术操作展开信息，有些具有常数信息和一些丢弃信息。 在执行确定性计划的扩展期间可能发生的，但是，如果程序有效，则输出的描述性复杂性受到限制。 信息流量由运算类型的连续决定，以及通过操作的复杂性与变量数之间的平衡来决定。

我们简要介绍了两个变量的两个基本递归函数的信息效率及其编码可能性：

添加添加与序列或符号字符串的信息存储相关联。 它是丢弃大于1.由于日志（a + b）＜loga + logb的Δ（a + b）＜0的自然数。 尽管如此，添加了有资料保存的品质。 如果我们添加具有不同日志单位的数字，我们可以从结果编号重建单位的频率：232 = 200 + 30 + 2 =（2×102）+（3×101）+（2×100）= 100 + 100 + 10 + 10 + 10 + 1 + 1

由于构建块中的信息，100,10和1，仍然可以重建数字表示。 这意味着自然数代码在原则上添加了K的功率两种信息：值和频率。 我们可以在单一自然数字中使用此洞察来代码复杂类型的信息。 基本上，它允许我们在长度⌈logkn⌉的符号字符串中代码任何自然数，这在其代码的长度方面指定了数字中信息量的定量度量。 有关信息理论发现位置系统的重要性，请参见第3.3节。