为什么需要复变信息论

为什么需要复变信息论

    2024年12月16日著名的《自然》杂志网站上发表了一篇叫《Why probability probably doesn’t exist (but it is useful to act like it does) 的文章，探讨一直让普通人迷惑的概率本质。文章的标题十分抓人眼球，文章也追溯了对概率概念不同观点的历史资料。但是文章最后并没有给出明确的判断。文章作者在最后的结论是“在我们的日常生活中，概率可能并不存在——但假装它存在往往很有用。”

    本文将从全新的视角来尝试解释概率和信息论，以及为什么我要将复数引入概率和信息论，以及复数概率以及复变信息论的基本特点和应用场景。

一．概率论和信息论

1.1）古典概率定义

古典概型也叫传统概率、其定义是由法国数学家拉普拉斯 (Laplace ) 提出的。如果一个随机试验所包含的单位事件是有限的，且每个单位事件发生的可能性均相等，则这个随机试验叫做拉普拉斯试验，这种条件下的概率模型就叫古典概型。

（1） 试验中所有可能出现的基本事件只有有限个；

（2） 试验中每个基本事件出现的可能性相等。

具有以上两个特点的概率模型是大量存在的，这种概率模型称为古典概率模型，简称古典概型，也叫等可能概型。

1.2）现代概率定义

柯尔莫哥洛夫于1933年给出了概率的公理化定义，如下：

设E是随机试验，S是它的样本空间。对于E的每一事件A赋于一个实数，记为P(A)，称为事件A的概率。这里P(A)是一个集合函数，P(A)要满足下列条件：

（1）非负性：对于每一个事件A，有P(A)≥0;

（2）规范性：对于必然事件，有P(Ω)=1;

（3）可列可加性：设A1，A2……是两两互不相容的事件，即对于i≠j，Ai∩Aj=φ，（i，j=1，2……），则有P(A1∪A2∪……)=P(A1)+P(A2)+……

1.3）经典信息论定义

第一阶段：经典信息论（1940s-1960s）

以克劳德·香农1948年发表的《通信的数学理论》为标志，首次建立信息传输的数学模型。提出信息熵量化信息不确定性，信道容量定理揭示通信速率极限，信源信道分离定理确立编码分层理论。这一阶段聚焦点对点通信系统，解决'如何可靠传输'的核心问题，奠定信息论学科基础。

第二阶段：近代信息论（1970s-1990s）

研究范围从单节点扩展至网络环境，突破香农单用户模型局限。网络信息论研究多用户信道容量域，信源编码发展出矢量量化、分布式编码等技术。纠错码领域取得重大进展，如卷积码的维特比译码算法、Turbo码逼近香农极限。该阶段理论成果支撑了移动通信（如GSM）和互联网协议的发展。

1.4）现代信息论定义

第三阶段：现代信息论（2000s-至今）

量子信息论突破经典物理限制，量子纠缠通信、量子密钥分发成为研究热点。生物信息学应用信息熵分析基因序列，压缩感知理论重构稀疏信号。新型编码技术如LDPC码支撑5G通信，人工智能与信息论深度融合推动深度学习中的信息瓶颈理论发展。研究范畴已拓展至物理、生物、计算等多个学科交叉领域。

二．量子概率论和量子信息论

2.1）量子概率定义

概率幅（Probability amplitude）和概率（Probability）

概率幅（Probability amplitude）和概率（Probability）是量子力学中密切相关的两个概念，但它们有着不同的物理意义和数学定义。

性质：

概率幅是一个复数，通常写成 ψ(x)=a+bi（其中 a 和 b 是实数，i 是虚数单位）。

概率幅的大小与一个事件发生的可能性相关，但本身并不能直接表示概率。

在数学上，概率幅的平方的模值（绝对值的平方）给出概率。

数学表达： 如果粒子处于状态 ∣ψ⟩，那么该粒子在位置 x 处被发现的概率幅是： ψ(x)=⟨x∣ψ⟩

其中，⟨x∣ψ⟩ 是量子态 ∣ψ⟩ 在位置态 ∣x⟩ 下的投影。

2. 概率（Probability）

概率是一个实数，表示某个事件发生的可能性，数值范围为 0 到 1。在量子力学中，粒子在某个位置被发现的概率与概率幅的绝对值平方相关联。

数学定义： 如果某个量子态的概率幅为 ψ(x)，那么粒子在位置 x 被找到的概率 P(x) 是： P(x)=∣ψ(x)∣^2 其中，∣ψ(x)∣^2 是概率幅的复数模平方，即： ∣ψ(x)∣^2=ψ(x)ψ∗(x)

这里 ψ∗(x) 是概率幅的共轭复数。

概率幅与概率的关系

概率幅是一个复数，包含了事件发生的幅度和相位信息。

概率是概率幅的模平方，即 ∣ψ(x)∣^2，是一个实数，表示某事件发生的可能性。

1. 概率幅（Probability Amplitude）

在量子力学中，系统的状态由一个波函数（wave function）或态矢量来描述，通常表示为 ψ（或 ∣ψ⟩ ）。这个波函数的每个位置 x 或动量 p 对应的复数值称为概率幅，记为ψ(x)或⟨x∣ψ⟩。

2.2）量子信息定义

冯·诺依曼熵在量子信息理论中扮演重要角色。当系统信息完备，其状态由态矢量描述，称为纯态，用密度矩阵算符亦可表示。在量子信息论中，香农熵被推广为冯诺依曼熵(Von Neumann Entropy)：S(ρ)≡−Tr(ρlog2⁡ρ)=H({λi})

其中 {λi} 是密度矩阵 ρ 的本征值。

三．可观察性与概率论

对于概率 的解释，大体分为 频率说和主观说。

该学派认为，概率是客观现象的内在属性，可通过大量重复实验来估计其数值。

主观说任务，概率是信念强度(Degree of belief)，本质上源于人固有的知识和直觉。

四．不可观察性与量子概率论

量子力学最闻名的特点就是测量的结果即使从原理上也无法完美预测。我们最多只能算出各种可能情况的概率。其中的数学关系以波恩定则确定：波函数会给每种测量结果分配一个“概率幅”，该结果出现的概率等于其对应幅值的平方。

量子力学的基本原理

非定域性有时也称为不确定性，是指某个或某组量不确定在其定义范围内更小的确定范围内的性质。在量子力学中，某个物理量不确定在其定义范围内更小的确定范围的性质，称为量子非定域性。不确定性原理（Uncertainty principle），又称“测不准原理”、“不确定关系”，是量子力学的一个基本原理，由德国物理学家海森堡（Werner Heisenberg）于1927年提出。

该原理表明：一个微观粒子的某些物理量（如位置和动量，或方位角与动量矩，还有时间和能量等），不可能同时具有确定的数值，其中一个量越确定，另一个量的不确定程度就越大。测量一对共轭量的误差（标准差）的乘积必然大于常数h/2π（h是普朗克常数）是海森堡在1927年首先提出的，它反映了微观粒子运动的基本规律——以共轭量为自变量的概率幅函数（波函数）构成傅立叶变换对；以及量子力学的基本关系（E=h/2π*ω，p=h/2π*k），是物理学中又一条重要原理。

五．客观性与主观性

要定义概率有几种方法，大致分为两派。“客观”或者“物理性”的观点将概率视为系统的一个基本性质。频率学派是对概率的一种客观解读，将概率视为多次实验的结果，如上述的投掷硬币例子。

此外，还存在“主观”或是“证据性”的观点。这一派认为概率因人而异，反映了每个人对于什么为真，或是什么会发生的置信程度差异。贝叶斯学派就是这样的例子。该学派的核心为贝叶斯定理。在获得新信息时，这一数学定理阐述了如何调整我们对不同可能性的置信程度。在贝叶斯学派的构想中，处于信息不全面处境下的理性生物会对所有可能结果的置信程度进行评估，并根据新数据逐渐调整它们。和频率学派形成鲜明对比的是，贝叶斯学派可以给无法重复的事件（如下次大选谁会获胜）分配概率，甚至能估计我们不确定的过去事件概率。

三种当下最广为接受的量子理论。首先是吉安卡洛·吉安尔迪（Giancarlo Ghirardi）、阿尔博托·里米尼（Alberto Rimini）和图利奥·韦伯（Tullio Weber）在1985年提出的“动力坍缩”理论。然后是各种“导航波”或“隐变量”理论，其中最有名的即戴维·波姆（David Bohm)在1952年根据路易·德布罗意（Louis de Broglie）早先想法创造出来的德布罗意-波姆定理。最后还有休·艾弗雷特（Hugh Everett）在1957年提出的“多世界”诠释。

这三种理论各自代表了一种解决量子力学测量问题的方法。在传统量子理论中，系统的状态以波函数表示。只要没有观测者，波函数将根据薛定谔方程平滑地确定性演化。一旦发生观测事件，物理课本中经常将其描述为波函数突然“坍缩”成某一观测结果。坍缩本身的结果是随机的，波函数会给每种可能发生的结果分配数值，观测到该结果的概率等于相应波函数幅值的平方。因此，所谓的量子测量问题即：什么事件能被称为“测量”？它发生的精确时刻是怎么确定的？为什么测量事件会和系统的正常演化不同？

六．复变概率和复变信息论的探索

6.1）概率与信息论的关系

概率是信息论中信息度量的基础。根据香农的信息定义，信息是对事物运动状态或存在方式的不确定性的描述。而不确定性可以通过概率来表示，因此概率为信息的量化提供了依据。例如，对于一个离散的随机变量，其每个取值的概率分布决定了该随机变量所包含的信息量。如果一个随机变量的取值非常确定，即某个取值的概率接近 1，那么它所包含的信息量就很小；反之，如果随机变量的取值非常不确定，每个取值的概率都比较接近，那么它所包含的信息量就很大。

以上这些内容都摘抄网络上相关比较正式资料的内容，避免相关专业词汇定义的偏差。

6.2）概率可以是复数吗？

前面的所有引用资料都说明一个事实，人们把概率定义成一个0-1之间的实数 。从纯粹数学角度来看，任何一个实数都可以表示成为一个复数，只是这个特别复数的虚部永远是零，为了便于书写变量就不写成复数形式。同样我们也可以将 概率定义成模在0-1之间的复数，从数学上没有任何障碍。

当概率定义为一个复数时，就比定义为实数的概率多个一个虚部值或者相位值。当这虚部值或者相位值不等于零时，我们可以尝试探索更多的性质。

同样，基于实数概率的香浓信息熵的定义也可以用复数概率来重新定义，获得复数信息熵，同样比实数信息熵多出了一个相位熵。

我们的研究初步完成了复数香浓熵的推导和相关几个基本复变香浓熵的属性的推导。

我认为，实数概率和实数香浓熵是在物理学牛顿力学坐标系中的主观性效果。其物理基础来自不科学观察方式的人眼观察效果，自然带有主观性。量子力学的量子概率是基于科学仪器的科学测试效果，才是真实世界的客观概率效果。复数概率是将量子概率的理念推广到我们日常的牛顿力学物理世界坐标系环境，还原了真实牛顿力学环境中的概率定义和公式的本质。

同样道理，复数香浓熵是将量子信息熵概念推广到人类日常的牛顿力学坐标系空间，体现了真实的信息熵的本质。从而统一了量子概率和实数概率，量子信息熵与香浓熵的数学公式表达。

6.3）复数香浓熵应用场景推测

我们推导复数香浓熵公式如下：

复数概率和复数香浓熵的相位值可以带给我们很多应用场景。

例如，在当前最热门的Transformer 注意力机制中，除了单词嵌入值还有位置嵌入值，而位置嵌入值是一个固定或者动态的三角函数值 ，从复数信息熵的角度来看，两个概率分布的交叉熵，除了对比实数概率，还需要对比相位概率，自然会引入位置嵌入参数。

同样在量子力学中，除了矩阵力学形式和波动力学形式外，路径积分形式就是基于量子概率，路径积分的形式中自带相位值，我认为这也是复数概率的本质决定的。复数概率和复数信息熵可以给路径积分一个新的理解思路。

由于复数概率本身的几何特征，对复数概率和复数信息论可以采用现代复几何的数学工具来更加全面的研究和扩展。

关于复变香浓熵的内容欢迎查看我们论文：

链接[2503.03759] Information entropy of complex probability