走进“熵”的心脏:系综——吉布斯理论追溯

500

学习统计力学时,系综理论堪称“拦路虎”,抽象概念常让人困惑不已。为何孤立系对应微系综?温度定义又为何引发争议?本文追随物理学家吉布斯的思想脉络,从简单的单摆模型入手,介绍如何应用刘维尔定理得到系综理论,并讨论时间平均、统计分布与系综分布之间的关系,以期读者可以从源头了解吉布斯系综理论。

撰文 | 徐晓(华南理工大学物理与光电学院)

从科学理论、文学作品到生活哲理,人们都特别喜欢引用“熵”的概念。

刘慈欣在《三体》中如此描述“歌者”:“宇宙的熵在升高,有序度在降低,像平衡鹏那无边无际的黑翅膀,向存在的一切压下来,压下来。可是低熵体不一样,低熵体的熵还在降低,有序度还在上升,像漆黑海面升起的磷火,这就是意义,最高层的意义,比乐趣的意义层次要高。要维持这种意义,低熵体就必须存在和延续。”“低熵”也成为了一个网络上的热门词汇,因为“低熵”表示足够有次序,不那么糊涂,不那么不确定。而这一比喻的来历则和一个广泛传播的说法有关:熵即混乱度。

“熵”的最早思想来自热力学,与混乱无关。把“混乱”概念和熵联系起来的,是统计力学这门学科。在统计力学中,乃至在应用数学理论、信息理论中,抽象而系统地讲述“熵”这一概念,都离不开系综理论。

可以说系综理论是熵这一概念的“心脏”:通过它,熵的思想被泵到了各个不同的学科中。

系综理论是抽象而艰难的学问。即使对于学习物理的学生,当学到系综理论的时候,大多数人都难免犯迷糊。我有的同事,虽然教书也有年头了,也坦言:不理解系综。两个典型的问题是:

在孤立系中,分出一个粒子数固定的小的系统,做正则系综;再让这个小的系统的粒子数不固定,做巨正则系综。那从系统大小分,明明孤立系是整个理论的分析基础,难道不应该是总系综、小系综、巨系综吗?为什么系综理论里面,孤立系对应微系综,然后才是正则系综,巨系综?

一种流传较广的说法是:孤立系不能定义温度。一个能量恒定且与外界不交换能量的系统,其中的粒子也有平均的动能,分明可以定义温度。这不是相互矛盾的讲法吗?

这些问题,不只在我读书的时候犯迷糊,甚至我教授了二十年的《通信原理》,每年都要讲一遍系综平均和时间平均的关系的情况下,依然犯迷糊——毕竟像温度这样的物理量,是物理学特有的,通信原理不会涉及。

最近,我由于写书的缘故,读了麦克斯韦(J. C. Maxwell)、玻尔兹曼(L. Boltzmann)和吉布斯(J. W. Gibbs)的书,豁然开朗,总算明白了“系综”的来龙去脉。著名理论物理学家吴咏时先生认为,这始料未及而又豁然开朗的过程,是科学研究的趣味所在,不论心境还是内容都值得一书。

故有此文。

1

系综理论提出的背景

为了从分子运动的角度解释气体的温度、压强等物理量的成因,在克劳修斯(R. Clausius)的工作基础上,麦克斯韦于1860年建立了气体分子运动论。他将一个个气体分子看作一个个弹性小球,从概率的角度引入速率分布的假设,建立了描述气体分子速率分布变化的方程。而一个由大量气体分子构成的体系进入统计平衡的状态时(即宏观的热力学平衡态),气体分子的速率分布不再随时间变化。[1]在OXYZ坐标系内,这个稳定的分布(速度分量)为

500

为了求H函数取极小值时对应的概率分布密度,玻尔兹曼引入了一个假设:在总能量不变的前提下,体系中间各粒子处于不同速率的状态的可能性是相同的。这个假设后来被称为等概率假说。由此玻尔兹曼证明,当粒子数足够多时,分子运动满足麦克斯韦的速率分布。而这个时候系统达至稳态,H取最小值。这样,玻尔兹曼就证明了该分布的唯一性。

500

然而,这些理论是把气体分子当作弹性小球去处理的。所以有两个问题,一个是忽略了分子间的相互作用力;另一个是忽略了分子的内部结构。

对于第一个问题,玻尔兹曼引入了分子间相互作用的力,即范德瓦尔斯力,修正了模型。而对于第二个问题,处理起来非常困难。在玻尔兹曼看来,当时的实验仅仅是能观察气体发光的光谱,分子内部结构的解释主要来自化学家,其力学结构是不清楚的。所以,玻尔兹曼只能采用相对抽象的力学理论,把一个分子看成一个力学体系,以分析力学为基础,来建立分子内部结构的模型。正是这种分析办法,使得玻尔兹曼不得不使用一个重要的概念——各态遍历(ergodicity),来为其结果的合理性提供支撑,这也是吉布斯的系综理论建立的起点。

现在我们结合玻尔兹曼的思路,来看看吉布斯的系综理论。为什么要结合玻尔兹曼的思路?据说,当年瑞利(John William Strutt, Third Baron Rayleigh)写信给吉布斯,请求他写一篇更长的文章来解释其创立的相理论。吉布斯则答复,认为原来的文章还太长,应该更短些。[4]所以,吉布斯的文章是出了名的抽象晦涩,充满了看似倒因为果的推导和分析。因此,我下面就按照玻尔兹曼的思想脉络,结合具体的力学体系的例子,来介绍吉布斯的系综理论,以便读者理解。

2

刘维尔定理

2.1 分析力学中的基本概念

对于一个力学体系,我们通常采用分析力学来进行处理,分析每个时刻体系的状态。

对于系统势能只与系统内物体的位置有关的力学系统,我们称之为保守系统[5],有:

500500

图1 单摆示意

容易看出,这个例子中,位形空间和动量空间的维度都是1,而相空间的维度为2。(见图2)

500

如果体系受到除了位形决定的力的影响外,还受到其他力的影响,我们称之为非保守系统。比如单摆的例子中,如果单摆运动到某个位置时,有人突然用手推了一下摆锤,或者摆锤被某个外来的小球撞了一下,系统就不再保守了。这个时候正则方程就会发生变化,写为:

500

及。由于问题复杂,笔者将另文探讨。

2.2 各态遍历

我们往往通过分析一个系统的参数在时间上的平均结果来刻画系统。

比如,在前面所用的单摆中,我们要求系统的平均动能或者势能,只要给定时间长度,对动能或者势能按时间求平均即可。虽然这个时间平均结果会随着起始观察时间的不同而不同,但是只要观察时间足够长,这些不同的结果将趋向一个定值,为系统总能量的一半。

这个问题也可以换一种方式来解决。

500

布。所谓求平均的过程,就可看作是一个求统计平均的过程。这个时候,“照片平均”和“时间平均”,不过是一种同义反复,没什么特别用处。

考虑一个盒子内的一群气体分子,我们将其中一个分子选作一个系统。在同一个时刻,各个分子虽然处于不同的运动状态,但是其状态仿佛处在某个分子某个时刻的状态“照片”上。如果对整个盒子照张“全家福”,这张全家福就相当于某个分子各个时刻的照片PS到一起的结果。因此,只要照完全家福,然后针对全家福上的每个成员求统计平均,得到的结果自然就是时间平均的结果了。我们既可以用这个统计平均来代替时间平均,也可以用时间平均来代替这个统计平均。

但是,这里有两个潜在的问题:(1)这张全家福的成员状态是不是平均地反映了某个成员各个时间段的状况?会不会有的时间段的反映状态比较密集,而有的时间段比较稀疏?(2)如果各个成员自然勾肩搭背,显然和一个成员表演情况不同,则某个成员各个时间的照片PS起来,必定少了勾肩搭背的状态。

抽象总结,选用一个成员各个时期照片也好,从整体的照片中抽取单个成员照片也好,都是要形成一个关于成员的“照片”的集合,同时选定了照片针对某个状态的密度分布。这样选定的集合就是“系综”。系综(ensemble)的原意是指一个乐队——尽管他们吹奏同一部作品,但是声部、角色和吹奏强度则完全不同。

选定一个系综以后,我们马上面临的问题就是:“时间平均”是否等于“系综平均”?如果这个系统的运动随着时间推移,系统按照一个系综的分布对应的概率密度,遍历了系统可以处于各种状态,我们则说系统是各态遍历的。这时,时间平均自然等于系综平均,二者的平均结果可以彼此替代。而研究这种替代性,正是玻尔兹曼涉及这一概念的初衷。

容易理解,对于一个复杂的系统,想象这些“照片”的情况都是复杂的事情,我们希望对这些照片情况的理解有更简洁的方式。

2.3 吉布斯的“刘维尔定理”

现在我们来看,吉布斯是如何通过刘维尔定理来找照片的简洁处理方式。需要顺便解释的是,刘维尔(P. J. Liouville)和吉布斯是两个人,为什么这里叫吉布斯的刘维尔定理?刘维尔曾经在1783年处理了一个微分方程解的问题[8],后来玻尔兹曼在处理分子体系的问题时,引用了刘维尔解方程的相关思想,所以玻尔兹曼将之称为刘维尔定理[9],而吉布斯则沿用了玻尔兹曼的叫法。但吉布斯的刘维尔定理,其内涵已经完全是统计力学的了。

现在回到我们的问题。针对单摆,如果我们不停地让外来小球撞击摆锤,则动能和势能平均值既有可能随起始观察时间不同而不同,也有可能不会随时间延长趋于一个定值。

现在我们限制条件,考虑在有外来小球撞击情况下,时间平均在时间趋于无穷时趋于定值的情况。看看在这种情况下,有没有办法使用系综平均。

外来小球的撞击,每一次都改变了系统的能量。因此,容易想象,按照一个合理的分布,既选取系统能量不同的单摆的照片,也选取同能量的单摆运动处于不同时间的照片,应该可以使用系综平均的结果。

500500500500500

图3. 刘维尔定理:相体积不变

吉布斯采用一段非常数学化的语言,来描述刘维尔定理:“当相空间中的限定于一定相空间范围的相按照系统(内外)的力——这些力是位置坐标的函数,同时函数可以显含或者不显含时间,所遵循的动力学规律随时间变化时,其限定的范围的体积值保持恒定。”(吉布斯的原文为:When the phases bounding an extension-in-phase vary in the course of time according to the dynamical laws of a system subject to forces which are functions of coordinates either alone or with the time, the value of the extension-in-phase thus bounded remains constant.)[11]

即由公式(7)和(9),有:

500500

3

系综理论

3.1 正则系综

对于一个热力学系统,我们也是通过一定时间的观察,来获得相关的热力学量的。也就是说,我们通过时间平均来求取参数。比如一个容器内有1摩尔氢气,我们是可以通过一定时间观察温度计而得到温度,观察压力传感器而得到的压强的。但是,从微观角度分析这个过程,我们必须考虑6.02×10^23个氢气分子中,每个分子的三个平动和三个转动坐标,考虑相互撞击以及彼此间的范德瓦尔斯力,还要考虑分子内部两个氢原子之间的振动和转动,要考虑分子受到容器壁撞击而致体系内外能量发生传递,就像单摆摆锤受到撞击一样……

显然,我们可以像前面处理单摆一样,来分析容器内的1摩尔气体。当然,现在系统的自由度要大得多,有6.02×10^23×(6+2)个自由度。但是,对于这样的正则系统的系综,应该使用的分布,是什么样子呢?

500

这个分布对应了一个名字,就是正则分布。这实际上就是玻尔兹曼分布的一个推广。

虽然吉布斯经过长篇细致的推导,来说明这一选择的合理性,但在关键处,他依然指温度与熵和概率因子的对应性,这是通过与玻尔兹曼等人的结果“对比”而得来的。换言之,这种选择,并不是从刘维尔定理出发,经过严密推导而得的结果,而是吉布斯主动预设的。

从力学系统分析出发,然后类比到热力学系统,建立熵、温度和压强等热力学量与力学系统的物理量之间的对应性,在吉布斯建立系综理论之前,就有相应的研究脉络。赫姆霍兹(H. von Helmholtz)、玻尔兹曼和麦克斯韦等物理学家都做过类似的类比。而且历史文献表明,在1890-1900年吉布斯逐步建立理论的时期,他对这些工作是相当熟悉的。12这一点,在一般的教科书里几乎很难找到说明。[13]如果不熟悉历史,自然会对吉布斯使用这一类比感到抽象和奇怪,就会难以自然理解整个系综理论。

现在我们回到单摆的例子,来看看这种对应性。

500

在动画中,单摆最大振幅一定,则能量一定,摆球沿着等能线运动;当受到外来扰动时,单摆改变振幅,即从一个等能线调到另一个等能线运动。系统的扰动类似公式(13),是按照概率随能量指数变化而设定的,能量越高,单摆到达的可能性越小;最后单摆的轨迹分布则表明了能量轨道按指数分布的情况。轨迹图中,颜色越偏粉红,概率越大;越偏蓝,概率越小(如图5)。容易想象,按照这张轨迹图,我们可以相应定出单摆系统的统计“温度”。

3.2 微正则系综

微正则系综是一个特殊状况。

微正则系综选择的系统都具有同样的能量。由于刘维尔定理的要求,微正则系综对相空间的状态选择了等概率分布。从集合的角度看,一个典型的正则系综,是由一系列微正则系综“粘合”而成,所以微正则系综是正则系综的子集。这也正是“微”这个词的由来。从前面单摆的例子中,我们也可以看出这一点。

在统计力学发展之初,温度被理解为一个系统中每个粒子在三维空间中的某个方向的平均动能,后来经过玻尔兹曼处理,温度被理解为一个力学体系(这个力学体系当然是为了描述微观粒子的运动的)各个独立自由度对应的平均动能。因此,一个微正则系综是可以定义温度的。

仍以单摆为例。显然一个单摆构成的系统,只有一个自由度,其温度即为其平均动能,即为总能量的一半除以kB。如果使用两个单摆构成的系统,有两个自由度,其温度为总能量的四分之一除以kB。

需要强调的是,这里单摆是一个玩具式的模型,是关于微观粒子运动的一个抽象或“类比”,而不是真的有个单摆系统有“温度”。但是,以上内容也提示我们,所谓温度,有两个不同的定义:一个是系统平均动能,这是物理学科的通常理解;另一个是关于热力学系统的统计参量,是统计力学所特有的。

3.3 巨正则系综

巨正则系综,按照吉布斯的定义,则是由自由度不同的系统构成的系综进一步合并而形成的系综。比如,有一个空间区域,有N个气体分子,这个空间区域和N个气体分子构成的系统的各种可能状态及其分布,就构成了一个系综。如果我们选用正则分布,那么这个系综就是正则系综。以同样的方式,在同样的区域和相同的外部条件下,我们还可以得到一个有N+1个分子的正则系综。我们把由N个,N+1个,......分子的系统构成的各个系综合并在一起,就得到一个巨正则系综。而由巨正则系综得到的分布,则与体系自由度的选择紧密相关,在相空间中,这个分布为:

500

随着不同分子的数目变化,n也随之变化。[14]

所以,我们就理清了三个系综之间的关系:微正则系综中关于系统的集合,是正则系综的系统集合的子集;而正则系综的系统集合,是巨正则系综的子集。吉布斯专门为正则系综取了个名字,叫小系综(petit ensemble)。

4

讨论

4.1 “系统”的选定与“环境”的要求

系综理论中,系统的选定,往往在具体问题中带来概念的混乱。

比如,在前述的气体分子的问题中,选择系统可以有三种方式:(1)把一个气体分子选为一个系统;(2)把封闭空间内的一个局部以及其中的气体分子选为一个系统;(3)把一个封闭空间和其中的所有气体分子选为一个系统。

除非是一个孤立系,这三种选择都面临着如何选择系统所处的环境的问题。显然,一个气体分子周围的环境是其他的气体分子;一个局部的环境是其邻近的局部;一个封闭空间的环境则是与其有热量交换或者压强作用的外部。吉布斯要求,对于一个系综中的各种处于不同状态的系统,在同一时刻,其对应环境反而应该一模一样。[15]

这些“一模一样”的环境应该是什么样子呢?

为了利用分析力学的公式,使用刘维尔定理,吉布斯在建立系综理论的时候,对“环境”做了一个比较抽象的规定。它把一个系统的势能以微分形式写为:

500

[7],使得这些条件成为系统宏观热力学条件的一种近似表达。但是,正是这个条件,使得系综理论中各个参量的物理含义,也变得复杂起来。

4.2 时间平均、统计分布和系综分布之间的关系

分子运动论的出发点,先求取的是一个热力学系统内各个分子的速率分布,然后以此统计分布为基础,求取相应的宏观热力学量,比如温度、压强等等。但是,当考虑了分子内部结构、分子间作用力以后,科学家们没有办法提出简单的统计模型。

所以,对于进入稳定状态的热力学系统,从玻尔兹曼开始,人们逐步使用单个分子随时间的状态变化的平均,代替热力学系统中某一时刻根据速率分布的平均,来求取宏观热力学量。这就要求,对时间的平均和对分布的平均具有对应性,即满足“各态遍历”的假设。为了分析“各态遍历”假设如何运用于热力学系统,科学家们引入了分析力学,建立了“系综”理论,引入了“刘维尔定理”。

时间平均、速率分布和系综理论的关系,列表如下:

500

4.3 分布带来的问题

一个有趣的问题是:一个大孤立系的宏观局部,其温度的涨落是正态分布的呢,还是正则分布呢?

比如,对于一个理想气体构成的孤立系,如果将整个大的孤立系按体积均匀划分成许许多多子系统,这些子系统合在一起构成了一个巨正则系综(这时公式(14)对应的系综的条件是近似满足的),那么这个系综对应的分布应该是个巨正则分布。所以一个子系统的温度,即这个子系统按照每分子平均的平均动能,其随时间的涨落,应该是正则分布的。

但是,从另一个角度考虑,如果这个子系统内的气体分子满足玻尔兹曼-麦克斯韦分布,那么当子系统内有巨量的分子时,由大数极限定理,则系统的平均动能,其随时间的涨落,其应该是正态分布。

仔细的人应该能够发现,大数极限定理成立的条件,要求参与统计的各样本是统计独立且同分布的,即满足i.i.d(independent identity distribution)。而由于整个孤立系的能量是恒定的,所以参与统计的子系统内的各个气体分子同样要受到总能量的约束,所以它们统计上并不独立,并不是i.i.d。一个子系统的情况,应该将之与整个系统合起来分析。这也暗示,严格而言,我们不能够把一个大系统分成均匀分割成一系列子系统,并以这些子系统的集合作为系综。

4.4 一道习题

为了进一步区分速率分布、系综和时间平均的概念,现设计一道习题如下。

有一边长为1cm的立方箱子,里面充满了理想气体,其原子的分子量为1,压强为1标准大气压,温度为27摄氏度。箱体通过理想的隔板与外界隔绝,不传力,也不传热。现求:

(1)气体分子的速率分布;

(2)气体分子的能量分布;

(3)将整个空间分成10000个等大小的单元,求某一时刻这些单元的能量的最可能的分布;

(4)固定某一个单元,求此单元随时间变化的能量起伏的分布;

500

这道题目是可以通过计算机仿真来近似解的,而系统随时间变化的情况,可以用平均自由程和最可几速率简化分析。为了不给读者先入为主的概念,这里不给出答案。

4.5 奇点带来的问题

另外一个经常被提及的问题是,当系统的运动在相空间中出现奇点时,系综平均是否还可以代替时间平均?

一般的看法认为,除了力学系统中有限的几个奇点,其余位置各态历经依然是成立的。由于奇点本身数量极稀少,所以这些奇点对问题处理不构成影响。

需要注意的是,在真实的实验体系中,所谓时间平均,不可能是无穷久的时间测量,测量总是在一定时间范围内进行的。而在奇点附近,对系统行为的衡量在时间上有巨大差异。因此,奇点对体系行为有巨大的影响。这个问题在非平衡体系中有大量讨论,在平衡体系中往往忽略。篇幅所限,此处不展开讨论。

5

致谢

文章写作的动议由犹他大学吴咏时教授提出,特此致谢!

在写作中,笔者对系综理解问题,进行了调查。我的同事陈熹、姚尧、张弜、赵宇军参与了调查;中国科学院物理所曹则贤研究员通过电话参与了调查;介观热力学微信群众多群友参与了调查,尤其华盛顿大学钱纮教授指出了温度作为统计量的有关思想,山东大学胡中汉教授、中国科技大学龚明教授和厦门大学刘越教授就温度问题进行了辩论。南京大学鞠国兴教授提供了有关吉布斯系综的分析文献。陈熹教授多次与笔者讨论,并修改有关内容。北京师范大学教师马宇翰博士[16]、魏茨曼科学研究所博士后吉文成博士等提出了文中涉及的相关有趣问题。此处向他们一并致谢!

浙江大学姬扬教授为笔者挚友,多年来对笔者的探索一直鼓励支持,并审读了文稿,特此致谢!

参考文献与注释

[1] Ed. W. D. Niven, M.A., F.R.S., The Scientific Papers of James Clerk Maxwell, Dover Publication,INC, New York, 1965: p377-p409

[2] Carlo Cercignani, Ludwig Boltzmann the Man Trusted Atoms, Oxford Univesity Press, 1998: p89

[3] Ludwig Boltzmann, trans. Stephen G. Brush, Lectures on Gas Theory, Dover Publication,INC, New York, 1964: p26

[4] https://yalealumnimagazine.org/articles/4496-josiah-willard-gibbs

[5] https://en.wikipedia.org/wiki/Hamilton%27s_principle

[6] Ludwig Boltzmann, trans. Stephen G. Brush, Lectures on Gas Theory, Dover Publication,INC, New York, 1964:p261

[7] The Collected Works of J. Willard Gibbs, PhD, lld., Yale Univ. Press, 1948:p9角注,p32角注

[8] P.J.Liouvile,Journal de mathématiques pures et appliquées 1re série, tome 3 (1838), p. 342-349

[9] Ludwig Boltzmann, trans. Stephen G. Brush, Lectures on Gas Theory, Dover Publication,INC, New York, 1964: p241

[10] The Collected Works of J. Willard Gibbs, PhD, lld., Yale Univ. Press, 1948:p3-p8

[11] The Collected Works of J. Willard Gibbs, PhD, lld., Yale Univ. Press, 1948:p10

[12] Hajime Inaba, Eur. Phys. J. H 40, 489–526 (2015)

[13] 我所知道的例子,仅仅是华盛顿大学钱纮教授从郑伟谋的书中,找到了一个略微清晰的观点转述。这个转述中,有人注意到吉布斯是通过类比方式,建立了概率分布密度函数和温度之间的联系。

[14] 与吴咏时教授讨论,讨论了公式(14)的相空间,吴教授根据Kardar的教材Statistical Physics of Particles,认为其相空间为不同的n自由度的相空间(n随粒子数不同而不同)的直和;而我们讨论认为,针对量纲问题,应对体积元无量纲化,即针对n自由度的相空间,体积元应除以hn。

[15] The Collected Works of J. Willard Gibbs, PhD, lld., Yale Univ. Press, 1948:p5

[16] Fei, Y.H.Ma, Phys.Rev.E 109,044101(2024)

500

特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“,可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号,回复四位数组成的年份+月份,如“1903”,可获取2019年3月的文章索引,以此类推。

版权说明:欢迎个人转发,任何形式的媒体或机构未经授权,不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。

站务

全部专栏