【逻辑】一个重要的统计悖论

两个多月前,我在留言栏(参见《我的新冠经验》,第40楼)讨论了培养推理能力的几个步骤:首先必须熟悉逻辑叙述(Logical Statement)的基本规则,然后可以研究常见的狡辩术,再进一步则要瞭解常被用来欺矇外行人的假专业论述,例如统计。之前,我已经写过《常见的狡辩术》和《统计与谎言》两篇博文来介绍若干相关的细节,今天我想对后者做一个补充。

《统计与谎言》一文所讨论的是有意用统计数字来撒谎的一些事例,但其实统计本身就蕴含许多陷阱,即使是诚实的研究人员也往往陷入错误的结论而不自知,其中很重要的一个误区叫做Simpson’s Paradox(辛普森悖论)。这是选择性偏差的一个特例;其他常见的选择性偏差还包括倖存者偏差和Berkson’s Paradox

辛普森悖论最著名的案例来自一篇1975年发表在《Science》的论文(参见《Sex Bias in Graduate Admissions》,http://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf ),文章对UC Berkeley在1973学年研究所招生的数据做了统计,发现男生的录取率是3738/8442=44.3%,而女生则是1494/4321=34.6%。如果这个结果就这样被媒体报导,几乎可以确定校方会被严厉批评為性别歧视的男性沙文主义者,然而…

论文作者把录取人数根据不同的系所细分开来。因为系所太多,这里我们只检验其中最大的四个,这时男生的录取率是1123/2127=52.8%,女生是439/1101=39.9%,差距更大了!不过请看更详细的资料:

500

四个系所中,只有C略偏男生,而且差别很小,A、B和D都优先录取女生,其中A对女性的偏爱程度极高,明显不是统计噪音。

之所以会有这样互相矛盾的两种结论,在於决定录取率的最重要变数其实是系所:A和B的整体录取率是2/3,而C和D只有1/3。如果忽略这个主要变数,硬是把所有的数据迭加在一起,那么真正影响男女录取率差别的,就是他们的系所选择偏好,而不是性别本身。

总结来説,辛普森悖论是主变数被忽略不计,直接将全部数据对次要变数做统计分析时,可能出现的是非颠倒。这似乎是个很简单的道理,然而这个世界充满了因为对这个悖论无知而產生的错误结论,对政治、文化、经济都有深远的影响。

例如自由市场论者喜欢强调自由竞争,说这会让能者出头获胜。但在自由市场经济里,能力并不是成功的头号条件,资源和机运才是决定性的。像是Trump有何德何能,能在公平竞争下脱颖而出?他靠的是有钱可以雇人帮他考SAT、有钱可以请人帮他写介绍信、有钱可以让医生伪造骨刺证明来逃避兵役、有钱可以收买地方政客、运气好碰上民粹兴起等等。

把人与人的竞争放大到国与国的层面,辛普森悖论也同样被欧美宣传体系利用来扭曲事实。国家的治理成果,其实主要取决於是否有足够的人力、财力、物力、科技能力,以及将这些能力有效统筹运用的组织纪律。这些先进国家习惯了自身应对挑战有充分资源(主要来自上代的掠夺)的优势(包括能高薪养廉),反过来宣传説他们的成功源自西式民主体制的优越性。这次新冠疫情是很无情的打脸;英美或许没有自我反思的能力,但是广大的第三世界自然会得到客观的结论。

美国为了弥补蓄奴和种族歧视的歷史包袱,广汎采纳了Affirmative Action(平权措施),也是利用辛普森悖论来為错误政策正名。学生的成绩,其主要变数是天分和努力,忽略这些因素不计,直接针对种族这个次要变数来做文章,自然就导致更严重的歧视,只不过受害者换成了亚裔。

正因为要做统计性的结论必须小心避免许多类似辛普森悖论的陷阱,医学界坚持大规模随机双盲对照实验其实是最基本的要求;这里事先独立决定的随机取样,就是为了避免造成各种选择性偏差,包括辛普森悖论在内。中医教的信徒遇到盲肠炎或外伤时,并不优先去看中医,只有在现代科学的能力极限外,才敢大肆吹嘘没有统计意义的軼事,这不但是不知避免选择性偏差,而且是故意製造选择性偏差,那么颠倒是非自然难免,事实上颠倒是非正是他们的目的。

全部专栏