Science 的《全球公民诚信排名》遗漏了太多变量,让中国成了倒数第一

很多回答在这个问题上集中于讨论「中国人用不用邮件」,我觉得这没什么意义。

首先,你只知道中国人用邮件用得少,但你并不知道其他39个国家的邮件使用情况如何,他们使用邮件的密度如果比中国还少呢,怎么去解释?

其次,作者在他的补充材料里专门写到了对于邮件使用的讨论:

 Differences in Email Usage Since our measure of civic honesty relied on recipients contacting the owner by email, one concern is that differences in exposure to email communication could be responsible for cross-country differences in reporting rates. 

Yet, we focused on drop-off locations in urban places and included institutions where email communication is common. In particular, hotel staff should be able to communicate via email in all parts of the world. Consequently, if email experience is a key driver of differences in reporting rates, we should see substantially less heterogeneity when we restrict our sample to hotels. 

However, Fig. S13 shows that this is not the case. We still observe large differences in reporting rates across countries when focusing on hotels only. 

As a further robustness check, we included the share of firms that use email to interact with their customers and suppliers in a country (from the World Bank Global Enterprise Survey) as an additional control variable to construct the regression-adjusted measure of civic honesty.25 Fig. S14 shows that the differences between countries remain large, and the regressionadjusted ranking is almost identical to the unconditional ranking (Spearman’s ρ = 0.950, P < 0.001 for the NoMoney condition, and ρ = 0.932, P < 0.001 for the Money condition). This suggests that experience with email communication was not a major driver of cross-country differences in reporting rates.

结合上下文,大致的意思是,作者一共选了五种上交钱包的地点,银行、剧院、酒店、警察局、邮局,这里面的银行、剧院、警察局和邮局的工作人员确实可能会因为邮件的使用而造成国别差异。

但酒店不是,作者选择的基本上都是每个国家最大的城市,这些地方的酒店工作人员是必定会使用邮件与全球旅客进行沟通的,因此作者只看了那些上交给酒店工作人员的钱包的报告率,这应该能很大程度上缩小因为邮件使用而造成的影响,结果是这样的:

500

看起来和原图没啥区别,次序变化也不太大。

然后作者又使用了另一个来源,来自World Bank Global Enterprise Survey的邮件使用率来控制报告率,去掉邮件影响后再排序,结果是这样的:

500

次序上还是没有什么差别。

因此,从邮件这点对论文发起质疑,不会有什么效果。

不仅仅是邮件,很多答案提到的「忙碌」,在作者的论文里也有控制。他控制了每一个收到钱包的工作人员的如下特征:

性别、年龄、忙碌程度、是否是本地人、是否会说英语、是否听明白了需要做什么、是否友善、桌上是否有电脑、在场是否有其他工作人员、在场是否有其他顾客、是否有监控、是否有保安。

所以,在发起质疑前,我建议还是先通读一遍整个论文的补充材料,毕竟是发表在Science上的论文,他把绝大多数漏洞还是堵上了的,

但这并不是说明这篇论文的解释就没有问题了。


​真正的问题是——把钱包上交到工作人员处,然后工作人员去写邮件通知,这个过程,和诚信有多大关系?他到底和什么东西有关系?

假设我们去采访这些工作人员:什么时候你愿意去为了一个这样的「名片夹」给陌生人发送邮件?什么时候不愿意?

我脑补了一下这两个问题回答:

当我难得看见有人来上交钱包的时候,我会很重视这个事情,发送邮件。

当我对失物上交见怪不怪时,我可能不回去写这个邮件

换句话说,人们做任何事,背后的刺激都是要超过一个阈值才会去动手做,这个刺激的阈值可以理解为每天这些工作人员所经历的「背景噪声」。

那么如何来对这些工作人员每天的「背景噪声」做一个度量呢?我没有想到特别棒的指标,但是这个城市的「人口密度」应该是一个相关的变量。

人口密度越大的地区,人们之间的接触和交流越密集,这类事件的噪声阈值就越高,写邮件联系钱包失主的概率就越低。

举一个不太恰当的例子,独生子女政策刚刚实行时,总有人觉得独生子女比较脆弱敏感又「事儿逼」,理由就是没有和兄弟姐妹相处交流,总把人与人之间的小事儿当成大事情处理。那么在那些人烟稀疏的地区和人口密集的地区,可能也会存在类似的现象。

但现在这还只是一个猜测,为了验证是否正确,我从18页开始,再去各个国家统计局逐个国家收集最大两个城市的人口密度,并与最后的分数交互(分数是按照图大致估算的):

500

该图和我们的判断相吻合,这个关系是显著存在的,左上角的高联系率地区,人口密度相对来说都比较低,右下角的低联系城市都位于高人口密度地区。我以截距为80画了一条拟合线,他的拟合程度为0.2946(图中excel对指定截距的拟合计算了错误的r2)

那么,如果这个联系率确实因为「背景噪声」高度相关因而和人口密度相关的话,那些距离拟合线比较远的国家,才是真正需要关注的国家。

比如在线的左边,距离最远的依次是哈萨克斯坦、马来西亚、阿联酋、肯尼亚、加纳、南非,这些国家为什么在同样的人口密度下,联系率低了那么多?

比如在线的右边,印度为啥又以如此高的人口密度获得了那么高的联系率?

作者在补充材料里面使用邮件使用率和人均GDP做了两个调整,大意是使用这两个变量对排名进行调整后,和原始排名的相关程度分别高达0.9和0.75,即作者想说明的这个「诚信程度」是和邮件使用和经济发达程度关系不大的。

但如果使用地区人口密度进行调整,则会出现另一番景象:

500

调整后的排名和调整前的相关程度立刻下降到0.19了,印度和中国排名变成了第一和第二名。

也就是说,这些设施所在地区的人口密度所导致的「背景噪声」,一定是一个需要考虑的alternative explanation,在对失主联系率的影响上,他比邮件的使用和地区经济发展程度更为重要。

用与钱包失主的联系概率来衡量诚信程度,我觉得是一个挺好的主意,作者也控制了很多变量,堵上了很多漏洞。但是我认为还是可以有很多可以改进的地方,现在的结果,距离真正的「诚信」的度量还有一段距离,可能还有一些被遗漏的变量,希望作者有机会能够继续对其加以修改。

站务

全部专栏