400多西医生物学实验无法重复的说法是自媒体的曲解……
最早看到这个说法是来自自媒体老和山下的小学僧: 美国斯坦福大学预防医学研究中心主任Ioannidis,在2005年发了一篇论文《Why most published research findings are false》,直译过来就是:为什么大多数已发表的研究成果是错误的。
Ioannidis对1990年至2003年间发表的49篇最顶级医学论文进行了研究,最终发现只有20篇是靠谱的。Ioannidis还不过瘾,又在不算最顶级的论文里找了432个医学研究成果,其中重复验证有效的,只有1个。百年宿怨:中西医之争丨 老和山下的小学僧_生命|百年宿怨:中西医之争丨 老和山下的小学僧|https://www.sohu.com/a/373525352_669860
(我傻乎乎的引用了9次~~)
但是搜索这个论文标题,让通义千问3AI翻译,人家真正表达的不是这个意思。
【通义千问3I概括性翻译:在科学研究中,一个“显著发现”真正为真的概率,称为 PPV(阳性预测值),其计算公式(在没有偏倚的情况下)为: PPV = [(1 - beta) × R] ÷ [(1 - beta) × R + alpha] 其中: R 是“先验胜率”,等于“真实存在关联的假设数量”除以“不存在关联的假设数量”; (1 - beta) 是统计功效,即当真实效应存在时,研究能正确检测到它的概率;
alpha 是显著性水平,通常设为 0.05,代表假阳性率(即当没有真实效应时,错误宣称“显著”的概率)。 举个例子(来自原文 Box 1): 在全基因组关联研究(GWAS)中,如果测试 10 万个 SNP 位点,其中只有 10 个真正与疾病相关,那么 R = 10 / (100000 - 10) ≈ 0.0001(即十万分之一)。
即使统计功效达到 60%(即 beta = 0.4,1 - beta = 0.6),代入公式: PPV = (0.6 × 0.0001) ÷ (0.6 × 0.0001 + 0.05) ≈ 0.0012, 也就是说,一个 p < 0.05 的“显著发现”,只有约 0.12% 的概率是真的。 如果研究存在偏倚(比如有 10% 的分析偏差),或者多个团队竞争发表(比如 10 个团队各自独立研究同一问题),PPV 还会进一步下降,可能低至 0.015% 或更低。
因此,Ioannidis 的核心结论是:在探索性强、先验概率极低的研究领域,绝大多数“统计显著”的结果,实际上都是假阳性。】Why Most Published Research Findings Are False|https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
继续用秘塔AI搜索顶刊论文错误率,有另一个论文提了,44%是真的效果不变,16%也是真的效果减弱了;16%是假的:24%后来没啥人有兴趣投资做重复试验,所以不太清楚真假。 综合来说60%的顶刊实验的定性结论是正确的,虽然其中计数效率上有16%效果没那么猛,可能有抗药性。然后16%后来被证明是假的。24%缺投资没重复试验有待进一步验证。 并不是60%是假的。老和山下的小学僧误导了我好几年。
【通义千问3概括性翻译:文中引用了 John Ioannidis(2005) 的著名研究,其中分析了 医学领域 的49项高影响力研究发现,并给出了以下具体数据: 44% 被后续更大样本的研究 成功复制; 16% 被 直接反驳; 16% 虽未被反驳,但效应量 明显变小; 24% 未受到后续研究的充分检验(即“未被挑战”)。】Structural Equation Models: From Paths to Networks|http://ndl.ethernet.edu.et/bitstream/123456789/75939/1/87.pdf]
————
2005年那老外专家的意思是啥,假设有10万个基因组,里面有10个是致病基因,检测出来的敏感性概率是60%,只能检测出6个;然后99990个基因组,被误报成致病基因的概率假设是5%(或者说特异性95%),那么就有4999.5个误报,于是6/(6+4999.5)约=0.12%,也就是用贝叶斯主义,去估算,一个正确率很低的前瞻性科研项目,即使做出来P<0.05(此事件偶然发生率是钓鱼5%)的结果,其实大概率也是错的。
现实中检测乳腺癌时就有这种问题:
(用敏感性90%,即检测出真阳概率90%,且特异性90%,即把阴性误报为阳性概率有10%的双90%准确率的检测方法,对40到50岁的美国女性进行检测,判定是得乳腺癌时,实际得乳腺癌的概率就1.77%。因为1万个这个年龄段的人,最后通过手术等其它方法确认是真乳腺癌的平均也就千分之2,即20个真阳性的,9980个是阴性的,真阳性是在理论上能检测出20*90%=18个,阴性误检测为阳性数量是9980*10%约=998个,即检测出来的真假阳性总和一共有18+998=1016人,但这些人中真正有乳腺癌的人占比是18/1016约=1.77%。)不懂数学 的癌症的概率就会变高 #贝叶斯定理 #概率 #乳腺癌-快手
https://www.kuaishou.com/short-video/3xkv3wrt2v8gzug?fid=2006007745&cc=share_wxms&followRefer=151&shareMethod=VIDEO&docId=9&kpn=NEBULA&subBiz=BROWSE_SLIDE_PHOTO&photoId=3xkv3wrt2v8gzug&shareId=17551402550452&shareToken=X8fUSJYgcIe91bR&shareResourceType=PHOTO_OTHER&userId=3x8smubzs6dvxrg&shareType=1&et=1_i%252F2002380846074313682_sl1150bl%2524s&shareMode=APP&originShareId=17551402550452&appType=21&shareObjectId=5217983228215784817&shareUrlOpened=0×tamp=1690311323908&sharePullHoldout=1&utm_source=app_share&utm_medium=app_share&utm_campaign=app_share&location=app_share