他炮制了一篇“钓鱼”研究,把无数人耍得团团转,包括你!

2021-08-23 星期一
约翰•博安农(John Bohannon)又干了桩大件事。 


(在你问他是谁之前……)博安农是牛津大学的分子生物学博士,Science和Wired的撰稿人,也是个脑洞很大的奇葩。他的个人网站列出了他曾干过的一些大事  以“实验”和“结果”的形式


     🔽       


亲手打造“垃圾”研究:

黑巧克力能减肥?


事情的起因是这样的。2014年,两位德国电视记者,彼得•翁嫩肯(Peter Onneken.)和黛安娜•勒布尔(Diana Löbl),想拍个关于减肥食品业界的纪录片。


翁嫩肯研读了欧洲的S3膳食指南,发现许多制定指南的专家受雇于减肥公司或食品公司,并在指南中推荐雇主的特定膳食。他们私下联系了其中的几位专家,有人承认某些研究做得不够好——这有点太轻描淡写了,翁嫩肯觉得有些研究简直就是垃圾。而这些垃圾研究被冠以科学之名,登上媒体头条,在全世界广为传播,然后一些奇怪的膳食就能大卖特卖……


于是,翁嫩肯就找到了博安农商量:单纯揭露批判,总觉得力度不够,不如我们按照这些套路,自己动手搞个垃圾膳食研究?


这种闷声发大招,搞个大新闻的事情,博安农最擅长了! 


两人一拍即合。他们的“造假”步骤如下:


1、选择研究题目


翁嫩肯本来想搞个“啤酒有益身心”的研究。然而,他们的纪录片计划在德法两国播放,而法国对于电视上播放的喝酒内容,有很多法律规定……于是啤酒出局。


冈特•弗兰克(Gunter Frank) 医生是这次“研究”的主持者,他提出了一个新的“研究结论”——黑巧克力有助减肥。弗兰克说,人们对于难吃的东西有种朴素的信仰,总觉得好吃的就是垃圾食品,难吃的就是自然灵药……其实很多时候,苦味预示着有毒啊!演化给的自保本能,就这样轻易地丢掉真的好吗?


不管怎么说,“黑巧克力很苦很难吃,所以它肯定对健康有益”,嘛,就这么愉快地决定了!


2、收集数据


这帮人在Facebook上发了个广告,“吃三周指定饮食,赚150欧元”,并征来了15个志愿者——本来是16人,后来有一个中途退出的。然后把这15人随机分三组。对照组继续正常饮食,试验组I吃低碳水化合物饮食,试验组II吃同样的低碳水化合物饮食外加每天一条1.5盎司(约合45克)的81%的黑巧克力。


图 | pixabay


3、统计分析


他们找了个金融分析师朋友亚历克斯(Alex Droste-Haars)来分析数据,分析师喝着啤酒干了一个周末,发现数据简!直!完!美!


对照组体重基本不变,两个试验组平均体重都轻了5磅(2千克左右),经统计检验,差别显著。而且黑巧克力组的减肥速度还快了10%,此外,黑巧克力组的健康自评分数更高。


图 pixabay

4、写论文,投论文


还记得博安农化身非洲学者一口气投中了157篇论文那次么?在挑选野鸡期刊上,他可有独到的一手心得。总之,他化名约翰尼斯•博安农(Johannes Bohannon)投了20家期刊,在24小时内就接到一大堆录用通知。在这些表示“这文章我收了”的期刊中,博安农选中了《全球医学研究期刊》(Global Journal of Medical Research),给该刊交了600欧元的版面费,不到两周后,搞定!


 总之,论文搞定。


5、让媒体报道


一开始博安农是比较悲观的。他想,记者只要随便Google一下,就会发现论文作者所在单位“饮食与健康研究大学”(University Institute of Diet and Health)根本就不存在……记者再找个靠谱的科学家读一遍论文,就会发现结论根本站不住脚。


一个公关业的朋友告诉博安农,其实没那么难。抓住一点关键就行——记者都懒。只要你替记者把该写的东西都写好,记者们就会自动开始复制黏贴,最后发出来一篇和你的原稿八九不离十的东西。



博安农于是写了一篇给媒体专用的“新闻发布稿”,放上了大部分数据——有意没提样本数等“小瑕疵”。记者即使不读原始论文,读完这篇稿子也能动笔写了。


他还找音乐人拍了两条MV,一个男声说唱版,一个女声民谣版,主题都是《巧克力变身》(The Chocolate Transformation)——还记得吗,这家伙是“跳出你的PhD”舞蹈大赛的组织者


躺在上面穿蓝衣那厮就是博安农。| www.johnbohannon.org


万事俱备,只欠鱼群 



欧洲发行量最大的报纸——德国图画报(Bild)是第一条上钩的,他们发表了《吃巧克力能保持身材纤细》。


没多久,印度、爱尔兰、美国、澳大利亚的多家媒体都报道了这一“发现”,其中不乏赫芬顿邮报这样的大媒体


写稿的记者,大部分压根就没联系博安农这个“论文作者”。有些联系了,但问的也只是“你对我们的读者有何建议”之类。没人质疑样本数,没人去找其他科学家来评论这个研究。最令博安农痛心的是,没有篇报道了他精心拍摄的那两条音乐录影带!


(嘛……毕竟其他人都是正常人……)


坏科学的危害,

在于用真实数据说谎


博安农的垃圾科学究竟为什么钓到了那么多?人们常说,最厉害的谎言就是99句真话里掺一句谎言,但其实现在的谎言更上层楼:通过99个事实得出一个结论,最后的结论偏偏不是真实。坏科学的杀伤力恰恰就在于此。


博安农骗过期刊又骗过媒体的第一个秘密是统计分析


宏观经济学里有个古德哈特定律(Goodhart's law),一项指标一旦成为政策制定的依据,便会立刻丧失其原有的信息价值。统计学的p值也是如此,这原本是一个用来衡量“某命题是否很可能为真”的指标,但随着p值成为发表论文的“快捷通道”,很多人便开始改动实验设计、删改实验数据、重复多次实验——只为一个小于0.05的p值。


当博安农自己揭露这个骗局时,他又写出了两条肮脏的科学小秘密



第一条肮脏的科学小秘密:假如你在一小群人身上测量一大堆数据,你基本上肯定能得到‘统计上显著’的结果。


我们给15个人测了18项指标——体重、胆固醇水平、钠、血中的蛋白水平、睡眠质量、总体健康状况等等。这样的研究设计,就是得到假阳性结果的秘诀。”



“我们其实不知道会出现怎样的结果——完全可能是巧克力改进睡眠、巧克力降低血压——但我们知道,我们有很大机会(>60%)至少拿到一个‘统计上显著’(也就是p<0.05)的结果。”


哥伦比亚大学的统计学教授安德鲁•杰尔曼(Andrew Gelman)认为,博安农还估低了,因为他只把测量18项指标当成18个单独的测试来算。事实上,任何两项指标都可以被拿出来比较,还可以单看某个分组的各项指标,考察指标之间的相互作用……这样的多重比较,让拿到“统计上显著”的几率远不止60%。


世上无难事,只怕统计学……图片来源:xkcd


第二条肮脏的科学小秘密,则藏在样本数量里。


博安农自己写道,“我们的研究注定不靠谱,原因就在于样本数量太少,这就放大了不可控因素的影响。举个例子,女性在月经周期中体重波动就可以高达两千克,这就已经远超过我们那两个试验组之间的体重差异了。正是因此,才需要很多人的大样本,还要平衡好不同组里的年龄和性别组成(我们当然没理这事)。”


忽然想起了塞拉利尼的“转基因玉米致癌”论文:同样发表在名声一般的开放获取期刊(OA)上,同样是样本量小而分组多——能不能少一点统计套路,多一份科研真诚?



博安农还写,“幸运的是,在这些问题上,科学家们变得越来越明智了。有些期刊正试着慢慢淘汰p值检验,推动科学家养成更好的习惯。现在几乎没人会正眼看样本量低于30的研究。知名期刊的编辑都懒得把这样的稿子送审,直接就会拒掉。但是,也有很多期刊比起声誉,更看重金钱。”


顺便说一句,在博安农的“自杀式袭击”公开后,登他论文的那家活该倒霉的期刊出版方憋出一则声明,说其实博安农的文章他们是拒了的,只是不知为何,这篇文章意外出现在了他们期刊的网站上,同样不知为何,这篇文章一直保留了好几天,对此他们深表歉意,其实他们是一家有理想有伦理透明公开的严肃期刊……



博安农对此的回应是:“啊如果真的撤稿了我一定要把600欧元的版面费要回来!”


钓鱼是为了说明:

没有传播,就没有伤害


钓鱼当然不是好事。这场钓鱼实验的发起人翁嫩肯也承认这一点,同时他也声明,他们尽了最大可能让上当的人不受伤害。“吃黑巧克力,一般不会造成什么大问题”,而参与实验的那16个人都经过血检加问卷,确定没有人有糖尿病、饮食紊乱等问题。


他做这一切,只为了告诉全世界的媒体——这样的研究根本就不该出现在媒体上!没有传播,就没有伤害!


“如果科学家做了个屎一样的研究,但没人听说,那就没人受害。英国小报说火星上有恐龙,那无所谓。但有些人真的需要减肥,需要饮食干预,而很多被报道出来的研究对他们毫无帮助。”


而博安农想告诉全世界媒体的是——



膳食科学,是一门科学。



如果你想报道科学,你必须学会如何读论文,必须愿意花时间脑力去真的读论文,必须秉持着追求真实之心,近乎苛刻地审视每个结论是否真能成立。


“假如一个膳食研究不提样本数多大,或者说了个惊人的结论,然后只说差异在‘统计上显著’,却不跟你说差异到底多大,你就该开始思考这是为什么。”“但大多数时候,我们记者没有去追问。这很令人遗憾,因为如今的记者已成了现实生活中的同行评议系统。当我们未能尽忠职守,世界就会被坏科学淹没。”



作者:游识猷

编辑:Stellasun


 一个AI 

不是博安农太狡猾,都怪人类太好骗……(尤其在“多吃XX能减肥”这种事上→_→


本文来自果壳,未经授权不得转载.

如有需要请联系[email protected]

原文地址:点击此处查看原文