上个月我通过将 PDF 上传到互联网发表了一篇论文，人们就像“好论文，这里有一些想法！”

两周前我写了一篇文章说同行评议是一个失败的实验，另一种选择是将 PDF 上传到互联网，有些人就像“坚持住，巴斯特！”

一位终身教授暗示她可能会试图让我被解雇。一个拥有博士学位的人指责我是“愤世嫉俗的元认知华夫饼”，这是一个后现代噪音乐队的好名字。我收到了一些奇怪的、隐约威胁的电子邮件，其中一封有我个人网站的截图，突出显示了我的即兴表演经历，证明我真的是个小丑。我想这是真的。

（人们也说好话。）

以前的实验历史

回顾一下，我在上一篇文章中指出：

1. 很长一段时间以来，我们以多种不同的方式发表科学论文，普遍的出版前同行评审既新颖又历史悠久。

2. 该系统似乎没有实现它声称的目标或我们希望它实现的目标。

3. 尝试其他事情是值得的。

从本质上讲，这是反对科学单一文化的论点。为什么每个人都应该以相同的方式发布？你必须非常确定这种方法比其他所有方法都好——而且它对每个人都更好！——这种确定性对我来说似乎很疯狂。将 PDF 上传到互联网对我有用，但人们可以通过许多其他方式交流他们的发现，我希望他们尝试一下。

除了威胁之外，这还产生了一些很好的评论。感谢所有写的人！以下是一些回应。

对大众的恐惧第一部分；或者，当您可以在家打印诺贝尔奖时会发生什么？

首先，有些人担心在每个人都选择将 PDF 上传到互联网而不是在期刊上发表的世界中会发生什么。例如，安农写道：

我不知道解决方案是什么。完全公开，我从事期刊出版工作已有 15 年。

您成功地自行发表了一篇文章。如果写论文的每个人都这样做，那么每周将有 100 篇手稿上传，质量控制为零，可发现性为零，除非你像一个自助出版的小说作者那样在社交媒体上努力工作以获得关注。

我理解这种恐惧，但我认为这是错误的世​​界模型。

想象一下，诺贝尔委员会决定停止评选诺贝尔奖获得者。 “每个人都可以在家打印出属于自己的诺贝尔奖证书！”他们宣布。

担心人们会整天打印诺贝尔奖是愚蠢的——没有理由这样做，因为它们现在一文不值。如果你来到实验室说，“大家看，我有四千个诺贝尔奖！”每个人都会嘲笑你。

我认为它在发表论文时也会起到同样的作用。现在，您在期刊上发表的每篇论文都会获得荣誉（更有声望的期刊获得更多荣誉），因此您想发表尽可能多的文章。但是，如果“发表”只是“将 PDF 上传到互联网”，那么发表本身的行为就没有任何功劳，因此仅仅为了发表论文而发表大量论文只会让你看起来很愚蠢。

我不必想象这会是什么样子，因为这正是我现在所处的情况。当我从事打算在期刊上发表的项目时，我的大脑会想，“玩游戏，发表大量论文，完成它。”

但是当我从事打算发表在实验历史上的项目时，我的大脑会“确保你做得很好！诚实、有趣、善良！”没有期刊可以为我作证，我所拥有的只是我的声誉和我的工作质量。我可以尝试很多孤注一掷的策略来引起人们的注意——“医生不想让你知道的 12 个惊人的心理学发现”——但是如果人们点击我的作品并认为它是垃圾，他们就不会再回来了，他们我不会告诉任何其他人，很快我就会自言自语。

这也是为什么我不担心可怕论文的冲击——我们已经遇到了可怕论文的冲击。你很快就会学会忽略它们，就像你学会忽略垃圾邮件、愚蠢的 Netflix 节目和垃圾电话一样。同样，科学是一个强链接问题。我不担心有多少坏论文；我担心有多少好论文。

对群众的恐惧第二部分；或者，当每个人都被允许发言时会发生什么？

这种恐惧的一个变体是：如果任何人都可以说什么，我们会不会陷入无政府状态？

杰瑞·D·哈里斯：

我非常期待由“科学家”在一个世界上撰写的关于神创论和智能设计的真实性以及人为气候变化的虚假性以及疫苗不起作用的免费论文的猛烈攻击没有同行评审作为障碍。

我也理解这种担忧，但我认为它也有错误的世界模型。

没有什么可以阻止神创论者或其他任何人开始他们自己的同行评审期刊。事实上，神创论者已经这样做了。它叫做The Journal of Creation ，他们本月刚刚出版了一期新刊。

所以同行评议并不是阻碍神创论者发表论文的障碍。那么，是什么阻止神创论成为人类起源的主导理论呢？

事实上，创造论者的论点更糟。很难让人相信地球已有 7,000 年历史。你必须让他们相信你有一本真实的神话语书，其他假定的神话语书都是冒名顶替的，这些话语应该以这种特定方式而不是其他方式来解释，而且所有的考古学家，古生物学家，生物学家等，声称遇到了相反的证据，实际上是错误的或者是魔鬼派来误导你的。

当然，让人们相信这一切并非不可能，这就是《创世杂志》存在的原因。这不是一个获胜的论点，所以它没有赢得那么多。

那挺好的！如果某件事确实是真的，那么它应该能够在公平的战斗中击败任何虚假。如果我们认真地寻求真相，我们应该希望这场斗争是公平的。

同行评审对我有用/不对

有些人与同行评审分享了他们的糟糕经历，例如Martina Pugliese （ Doodling Data Cards的作者）、 mardin56和Gray Coupland 。英国医学杂志前主编理查德·史密斯评论道：

令我着迷的是，科学的核心过程是信仰而不是基于证据。事实上，相信同行评审不如相信上帝科学，因为我们有很多证据表明同行评审不起作用，而我们缺乏证据表明上帝不存在。

另一方面，一些人分享了他们在同行评审方面的良好经验，例如Jake 、 Nuno Henrique Franco和John Vidale 。用杰克的话来说：

我是人文学科的早期职业研究员。我经常发现同行评审确实在出版前改进了我的工作并带来了更好的研究（尽管我知道有些人对他们的同行评审并不那么幸运）。

我很高兴这对某些人有用。以下是我要补充的五件事：

1. 当人们每年花费 15,000 年的集体劳动来评论彼此的工作时，我当然希望其中的一些内容有所帮助。这是它可以清除的最低标准。

2. 出版前同行评审是您可以获得反馈的众多方式之一。人们自然会对他们关心的事情发表评论，如果出于兴趣而不是出于义务，他们的评论会更好。我的“ Things Could Be Better ”论文收到的有用批评比我发表的任何其他文章都多。如果我把那篇论文放在那里而每个人都忽略了它，那也会是有用的反馈：“结果没人关心！要么我需要做得更好，要么做点别的。”

3. 以这种方式发表意味着论文一旦发表就停止改进。 （你可以发布更正，但除此之外它应该是最终的。）但是为什么你会停止听取评论并仅仅因为它现在可以公开访问而使你的论文变得更好呢？

4. 如果这种方式适合你，我会说：坚持下去。

5. 如果它对您不起作用，我会说：尝试其他方法。

调整’

很多人都对如何更好地进行同行评审有想法。

Transitory （ Transitory的作者）：

一个想法：研究论文应该以与作者相同的方式列出审稿人姓名

Ben Sahlmueller （ Benerkenswert的作者）：

我更喜欢一个具有开放审查、开放访问、更多问责制等的去中心化系统。 […]

乔什·麦格拉思：

[W] 如果 Arxiv 有一个类似开放审查的评论部分会怎样？因此，通信是集中的。或者类似 reddit 的社区管理论坛？

斯坦·贾斯特热布斯基：

那么，如果出版更像是烂番茄网站的电影和电视评论呢？

镜子里的脸（镜子里的脸的作者）：

狭义定制和广泛 LLM（大型语言模型）的组合是否可以在专业子领域内作为自动同行评审工作？

如果您有预感某些东西会起作用，请尝试一下！如果您是一名编辑，请对您的编辑过程进行实验。如果您是一名工程师，请构建这些 LLM，看看它们能做什么。如果您对糟糕的科学论文感到愤怒，请开始在线发布评论。几乎可以肯定，无论您是谁，都可以做一些事情。

但是没有可以通过法令进行更改的科学皇帝；由你决定。如果这听起来像是很多工作，而您不想打扰，那没关系。世界上有很多问题，你无法解决所有问题。

其他一些好的评论

诺亚男：

仅仅在 25 年前，您还需要期刊来实际发表和分发您的作品。 […] 今天，阅读一篇论文的后勤和材料成本几乎为零。我们说服自己，期刊提供的服务不仅仅是充当报童，因为我们至少需要它们。然后我们基于那个愚蠢的挂断建立了一个完整的激励和爬梯系统。

这是一个很好的观点。我能感觉到现状偏见压垮了我们所有的想象力。

鲁兹：

当我质疑任何事情时，我曾让人们变得非常防御，我也让其他人感到惊讶和惊讶，因为他们实际上得到了超出真正基本内容的相关反馈！进行同行评审既不舒服又无聊。

无聊这个词真的让我印象深刻。复习应该很有趣。论文的声明是否属实应该很重要，审查它的唯一原因是你关心这些声明。我们觉得它很无聊的事实表明，我们内心深处的一部分认为我们面前的论文实际上不值得我们关注。

阿克沙特马哈詹：

[W]e *拥有*真正开放、零审核的平台（例如vixra.org ）。由于许多根本原因，它们未能产生更好的科学的预期效果。

我同意 Mahajan 的第一点：我们已经拥有我们需要的所有基础设施，但人们并没有使用它来进行试验。他们只是先将 PDF 发布在网站上，然后再尝试在期刊上发表，因此无论他们制作什么，都旨在通过同行评审。这就像每个人都有一辆可以越野的吉普车，但他们却只在高速公路上行驶。

我不同意 Mahajan 的第二点：这些平台没有失败。如果你给每个人一辆吉普车，希望他们能把它开到荒野中，但没有人这样做，那就不要修理吉普车；修复驱动程序。你需要让他们不再害怕离开高速公路，让他们相信那里有值得一看的东西，然后给他们加油。

这就是为什么，尽管我很想看到人们尝试他们建议的所有替代平台，但我认为我们不会通过构建完美的网站来彻底改变科学。我们必须 a) 解放思想，b) 资助他们。我现在正在研究 (a)，并且我已经制定了 (b) 的计划。

请不要把这个梯子翻过来，我们正在努力爬上去

我非常感谢阅读此博客并在评论中提出要点的聪明人。我总能学到一些东西，即使我不同意。但是该死的，我在这里和推特上收到的一些评论——通常来自科学家们自己——简直令人讨厌。

我知道在互联网上写字的风险，而且我知道我不是第一个被骂的人。我只是没想到会是这个。为什么它让人们如此激动？

我可以想到两个原因。

第一：第三人称效应，即人们倾向于认为其他人容易被说服。我是一个精明的消费者；你是个笨蛋，会被一对胸部骗去买百威啤酒。我理性地评估论点；你听谁喊得最大声。我不会被博客文章所左右；你会的。

这是一种愚蠢和居高临下的想法，但我们都这么认为，也许科学家尤其如此。因此，难怪当我们听到自己不喜欢的论点时会感到不安——我们愚蠢地担心这些论点会赢得我们这个愚蠢世界中所有傻瓜的支持。

第二：社会支配地位。科学家们可能认为他们是平等主义者，因为他们不相信基于种族、性别、财富等的等级制度。但他们中的一些人非常相信基于声望的等级制度。在他们看来，拥有更多学位、更多奖学金和更高学术职位的人高于那些拥有更少这些东西的人是正确和好的。他们甚至不认为这是等级制度，确切地说，因为这听起来像个坏词。对他们来说，这只是事物的自然规律。

（要了解这一点，请观察两位学术科学家相遇时会发生什么。他们首先想了解的是 1) 职业阶段——研究生、博士后、教授等，以及 2) 机构。这些是允许您将某人置于层次结构中的 X 和 Y 坐标：精英机构的教授获得很多地位，无名机构的研究生没有。长相年长的研究生有时会有被误认为教授的经历，教授会亲切地与他们交谈，直到他们意识到自己的错误，这时他们会惊恐地高调退出谈话。）

当你质疑它的中心假设时，那些全力以赴的人不喜欢它。如果同行评议不起作用，甚至对科学有害，这表明处于最高层的人可能是裸体皇帝，这不仅让裸体皇帝感到不安，也让那些努力脱光衣服的人感到不安成为其中一员的希望。事实上，这不仅令人沮丧，而且很危险，因为它可能会翻倒上面载有很多人的梯子。

但是你看，为一个据称基于证据的系统辩护应该很容易。您应该能够计算按照我们的方式做事的成本和收益，并且收益大于成本应该很清楚。你应该能够毫不尴尬地列出数据，你应该能够回答任何善意的反对意见，你应该诚实地面对自己知识的局限性。你绝对不应该诉诸声望或威胁要解雇我。如果这就是你所拥有的，那你就没有太多了。

小丑入场

在互联网上争论一切都很好。它可以帮助您修剪推理中松弛的部分，例如认知吸脂术。它把所有的说法都公开了，这样人们就可以阅读它们并得出自己的结论。它可以很有趣，除了人们大喊大叫的部分。

但这只是对练，只是通过光纤电缆发送电子并在屏幕上四处移动像素。真正的战斗在那里。想法不会通过让人们同意而成功；他们通过激励人们去做事情来取得成功。

“如果你尝试了一些东西但它不起作用怎么办？那样你就显得很傻了！”朋友，你做过实验吗？如果没有失败的机会，那么就没有机会学习任何东西。

所以现在是采取行动的时候了。愿最好的想法获胜。如果我最终看起来很愚蠢，那也没关系。毕竟，我是名副其实的小丑。

原文： https://experimentalhistory.substack.com/p/the-dance-of-the-naked-emperors