Michael Story 是Swift 应用预测中心的主任，他致力于让预测对政策制定者和普通民众都有用。此前，他在最初的 Good Judgment 项目中获得超级预测员资格后，曾担任 Good Judgment 的董事总经理。他对如何更好地进行预测进行了很多思考，我认为了解他对当前预测状态的看法会很有趣，预测员可能会犯什么错误，为什么公司对内部预测市场不那么热衷， 和更多！
他目前也在寻找有经验的预测者来帮助探索预测者可以帮助决策者了解预测者判断的“原因”并帮助他们做出决策的方法。如果您是一位经验丰富的预报员并想参与其中，您可以在此处阅读更多信息。
1）你认为优秀的预测者在看待世界的方式上会犯什么常见的错误吗？同样，如果有的话，你认为那些根本不预测的人可能会比超级预测者给出更有洞察力的答案？
预测者通常非常擅长以准确的方式评估世界，但如果有一个原因，他们的预测可能会始终略微偏离，我认为这可能会出现在一个人们自言自语的社区中，而你的作为一名优秀的预测者的生活经验将塑造你看待世界的方式，并可能导致轻微的扭曲。
并不是说有一个特定的问题他们会更难回答，更多的是预测中的人们可能会创建一个关于其他人是什么样的心理模型的风险，这是因为他们过度暴露于那些也是预测者。因此，虽然我不确定预测者在某些特定领域的表现可能比其他人更差，但我认为他们更有可能表现不佳的问题类型是依赖于对生活的假设的问题与预测者所过的生活类型不同。
2）您如何在个人生活中使用预测？是否有任何你不愿意预测的问题（例如，一段关系失败的机会），或者你愿意预测几乎任何事情？
一旦你开始像预测者一样思考，就很难不以概率的方式思考事情。生活的很多领域都需要隐含的预测，当你决定是否接受一份新工作、搬到国家或开始一段新的关系时，像预测者一样思考是非常有用的，这些都是我在过去几年所做的.你需要考虑一下某个结果的概率是否在X%以上，大致了解每个结果的影响，并进行期望值计算。然而，这并不总是容易做到的：面对令人不安的可能性会使预测情绪变得沉重，而且在不影响情绪的情况下，很难客观地考虑一些潜在的结果。在这种情况下，向你的预报员朋友寻求建议是非常明智的。
我还认为，对个人生活做出明确的预测可以帮助年轻人实现他们的潜力。许多有才华的年轻人缺乏自信，这似乎是我们应该为他们和其他所有人的利益而尝试和解决的问题。促使人们以更概率的方式思考他们的选择可以帮助人们对他们可能的想法有所了解。对于年龄稍大并且能够识别人才的人来说，你能做的最好的事情之一就是识别那些信心不足的有才华的年轻人并提高他们的抱负，你可以相当便宜地做到这一点——当然比培养人才更容易。
3) Nuño Sempere、Misha Yagudin 和 Eli Lifland 进行了一些有趣的研究，声称内部预测市场未能在公司中获得牵引力，并且尝试过预测市场的公司往往最终放弃了它们。你为什么认为这是？您预计未来会有更多公司采用内部预测市场吗？
我还参与了试图在公司内部建立内部预测锦标赛的项目，我接触过的项目难以起飞有几个原因。
首先，很难将在线预测项目推广到大公司内部发生的事情。像 Good Judgment Open 或 Metaculus 这样的网站及其用户非常不寻常，因为它们拥有大量喜欢预测并将其作为一种爱好的人。这不是典型的大公司的情况！如果我们回顾第一个关于预测者可能会出错的问题，我的回答可能适用于这里：喜欢预测的人可能高估了预测锦标赛在大公司内部的流行程度。预测者往往是传道者——他们认为很明显预测是有益的，而且公司会从做更多的事情中受益。但通常在大公司工作的人并不觉得预测很有趣，所以参与总是一个问题。如果组织足够大，可以巧合地雇佣一定人数的预测员，这不是问题，但这是一个限制因素。
公司内部的预测平台经常无法运行的第二个原因是它们的运行成本非常高。同样，许多预测者发现很难看出运行这些系统的成本有多大，并且低估了这些公司在协调和带宽方面的难度。你可以辩称公司低估了这些信息的好处，但他们可能不会这么长时间地看到它，以至于愿意忍受这些成本。
第三，一些建立预测平台的公司似乎并不像他们可能的那样投入——也许他们想要预测，而不是真正重视它。对于一些公司来说，这有点像去健身房或健康饮食。每个人都知道他们应该锻炼，但实际上很难继续锻炼。我经常看到项目在启动会议和大量参与的情况下进行，但是当建立内部市场的研究人员离开时，没有真正的外部心理动力来坚持下去，参与度下降。在实践中，研究人员一直扮演着私人教练的角色，并为系统增加动力，但是当研究人员离开并且不激励预测时，事情可能会分崩离析。
我还认为我们需要做更多的工作来更好地使预测实践适应组织环境。我们知道如何进行预测的许多方法都来自政府预测竞赛的研究——但这些预测竞赛旨在区分预测者和团队，而不是优化以产生在公司限制条件下最有价值的信息应对：人数少、时间有限、带宽有限。如果您想在公司内部建立预测比赛，您需要优化以有效地找出真实信息，而不是找出谁是比赛中最好的预测者。
一旦你超越了政府锦标赛模式，就会出现很多未知数。例如，我们关心的很多事情可能没有明确的解决标准，或者无法明确表达：它们是模糊的问题。如果您正在运行的目标是找到获胜的预测者，这无关紧要 – 您只需选择具有严格解决标准且明确的问题即可。但大多数时候，公司真正关心的事情是模糊的，他们愿意以比大多数预测者所接受的更严格的方式进行权衡。让我们想象一家公司可能有兴趣在一个国家开设新工厂并担心政治风险。他们想预测这个国家在未来 20 年内是否会保持政治稳定，而要彻底解决这是一件相当模糊的事情。
那么，你会怎么做？预测市场或其他预测平台可能会尝试为此类事情找出代理措施，但这很困难，也许最有用的输出会通过从预测者那里获取定性信息来出现。也许为不同类型的风险事件和其他有关目标国家潜在问题的信息征求基准利率可能比实际的数字预测更有用。如果这行得通，您现在是在做预测、运行预测平台，还是在做其他我们没有仔细研究过并且可能导致引入错误的事情？这几乎就像灯柱问题– 我们根据预测研究进行搜索，因为它是一组已知的问题和解决方案，但这可能代表最容易产生的一组研究结果，而不是产生最有用信息的技术。
4）假设我带着一个你几乎一无所知的主题来找你预测问题——你研究这个问题的过程是什么，你有什么特别独特的事情你认为其他（超级）预测者可以学习从？
大多数预测者在遇到新事物时都会使用一套标准的“技术”。他们首先会查看过去类似事件的基本发生率，并为他们提供对所涉及概率的“外部观点”初始估计。然后他们会研究可能发生此类事件的具体机制，并仔细考虑时间和事件规模。他们会审查一堆不同的来源来调整他们的估计，最后进行“事前分析”——回答“我最有可能怎么做错了？”的问题。
这些可能是常见的答案，它们是一个有用的起点，但预测者之间发生的事情比部署此过程的人要多得多。许多人都有自己的个人方法和实践，这些方法和实践在他们的大脑中发挥作用，甚至可以达到直觉的水平，但因为这些东西是特定于人的，所以它们不会出现在大型调查中。话虽如此，“经典”预测技术之所以经典，是因为它们有效。
预测时要考虑的最重要的事情是校准。你可能会开始使用许多不同的技术，甚至“相信你的直觉”和直觉，但如果你不衡量你的准确性并看看是什么导致它提高，你真的不会变得更好。
我确实相信这也有神经多样性的成分。以我的经验，预测者能把事情做对的原因之一是他们往往受社会信息的影响较小。如果您不太受社会趋势或流行观点的影响，那么您在能够冷静地应用上面概述的一些标准技术方面具有很大的优势。我认为这至少部分解释了当他们被剥夺社会和情感背景时，事情看起来更“明显”。
可能没有任何我使用过的技术我从未听说过其他人使用过。我能够获得比其他方式更好的结果的一个领域是找出人群预测中可能存在的弱点。我擅长识别其他人完全错误的地方。例如，我或许能够建立一个心理模型，判断人群是否可能高估或低估某个国家可能发动战争的可能性。你可以在那里量化集体思考：如果我认为人们的心智模式使人们可能认为这个国家好战的可能性高出 10%，我可以从那里进行调整。
5) 你听过的关于预测被高估或不是特别有用的最佳论点是什么，你为什么不同意它（如果你同意的话）？
预测可能被高估了。几乎所有的预测者在他们的日常工作中获得的报酬比预测之外的工作要高。市场信息是“不要预测” ！预测网站也不能完全获得大量流量，所以还没有大量的人依赖这些预测来做出重要的决定。如果这对人们立即有价值，他们会一直在看它，而他们不是。
事实上，媒体最关注的预测方面是对预测者本身的报道：看这个喜欢预测事情的不寻常的人，而不是实际的预测说什么。
我们在 Swift Center 的目标是改变这一点。这可能是一个艰难的过程，但我相信我们可以做一些事情：我们可以更好地将我们的预测与人们感兴趣的主题相匹配，我们可以更好地展示自己。产生重大影响的一件事是为预测网站提供良好的用户体验，这远远超过人们愿意承认的程度。我们需要更好地解释自己。概率本身对决策没有那么有用，但伴随更多信息的概率可能会改变游戏规则。
在大流行期间，多米尼克·卡明斯 (Dominic Cummings) 说，他在英国政府收到和传播的一些最有用的东西不是预测，而是解释正在发生的一般模型的定性信息，这使决策者能够更清楚地思考他们的行动选择和可能的后果。如果您担心新的疾病爆发，您不仅需要对未来病例数的百分比概率估计，还需要解释病毒可能如何传播、您可以采取什么措施、如何预防它。不是对一个月内会有多少 COVID 病例的最佳估计，而是为什么预测者认为一个月内会有 X 个 COVID 病例。正确获取这些上下文和决策相关信息是我在 Swift 中心的全职工作，我认为这是我们最有可能使预测尽可能有用的地方。
感谢您阅读 Samstack！免费订阅以接收新帖子并支持我的工作。
原文： https://www.samstack.io/p/five-questions-for-michael-story