我最近一直在思考是什么让我的同事们表现得最好。
您可能认为，使人们在研究或工程方面真正有效的主要因素是技术能力，在普通人群中确实如此。不过，在我的 Anthropic 同事中，我们通过筛选极高百分比的技术能力来限制范围，因此剩余的差异虽然仍然很重要，但并不那么重要。相反，人们最大的瓶颈最终变成了他们获得影响力的能力，即找到并执行每小时产生巨大影响的工作。
例如，以下是 Anthropic 的一些类型的工作，如果做得好的话，往往会产生很高的每小时影响力，或者很高的每小时影响力上限（当然，这个列表并不详尽！）：
- 改进工具、文档或开发循环。以正确的方式修复剪纸问题只需花费很少的时间，就可以节省数百个用户的调试时间或在低效的工作流程中拖拖拉拉的时间。
- 确定有前景的研究方向。像角色和计算机使用这样的事情一开始只是一个人时间的一小部分，赌注应用于某些问题的某些技术会非常有效，并最终对 Anthropic 的研究方向产生了重大影响。
- 系统设计。这往往只占执行项目总时间的一小部分，但如果做得好，它可以使最终的系统变得更好并节省大量工作。
- 收集和挖掘数据。几乎总是这样，如果我们开始寻找一些以前没有的新数据源，我们会发现巨大的数据
问题改进的机会，它极大地改变了我们的优先顺序。- 有趣的是，即使是这项工作看似非常死记硬背的版本，也往往具有极高的影响力。例如，您可能认为“查看 100-1000 个异常数据点”之类的任务可以委托给初级员工，但事实上，对此最着迷的人是我们最资深的研究人员和经理，他们经常通过这样做发现严重的问题，否则我们不会注意到。
我认为寻找高杠杆工作有两个相互关联的组成部分：
- 能动性：即尝试使事情发生的主动性/积极主动性以及确保您成功的不懈努力和足智多谋的某种组合。
- 品味：你需要有良好的直觉，知道哪些事情可以很好地尝试，哪些事情不会很好地尝试。 “从大处”（选择重要问题）和“从小处”（选择有效解决问题的方法），品味都很重要；我通常看到人们首先擅长后者，然后才是前者。
没有品味，你很可能会朝着错误的方向努力。如果没有代理，即使你朝着正确的方向努力，也可能一事无成。
人们如何才能在这些方面有所改进？我认为，主要是通过练习：没有什么可以替代与现实的良好反馈循环。因此，也许这里最重要的一点是，您有权尝试表现出良好的品味和高能动性！但以下是一些更具体的建议，帮助我在这些方面进行改进。
一、代理机构
从根本目标出发理解并逆向工作
获得更多影响力的最简单方法之一就是确定一个你已经在努力实现的目标，并找出更好的方法来完成同样的事情。 （例如：更改实验设计，使其与高级问题更直接相关；找到构建工具的 80/20 方式；只是决定完全不做某些事情；等等。）为了做到这一点，您需要仔细跟踪特定项目所针对的高级背景和优先级，以便您可以理解和判断权衡。
显然，无论谁监督您的项目，都会尝试向您指出实现他们能想到的目标的最有效方法。但是找到最有效的做某事的方法需要花费大量的时间和精力，他们可能还有很多其他的事情要做，而且他们的背景信息也比你少得多，所以他们很容易错过一些事情！
例如，当我在 2022 年底在 Anthropic 进行工作试验时，我被分配了为我们的计算集群构建自定义调度程序的任务，以修复默认调度程序中的一些不幸行为，这些行为使研究人员的生活变得困难。但在看到团队工作一周并思考系统设计后，我开始担心这个项目最终会给拥有集群的团队带来很高的维护负担，而集群已经超载，最后我建议我们推迟它。事实证明，二阶效应会使该项目对于“保持集群运行良好！”这一根本目标产生净负影响。
不要过分依赖许可或鼓励
关于最高杠杆项目的一个违反直觉的事实是，对于大多数人来说，它们通常事先并不具有明显的高杠杆作用（因为如果是的话，它们早就已经完成了）。这意味着人们常常对追求这些目标的价值持怀疑态度。
这种怀疑可能有几个原因（在现实世界中，大多数项目都同时进行）：
- 人们可能低估了该项目将产生的影响。例如，我发现人们经常低估与指标、仪器或一般查看数据相关的工作的价值，因为你无法预测你会学到什么具体的东西，或者你会因此产生什么具体的影响。正因为如此，许多团队在数据分析方面的投入始终不足。
- 该项目可能看起来太难以高影响力的方式执行。例如，我认识的某人构建了一个系统，通过对每条内核日志消息进行解析和分类来识别数据中心中不健康的主机，最终节省了 X0000 万美元/年 (iirc)。当他最初提出这个项目时，其他人认为这需要整个团队几个季度的时间，可能是因为它非常无聊且注重细节；但因为这个人擅长专注、注重细节的工作，即使很无聊，他也只用了几个月就完成了。
一个个人的例子：在我加入 Anthropic 的推理团队后不久，团队中的几个人提议完全重写我们的推理服务代码库，因为他们觉得当前版本过于复杂。我对此有些怀疑，基于标准软件工程启发式“大多数重写都会失败，大多数人对重写需要多长时间过于乐观”，尽管我没有非常强烈地反对，因为我知道我没有太多背景信息。事实证明，重写花了大约一周的时间，立即实现了整数倍的效率提升，并且让进一步的效率提升变得更加容易。我很高兴人们没有听我的怀疑！
解决这种动态的一种策略是，你可以告诉他们你打算做什么，而不是要求人们批准去做某事（如果他们感觉强烈，则暗中给他们反对或纠正路线的空间）。
当然，同样的“高杠杆项目不明显”现象也意味着你的一些自我驱动的高影响力项目尝试很可能会失败，因为你错误地判断了它们的影响力或难度。正因为如此，你应该将它们视为可能会或可能不会获得回报的赌注，而且——至少在你证明自己有能力在相当长的时间范围内进行良好的赌注之前——最好将这些作为低风险项目投资组合的一部分，以避免出现这样的情况：你咬住了一个高风险项目，但它没有成功，人们对你选择自己项目的能力失去了信任。
让成功成为必然
高能动性人士的一个共同特征是，他们为实现目标承担责任，而不仅仅是做一些工作。
以下两种运行模式存在巨大差异：
- 我的目标是在本月底之前交付这个项目，所以我将让人们尽快开始工作。
- 我的目标是在月底之前交付这个项目，所以我将列出到那时需要完成的所有事情，制定从交付日期倒推的时间表，确保关键路径足够短，确保我们有足够的人员来完成任何事情，弄清楚如果时间表出现偏差我们将削减什么，诚实地说明我们需要多少坡度，根据时间表跟踪进度并在我看到任何延误时立即将其显示出来，如果我需要的话从其他地方拉来人员……
模式 1 会让你的抽象变得有漏洞——如果你的项目很关键，其他人就需要不断地监控它并找出如何解决阻碍。我对模式 2 的概念处理是“让成功不可避免”，因为“不可避免”是其他人可以停止花费大量精力担心项目的门槛。
可以信任让某些事情不可避免的人确实很少见，而且通常是团队或公司可以同时完成多少不同事情的瓶颈。因此，如果其他人负责使您的项目不可避免，那么您就会消耗一些稀缺资源；如果你是那个使自己的项目不可避免的人，那么你就是该资源的生产者，并且你正在帮助你的团队解除一个关键的限制。
（当然，在实践中你永远不会实现完全必然性，但接近它仍然会产生巨大的差异！）
二.品尝
找到你的角度
我在上面写道，您应该期望高影响力项目是不明显的，因为如果它们是显而易见的，那么它们就已经完成了。这指出了另一个有趣的动态，即不同人的“最佳品味区域”很少有重叠。相反，大多数人的品味质量是高度特殊和特定领域的，这些领域可以本地化，例如“语言模型个性设计”或“哪些博客文章标题会在黑客新闻上获得好评”（我自己的好品味不太有用的领域之一……）
因此，需要跟踪的一个重要信号是：您的品味在哪里最好？
我注意到很多人低估了自己的品味，因为他们期望拥有良好的品味，感觉自己非常聪明、有能力或擅长做事。不幸的是，我在这里告诉你，至少如果你和我一样，你永远不会觉得自己聪明、有能力或擅长做事；相反，你会开始越来越觉得其他人都神秘地讨厌他们。
出于这个原因，我在这里建议的提示是：其他人似乎都神秘地不擅长什么？这可能表明你在那里很有品味。
如果此提示没有立即产生任何结果，也没关系；你可能只是在一个由很多非常优秀的人组成的团队中，但你对任何事情还没有真正独特的角度。即便如此，这个问题的弱化版本——大多数人似乎能力最差的地方在哪里？——是一个有用的梯度信号！
认真思考
思考品味的一种方式是，它与预测模型和搜索启发法的质量有关。如果我这样设计实验，我会发现什么？如果我这样设计这个工具，使用起来有多容易？如果我这样写文档，会引起多少人的共鸣？
进行足够的搜索和预测来提出伟大的想法需要时间。我在某种程度上感兴趣的第一个领域是软件设计，我记得一个非常清晰的阶段转变，在这个阶段我获得了通过更努力地思考来改进我的设计的能力。在那之后，我花了很多时间迭代许多不同的设计改进——其中大部分我从未实现，因为我无法想出令我满意的东西，但其中一些变成了重大胜利。
提高这方面最简单的方法就是尝试一下！每当你在争论要做什么时，明确地问自己“如果我选择选项 A，我预测会发生什么？”并尝试展开轨迹。即使你认为你已经直观地预测了你的选择的结果，我发现，每次我向我的一位经理榜样征求建议时，他都会问我这个问题（“你认为会发生什么？”），而这经常帮助我实现新的想法，这有点愚蠢。 （为了获得奖励积分，请事后重新审视您的预测。）
我发现大量思考时间有益于以下事情：
- 做什么工作。改变你的优先顺序通常是提高你的影响力的最大杠杆！
- “设计”的广义解释——无论是实验设计、系统设计、组织设计、流程设计、概述博客文章等。
- 项目如何能够做得更好以及我应该从中学到什么——见下文。
（另请参阅：认真思考。尽管如果您的自然失败模式是想得太多，那么您可能应该扭转这个建议。）
反思你的想法
如果品味与预测模型和搜索启发式的质量有关，那么从获得的数据中提取出所有可能的更新就很重要。
出于这个原因，我共事过的许多最高效的人也进行了最多的元认知，即反思自己（及其团队）的工作和思维过程，并找出如何改进它们。他们通常是最有可能发现我们的流程或心理模型的改进的人，例如：
- 哇，我们应该在几个月前添加这个仪器，因为我们从中学到了很多有价值的东西。我可能应该加强我的启发：“只要你不查看重要数据的数据，你可能就不会意识到发生了火灾。”
- 我认为我们工作效率低下，因为我们高估了距离完成的程度；我们需要退一步并改进我们的工具。另外，我注意到我们经常陷入这种模式；下次我会尽量早点注意到它！
- 回想起来，如果我们早点考虑 X，我们本可以避免这个问题——下次遇到类似情况时请记住这一点。
- 我认为我们的关键限制是我们没有足够的具备 Y 技能的人员。我们能否以某种方式调动人员，让更多合适的人来解决这个问题？
通常，他们不仅进行自己的元认知，还通过与团队分享这些反思、安排回顾等来帮助推动“群体元认知”。即使这里的每个课程单独来看都很小，但随着时间的推移，它们会逐渐复合，帮助人们和团队变得更加高效。
我鼓励自己进行更多元思考的最佳习惯是每周回顾。自从我写这篇文章以来，我的评论的格式和典型结果已经发生了很大的变化，但我仍然这样做，并发现它们对于帮助我改进我目前专注于改进的任何事情非常有价值！
（另请参阅/进一步阅读：Chris Olah 的研究品味练习）