[关于 Meta 的卡拉狄加 LLM 启动] 我们用一个 8 人的团队完成了这项工作,这比当时其他 LLM 团队的人数少了一个数量级。
由于在没有检查的情况下发布了“基本模型”的演示,我们在发布时过度紧张并失去了态势感知。我们知道潜在的批评是什么,但我们忽视了我们所承受的工作量中显而易见的问题。
演示的考虑因素之一是我们想要了解人们用于法学硕士的科学查询的分布(对于指令调整和 RLHF 很有用)。显然,这是我们给记者的一个免费目标,而记者却在其领域之外提出质疑。但是,是的,我们应该更清楚。
我们有一个“善意”的假设,即我们将共享基本模型,包括所有缺陷,并附带四个关于演示中幻觉的免责声明 – 这样人们就可以看到它可以做什么(开放性)。再次,显然这不起作用。
原文: http://simonwillison.net/2023/Nov/15/ross-taylor/#atom-everything