o3-mini 今天上市了。与其他 o 系列型号一样,评估起来有点困难 – 我们现在需要决定是否最好使用 GPT-4o、o1、o3-mini 或(如果我们可以访问)o1 Pro 运行提示。
更令人困惑的是, o3-mini 系统卡(PDF) 中的基准测试并不是 o3-mini 在所有类别中的普遍胜利。它的基准测试通常高于 GPT-4o 和 o1,但并非适用于所有情况。
o3-mini 最大的胜利是在 Codeforces ELO 竞争性编程基准测试中,我认为这篇 2025 年 1 月 2 日的论文描述了这一点,得分如下:
- o3-迷你(高)2130
- o3-迷你(中)2036
- o1 1891
- o3-mini(低)1831
- o1-迷你1650
- o1-预览 1258
- GPT-4o 900
奇怪的是,GPT-4o 分数位于 System Card PDF 的旧副本中,该副本已被根本不提及 Codeforces ELO 分数的更新文档所取代。
System Card 中关于 o3-mini 对于 OpenAI 本身的预期应用的一条注释对我来说很突出:
我们还计划允许用户使用 o3-mini 搜索互联网并在 ChatGPT 中汇总结果。我们期望 o3-mini 成为一个有用且安全的模型,特别是考虑到它在越狱和指令层次结构评估方面的性能,详见下面第 4 节。
这是值得注意的,因为 ChatGPT 上现有的 o1 模型尚未访问其网络搜索工具 – 尽管搜索和“推理”模型的混合具有非常明显的好处。
我发布了LLM 0.21,支持新模型,加上它的-o reasoning_effort heigh
(或medium
或low
)选项来调整推理工作 –本期详细信息。
请注意,新模型目前仅适用于Tier 3及更高级别的用户,这要求您在 API 上花费至少 100 美元。
o3-mini 的定价为 1.10 美元/百万输入代币,4.40 美元/百万输出代币 – 不到 GPT-4o 价格的一半(目前为 2.50 美元/10 美元),并且比 o1(15/60 美元)便宜得多。
我尝试使用它来总结Hacker News 上关于 o3-mini 的对话,使用我的 hn-summary.sh 脚本。
hn-summary.sh 42890627 -o o3-mini
结果如下 – 它使用了 18,936 个输入代币和 2,905 个输出代币,总成本为 3.3612 美分。
标签:项目,人工智能, openai ,生成人工智能,法学硕士,推理缩放, o3
原文: https://simonwillison.net/2025/Jan/31/o3-mini/#atom-everything