Claude 3.7 Sonnet 的 Aider Polyglot 排行榜结果
Paul Gauthier 的Aider Polyglot 基准是我最喜欢的法学硕士独立基准之一，部分原因是它专注于代码，部分原因是 Paul 在评估新模型时反应非常灵敏。
全新的 Claude 3.7 Sonnet 刚刚夺得榜首，运行时思维令牌限制增加了 32,000 个。
比较基准成本很有趣 – 3.7 Sonnet 运行整个过程花费了 36.83 美元，明显高于之前领先的 DeepSeek R1 + Claude 3.5 组合，但比第三名 o1-high 少很多：
| 模型 | ％ 完全的 | 总成本 |
|---|---|---|
| claude-3-7-sonnet-20250219（32k 思考标记） | 64.9% | $36.83 |
| DeepSeek R1 + claude-3-5-sonnet-20241022 | 64.0% | 13.29 美元 |
| o1-2024-12-17（高） | 61.7% | 186.5 美元 |
| claude-3-7-sonnet-20250219（没有思考） | 60.4% | 17.72 美元 |
| o3-迷你（高） | 60.4% | 18.16 美元 |
Claude 3.7 Sonnet 在LM Arena 排行榜上还没有任何结果，该排行榜最近被 Gemini 2.0 和 Grok 3 统治。
标签： aider 、 anthropic 、 claude 、 evals 、生成式人工智能、 ai 、 llms 、 paul-gauthier
原文： https://simonwillison.net/2025/Feb/25/aider-polyglot-leaderboard/#atom-everything