Nerf Watch
Claude 或 Codex 變差了嗎?
每天一次,透過 Claude Max 方案的 Claude Code 對 Claude 模型、透過 ChatGPT Pro 方案的 Codex 對 OpenAI 模型進行相同的非公開測試,推理強度為 low,並由程式碼評分。題目不公開,以降低模型以這些題目訓練的風險。當分數與上一次執行相比變動超過 10 分時,可透過該模型圖表上的標記,申請查看背後的回答。
最近一次執行儲存於
在你的應用程式或儀表板中使用這些分數: 公開 API 與再利用條件.
最新分數
分數是整套測試的通過率(%)。變化以分數差表示,分別與該模型的上一次執行,以及最新一次之前 7 天內各次執行的平均值(累積 3 次後才計算)相比。與該基準值相差在 2 分以內,視為持平。
| 模型 | 最新 | 較上次 | 較 7 天基準值 | 趨勢 |
|---|---|---|---|---|
| Fable 5.1 · Anthropic | 96.8 | −2.9 | -- | -- |
| Haiku 5.5 · Anthropic | 96.5 | +14.5 | -- | -- |
| Opus 5.5 · Anthropic | 99.8 | +2.7 | -- | -- |
| Sonnet 5.5 · Anthropic | 100.0 | +0.5 | -- | -- |
| GPT-5.6 Luna · OpenAI | 47.8 | −17.6 | -- | -- |
| GPT-5.6 Sol · OpenAI | 94.1 | +3.2 | -- | -- |
| GPT-6 Astra · OpenAI | 100.0 | 0.0 | -- | -- |
| GPT-6 Luna · OpenAI | 17.6 | −2.3 | -- | -- |
| GPT-6.1 Sol · OpenAI | 97.1 | −2.5 | -- | -- |
2026年7月25日 至 2026年10月22日(UTC),所有模型使用同一刻度
Fable 5.1 · Anthropic
最新 96.8(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 96.8 | 2026.10.1 |
| 2026年10月21日 | 99.8 | 2026.10.1 |
| 2026年10月20日 | 97.1 | 2026.10.1 |
Haiku 5.5 · Anthropic
最新 96.5(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 96.5 | 2026.10.1 |
| 2026年10月21日 | 82.0 | 2026.10.1 |
| 2026年10月20日 | 79.4 | 2026.10.1 |
Opus 5.5 · Anthropic
最新 99.8(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 99.8 | 2026.10.1 |
| 2026年10月21日 | 97.1 | 2026.10.1 |
| 2026年10月20日 | 100.0 | 2026.10.1 |
Sonnet 5.5 · Anthropic
最新 100.0(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 100.0 | 2026.10.1 |
| 2026年10月21日 | 99.5 | 2026.10.1 |
| 2026年10月20日 | 96.9 | 2026.10.1 |
GPT-5.6 Luna · OpenAI
最新 47.8(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 47.8 | 2026.10.1 |
| 2026年10月21日 | 65.4 | 2026.10.1 |
| 2026年10月20日 | 44.9 | 2026.10.1 |
GPT-5.6 Sol · OpenAI
最新 94.1(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 94.1 | 2026.10.1 |
| 2026年10月21日 | 91.0 | 2026.10.1 |
| 2026年10月20日 | 88.2 | 2026.10.1 |
GPT-6 Astra · OpenAI
最新 100.0(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 100.0 | 2026.10.1 |
| 2026年10月21日 | 100.0 | 2026.10.1 |
| 2026年10月20日 | 100.0 | 2026.10.1 |
GPT-6 Luna · OpenAI
最新 17.6(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 17.6 | 2026.10.1 |
| 2026年10月21日 | 19.9 | 2026.10.1 |
| 2026年10月20日 | 9.0 | 2026.10.1 |
GPT-6.1 Sol · OpenAI
最新 97.1(2026年10月22日)
以表格檢視
| 日期(UTC) | 分數 | 測試套件 |
|---|---|---|
| 2026年10月22日 | 97.1 | 2026.10.1 |
| 2026年10月21日 | 99.6 | 2026.10.1 |
| 2026年10月20日 | 99.8 | 2026.10.1 |
運作方式
- 測試內容
- 陷阱題、精確計數與排序、遵守字母層級規則的寫作,以及製作一個能實際運作的小型應用程式。
- 測試方式
- 每種測試都在全新的工作階段中執行。評分全部由程式碼完成,應用程式則在真實的瀏覽器中測試。不會由 AI 模型評判另一個模型。
- 測試環境
- 透過付費方案的 Codex 與 Claude Code,以訂閱帳號登入執行,而非使用供應商的 API 金鑰。
- 下降代表什麼
- 指分數低於該模型自己的基準值,也就是近期各次執行的平均。單日下滑可能只是雜訊;分數較低,只代表在這套測試中得分較低,並不能證明供應商更改了模型。
- 證據
- 當模型的分數與上一次執行相比變動超過 10 分時,圖表上會出現標記,讓你申請查看它在這兩天對同一道題目的回答:也就是在變化最大的測試類型中,變化最大的那一題。我們會以電子郵件寄送 7 天內有效的連結。你只會看到回答,不會看到題目。排序與字母規則題的回答,也會顯示評分程式檢查時輸出的那一行。