Nerf Watch

Claude 或 Codex 變差了嗎?

每天一次,透過 Claude Max 方案的 Claude Code 對 Claude 模型、透過 ChatGPT Pro 方案的 Codex 對 OpenAI 模型進行相同的非公開測試,推理強度為 low,並由程式碼評分。題目不公開,以降低模型以這些題目訓練的風險。當分數與上一次執行相比變動超過 10 分時,可透過該模型圖表上的標記,申請查看背後的回答。

最近一次執行儲存於

在你的應用程式或儀表板中使用這些分數: 公開 API 與再利用條件.

最新分數

分數是整套測試的通過率(%)。變化以分數差表示,分別與該模型的上一次執行,以及最新一次之前 7 天內各次執行的平均值(累積 3 次後才計算)相比。與該基準值相差在 2 分以內,視為持平。

各模型的最新分數與比較
模型最新執行日較上次較 7 天基準值趨勢
Fable 5.1 · Anthropic96.82026年10月22日−2.9----
Haiku 5.5 · Anthropic96.52026年10月22日+14.5----
Opus 5.5 · Anthropic99.82026年10月22日+2.7----
Sonnet 5.5 · Anthropic100.02026年10月22日+0.5----
GPT-5.6 Luna · OpenAI47.82026年10月22日−17.6----
GPT-5.6 Sol · OpenAI94.12026年10月22日+3.2----
GPT-6 Astra · OpenAI100.02026年10月22日0.0----
GPT-6 Luna · OpenAI17.62026年10月22日−2.3----
GPT-6.1 Sol · OpenAI97.12026年10月22日−2.5----
2026年7月25日 至 2026年10月22日(UTC),所有模型使用同一刻度

Fable 5.1 · Anthropic

最新 96.8(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日96.82026.10.1
2026年10月21日99.82026.10.1
2026年10月20日97.12026.10.1

Haiku 5.5 · Anthropic

最新 96.5(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日96.52026.10.1
2026年10月21日82.02026.10.1
2026年10月20日79.42026.10.1

Opus 5.5 · Anthropic

最新 99.8(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日99.82026.10.1
2026年10月21日97.12026.10.1
2026年10月20日100.02026.10.1

Sonnet 5.5 · Anthropic

最新 100.0(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日100.02026.10.1
2026年10月21日99.52026.10.1
2026年10月20日96.92026.10.1

GPT-5.6 Luna · OpenAI

最新 47.8(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日47.82026.10.1
2026年10月21日65.42026.10.1
2026年10月20日44.92026.10.1

GPT-5.6 Sol · OpenAI

最新 94.1(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日94.12026.10.1
2026年10月21日91.02026.10.1
2026年10月20日88.22026.10.1

GPT-6 Astra · OpenAI

最新 100.0(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日100.02026.10.1
2026年10月21日100.02026.10.1
2026年10月20日100.02026.10.1

GPT-6 Luna · OpenAI

最新 17.6(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日17.62026.10.1
2026年10月21日19.92026.10.1
2026年10月20日9.02026.10.1

GPT-6.1 Sol · OpenAI

最新 97.1(2026年10月22日)

0204060801007月25日10月22日
以表格檢視
日期(UTC)分數測試套件
2026年10月22日97.12026.10.1
2026年10月21日99.62026.10.1
2026年10月20日99.82026.10.1

運作方式

測試內容
陷阱題、精確計數與排序、遵守字母層級規則的寫作,以及製作一個能實際運作的小型應用程式。
測試方式
每種測試都在全新的工作階段中執行。評分全部由程式碼完成,應用程式則在真實的瀏覽器中測試。不會由 AI 模型評判另一個模型。
測試環境
透過付費方案的 Codex 與 Claude Code,以訂閱帳號登入執行,而非使用供應商的 API 金鑰。
下降代表什麼
指分數低於該模型自己的基準值,也就是近期各次執行的平均。單日下滑可能只是雜訊;分數較低,只代表在這套測試中得分較低,並不能證明供應商更改了模型。
證據
當模型的分數與上一次執行相比變動超過 10 分時,圖表上會出現標記,讓你申請查看它在這兩天對同一道題目的回答:也就是在變化最大的測試類型中,變化最大的那一題。我們會以電子郵件寄送 7 天內有效的連結。你只會看到回答,不會看到題目。排序與字母規則題的回答,也會顯示評分程式檢查時輸出的那一行。