Nerf Watch
ClaudeやCodexは劣化している？
1日1回、同じ非公開テストを、Claude MaxプランのClaude Code経由でClaudeのモデルに、ChatGPT ProプランのCodex経由でOpenAIのモデルに、推論強度lowで出題し、採点はコードが行います。テストがモデルの学習に使われるリスクを減らすため、問題は非公開にしています。スコアが前回の実行から10ポイントを超えて動いた場合は、そのモデルのグラフに表示される印から、変化の根拠となった回答の閲覧を申し込めます。
最終実行の保存日：
これらのスコアは、ご自身のアプリやダッシュボードでも利用できます： 公開APIと再利用の条件.
最新スコア
スコアはテストスイートの合格率（%）です。変化はポイントで示し、そのモデルの前回の実行と比べた値と、最新の実行より前の7日間に行われた実行の平均（3回分そろった時点から）と比べた値を表示します。この基準値との差が2ポイント以内なら横ばいとみなします。
| モデル | 最新 | 前回比 | 7日間の基準値比 | 傾向 |
|---|---|---|---|---|
| Fable 5.1 · Anthropic | 96.8 | −2.9 | -- | -- |
| Haiku 5.5 · Anthropic | 96.5 | +14.5 | -- | -- |
| Opus 5.5 · Anthropic | 99.8 | +2.7 | -- | -- |
| Sonnet 5.5 · Anthropic | 100.0 | +0.5 | -- | -- |
| GPT-5.6 Luna · OpenAI | 47.8 | −17.6 | -- | -- |
| GPT-5.6 Sol · OpenAI | 94.1 | +3.2 | -- | -- |
| GPT-6 Astra · OpenAI | 100.0 | 0.0 | -- | -- |
| GPT-6 Luna · OpenAI | 17.6 | −2.3 | -- | -- |
| GPT-6.1 Sol · OpenAI | 97.1 | −2.5 | -- | -- |
2026年7月25日〜2026年10月22日（UTC）、全モデル共通の目盛り
Fable 5.1 · Anthropic
最新 96.8（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 96.8 | 2026.10.1 |
| 2026年10月21日 | 99.8 | 2026.10.1 |
| 2026年10月20日 | 97.1 | 2026.10.1 |
Haiku 5.5 · Anthropic
最新 96.5（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 96.5 | 2026.10.1 |
| 2026年10月21日 | 82.0 | 2026.10.1 |
| 2026年10月20日 | 79.4 | 2026.10.1 |
Opus 5.5 · Anthropic
最新 99.8（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 99.8 | 2026.10.1 |
| 2026年10月21日 | 97.1 | 2026.10.1 |
| 2026年10月20日 | 100.0 | 2026.10.1 |
Sonnet 5.5 · Anthropic
最新 100.0（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 100.0 | 2026.10.1 |
| 2026年10月21日 | 99.5 | 2026.10.1 |
| 2026年10月20日 | 96.9 | 2026.10.1 |
GPT-5.6 Luna · OpenAI
最新 47.8（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 47.8 | 2026.10.1 |
| 2026年10月21日 | 65.4 | 2026.10.1 |
| 2026年10月20日 | 44.9 | 2026.10.1 |
GPT-5.6 Sol · OpenAI
最新 94.1（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 94.1 | 2026.10.1 |
| 2026年10月21日 | 91.0 | 2026.10.1 |
| 2026年10月20日 | 88.2 | 2026.10.1 |
GPT-6 Astra · OpenAI
最新 100.0（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 100.0 | 2026.10.1 |
| 2026年10月21日 | 100.0 | 2026.10.1 |
| 2026年10月20日 | 100.0 | 2026.10.1 |
GPT-6 Luna · OpenAI
最新 17.6（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 17.6 | 2026.10.1 |
| 2026年10月21日 | 19.9 | 2026.10.1 |
| 2026年10月20日 | 9.0 | 2026.10.1 |
GPT-6.1 Sol · OpenAI
最新 97.1（2026年10月22日）
表で見る
| 日付（UTC） | スコア | スイート |
|---|---|---|
| 2026年10月22日 | 97.1 | 2026.10.1 |
| 2026年10月21日 | 99.6 | 2026.10.1 |
| 2026年10月20日 | 99.8 | 2026.10.1 |
仕組み
- 内容
- ひっかけ問題、正確な数え上げと並べ替え、文字単位のルールに沿った作文、そして実際に動く小さなアプリの作成です。
- 方法
- テストの種類ごとに新しいセッションで実行します。採点はすべてコードが行い、アプリは実際のブラウザでテストします。AIモデルが別のモデルを評価することはありません。
- 環境
- 有料プランのCodexとClaude Codeを、プロバイダーのAPIキーではなくサブスクリプションのログインで使って実行します。
- 低下の意味
- そのモデル自身の基準値、つまり最近の実行結果の平均を下回るスコアのことです。1日だけの低下はノイズかもしれません。また、スコアが低いのはこのテストスイートでのスコアが低いということであり、プロバイダーがモデルを変更した証拠ではありません。
- 根拠
- モデルのスコアが前回の実行から10ポイントを超えて動くと、そのグラフに印が表示され、両日の回答を1問分申し込めます。対象は、最も変化したテストの種類の中で最も変化した問題です。7日間有効なリンクをメールでお送りします。表示されるのは回答だけで、問題文は表示しません。並べ替えと文字ルールの回答には、採点プログラムが確認時に出力した行も表示します。