Nerf Watch
Claude나 Codex의 성능이 떨어지고 있을까요?
하루에 한 번, 같은 비공개 테스트를 Claude Max 요금제의 Claude Code로 Claude 모델에, ChatGPT Pro 요금제의 Codex로 OpenAI 모델에 추론 강도 low로 출제하고, 채점은 코드가 합니다. 모델이 이 문항으로 학습될 위험을 줄이기 위해 문항은 공개하지 않습니다. 점수가 직전 실행과 비교해 10점 넘게 변하면, 해당 모델 차트의 표시를 눌러 그 변화의 근거가 된 답변을 요청할 수 있습니다.
마지막 실행 저장일:
이 점수를 앱이나 대시보드에서 사용하세요: 공개 API 및 재사용 조건.
최신 점수
점수는 테스트 스위트 통과율(%)입니다. 변화는 점 단위이며, 해당 모델의 직전 실행, 그리고 최신 실행 이전 7일 동안의 실행 평균(실행이 3회 쌓인 뒤부터)과 비교합니다. 이 기준값과의 차이가 2점 이내이면 보합으로 봅니다.
| 모델 | 최신 | 직전 대비 | 7일 기준값 대비 | 추세 |
|---|---|---|---|---|
| Fable 5.1 · Anthropic | 96.8 | −2.9 | -- | -- |
| Haiku 5.5 · Anthropic | 96.5 | +14.5 | -- | -- |
| Opus 5.5 · Anthropic | 99.8 | +2.7 | -- | -- |
| Sonnet 5.5 · Anthropic | 100.0 | +0.5 | -- | -- |
| GPT-5.6 Luna · OpenAI | 47.8 | −17.6 | -- | -- |
| GPT-5.6 Sol · OpenAI | 94.1 | +3.2 | -- | -- |
| GPT-6 Astra · OpenAI | 100.0 | 0.0 | -- | -- |
| GPT-6 Luna · OpenAI | 17.6 | −2.3 | -- | -- |
| GPT-6.1 Sol · OpenAI | 97.1 | −2.5 | -- | -- |
2026년 7월 25일~2026년 10월 22일(UTC), 모든 모델에 같은 눈금 적용
Fable 5.1 · Anthropic
최신 96.8 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 96.8 | 2026.10.1 |
| 2026년 10월 21일 | 99.8 | 2026.10.1 |
| 2026년 10월 20일 | 97.1 | 2026.10.1 |
Haiku 5.5 · Anthropic
최신 96.5 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 96.5 | 2026.10.1 |
| 2026년 10월 21일 | 82.0 | 2026.10.1 |
| 2026년 10월 20일 | 79.4 | 2026.10.1 |
Opus 5.5 · Anthropic
최신 99.8 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 99.8 | 2026.10.1 |
| 2026년 10월 21일 | 97.1 | 2026.10.1 |
| 2026년 10월 20일 | 100.0 | 2026.10.1 |
Sonnet 5.5 · Anthropic
최신 100.0 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 100.0 | 2026.10.1 |
| 2026년 10월 21일 | 99.5 | 2026.10.1 |
| 2026년 10월 20일 | 96.9 | 2026.10.1 |
GPT-5.6 Luna · OpenAI
최신 47.8 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 47.8 | 2026.10.1 |
| 2026년 10월 21일 | 65.4 | 2026.10.1 |
| 2026년 10월 20일 | 44.9 | 2026.10.1 |
GPT-5.6 Sol · OpenAI
최신 94.1 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 94.1 | 2026.10.1 |
| 2026년 10월 21일 | 91.0 | 2026.10.1 |
| 2026년 10월 20일 | 88.2 | 2026.10.1 |
GPT-6 Astra · OpenAI
최신 100.0 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 100.0 | 2026.10.1 |
| 2026년 10월 21일 | 100.0 | 2026.10.1 |
| 2026년 10월 20일 | 100.0 | 2026.10.1 |
GPT-6 Luna · OpenAI
최신 17.6 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 17.6 | 2026.10.1 |
| 2026년 10월 21일 | 19.9 | 2026.10.1 |
| 2026년 10월 20일 | 9.0 | 2026.10.1 |
GPT-6.1 Sol · OpenAI
최신 97.1 (2026년 10월 22일)
표로 보기
| 날짜(UTC) | 점수 | 테스트 스위트 |
|---|---|---|
| 2026년 10월 22일 | 97.1 | 2026.10.1 |
| 2026년 10월 21일 | 99.6 | 2026.10.1 |
| 2026년 10월 20일 | 99.8 | 2026.10.1 |
작동 방식
- 내용
- 함정 문제, 정확한 세기와 정렬, 글자 단위 규칙에 맞춘 글쓰기, 그리고 실제로 작동하는 작은 앱 만들기입니다.
- 방식
- 테스트 유형마다 새 세션에서 실행합니다. 채점은 모두 코드가 하고, 앱은 실제 브라우저에서 테스트합니다. AI 모델이 다른 모델을 평가하지 않습니다.
- 환경
- 유료 요금제의 Codex와 Claude Code에서, 제공업체 API 키가 아닌 구독 계정 로그인으로 실행합니다.
- 하락의 의미
- 해당 모델 자신의 기준값, 즉 최근 실행 평균보다 낮은 점수를 뜻합니다. 하루의 하락은 잡음일 수 있으며, 점수가 낮다는 것은 이 테스트 스위트에서 점수가 낮다는 뜻일 뿐 제공업체가 모델을 바꿨다는 증거는 아닙니다.
- 근거
- 모델 점수가 직전 실행과 비교해 10점 넘게 변하면 차트에 표시가 나타나고, 두 날짜의 한 문항에 대한 답변을 요청할 수 있습니다. 대상은 가장 많이 변한 테스트 유형 안에서 가장 많이 변한 문항입니다. 7일 동안 유효한 링크를 이메일로 보내 드립니다. 답변만 볼 수 있고 문항은 볼 수 없습니다. 정렬 및 글자 규칙 답변에는 채점 프로그램이 확인할 때 출력한 줄도 함께 표시됩니다.