세 줄 요약
- “Claude Opus 5.5가 벌써 너프됐다”는 말이 돌자 BridgeMind가 출시 때와 지금의 성능을 다시 재는 NerfBench를 내놨습니다.
- 9월 27일 첫 재테스트에서 Opus 5.5는 출시 때의 99.2%, GPT-6 Astra는 102.8%로 둘 다 정상 범위(±10%) 안이라 너프는 없었습니다.
- 성능에 토큰과 비용까지 합쳐 재고, 결과는 bridgebench.ai/nerf-bench에서 누구나 볼 수 있습니다.
새 AI 모델이 나오고 며칠 지나면 “벌써 너프됐다”는 말이 따라붙곤 합니다. BridgeMind는 체감 논쟁을 숫자로 살펴보려고 출시 때와 현재를 비교하는 NerfBench를 만들었습니다.
BridgeMind는 9월 26일 21:34(한국 시간) 너프설이 많다며 다음 날 NerfBench를 공개하겠다고 예고했습니다.
출처: X @bridgemindai
1. 첫 결과: 너프 없음
결과는 9월 28일 01:10(한국 시간)에 나왔습니다.
출처: X @bridgemindai
| 모델 | 출시 기준일 | 9월 27일 재테스트 | 출시 대비 | 판정 |
|---|---|---|---|---|
| Claude Opus 5.5 | 9월 22일 | 99.2% | −0.8% | 정상 변동 |
| GPT-6 Astra | 9월 3일 | 102.8% | +2.8% | 정상 변동 |
두 모델 모두 90~110%의 정상 범위 안에 들었습니다. 보드의 판정은 “너프 감지 안 됨”이며, 정상 변동 범위를 벗어난 모델은 0개로 표시됐습니다.
2. NerfBench는 무엇을 재나
NerfBench는 출시일에 측정한 값을 그 모델의 100% 기준선으로 삼고, 같은 모델을 다시 시험해 현재의 ‘power’를 비교합니다. power는 세 가지를 묶어 봅니다.
- 수행 품질: 과제를 얼마나 잘 해내는가
- 토큰: 같은 일을 할 때 토큰을 얼마나 쓰는가
- 비용: 한 번 실행하는 데 얼마가 드는가
답의 품질이 같아도 토큰이나 비용이 늘면 power는 낮아질 수 있습니다. BridgeBench는 90~110%를 정상 변동 범위로 두며, 90% 미만은 출시 때보다 힘이 낮아진 것, 110% 초과는 더 강해진 것으로 봅니다. 한 과제의 하락만으로 판정하지 않고 여러 분야에 걸친 과제 전체의 변화를 살핍니다.
공식 글은 벤치마크 점수만 끌어올리는 ‘벤치맥싱’을 막기 위해 과제와 가중치를 공개하지 않는다고 설명합니다.
| 항목 | 출시일 | 재테스트 |
|---|---|---|
| 과제 점수 | 0.9 | 0.72 |
| 토큰 | 1만 | 1만 4천 |
| 비용 | 0.10달러 | 0.13달러 |
| power | 100% | 약 77.7%(힘을 잃음) |
숫자는 공식 글이 설명을 위해 든 예시입니다.
3. “너프됐다”는 말은 어디서 나왔나
9월 27일 00:18(한국 시간)에는 한 개발자가 Opus 5.5가 첫 이틀 같지 않다는 글을 올렸습니다.
출처: X @DevDacian
자기 SWE Pro 벤치 점수가 83%에서 71%로 내려갔다는 글(9월 25일 20:04, @batuhan4)도 있었습니다. NerfBench는 이런 체감 차이를 같은 과제로 다시 재 보자는 시도입니다.
4. BridgeBench와 BridgeMind
BridgeBench는 BridgeMind가 만든 AI 코딩 모델 벤치마크 사이트로, 모델 리더보드와 Design Bench, Nerf Bench를 운영합니다. BridgeMind는 자신들을 “바이브 코딩 운동의 본거지”라고 소개하며, 창업자는 @matthewmillerai입니다. Mac·Windows·Linux용 에이전트 앱도 제공합니다.
별도 코딩 리더보드에서는 9월 22일 기준 Claude Opus 5.5가 760점으로 1위, GPT-6 Astra가 734점으로 2위였습니다(25개 모델). 이 점수는 코딩 리더보드 점수이며, 출시 대비 비율을 표시하는 NerfBench power와는 다른 지표입니다.
5. 앞으로 더 많은 모델을 재시험
BridgeMind는 앞으로 몇 달간 1만 달러를 들여 모델 출시일뿐 아니라 이후에도 계속 재테스트하겠다고 밝혔습니다. 결과 게시물에서는 더 많은 모델과 더 잦은 재테스트를 예고하며 “다음에 어떤 모델을 재테스트할까?”라고 물었습니다.
6. 결과 보드 직접 보는 법
- bridgebench.ai/nerf-bench를 엽니다.
- 모델을 누르면 날짜별 전체 기록을 확인할 수 있습니다.
- 결과를 10초 1080p MP4로 내려받거나 X에 바로 올릴 수 있습니다.
- 이메일로 새 결과를 받아보도록 구독할 수 있습니다.
Opus 5.5가 요즘 이상하다고 느낀다면 체감만 믿지 말고 NerfBench 보드에서 날짜별 기록부터 확인해 보세요.
