80% 싸진 GPT-5.6 Luna, 추론 성능은 그대로? ARC 재테스트 결과

가격이 80% 내려갔는데 추론 성능은 그대로? ARC Prize가 오픈AI의 GPT-5.6 Luna를 가격 인하 이후 ARC-AGI(Verified)로 재테스트했다. 결과는 인하 전과 같은 점수, 훨씬 낮은 비용이었다.

가격 인하 후 '다시 시험 봤다' — ARC Prize의 질문

오픈AI는 최근 GPT-5.6 Luna 가격을 80% 내렸다. ARC Prize는 가격이 싸지면서 성능도 따라 내려갔는지를 확인하기 위해, 같은 모델을 검증된(Verified) 방식으로 다시 평가했다. 여기서 'Verified'는 독립 실행으로 결과를 재현할 수 있게 한 절차를 뜻한다.

ARC-AGI-2 59.6%·ARC-AGI-1 90.7% — 수치로 본 변화

결과는 이렇다. ARC-AGI-2에서 59.6%, ARC-AGI-1에서 90.7%로, 인하 전 원래 성능과 같았다. ARC-AGI-2는 더 어려운 최신 벤치마크다.

태스크당 비용이 바꾼 모델 선택

포인트는 절대 점수가 아니라 '성능 대비 비용'이다. ARC-AGI-1 기준 작업당 $0.07, ARC-AGI-2 기준 $0.18. ARC Prize의 해석은 한 줄로 요약된다. "인하 전과 동일한 성능을 훨씬 낮은 비용으로 유지했다."

왜 80%나 내렸나 — Luna의 효율 개선

오픈AI는 내부 모델 개발 효율성 덕분이라고 설명했다. Luna는 입력 100만 토큰당 $1에서 $0.20으로, 출력은 $6에서 $1.20으로 내려갔다(같은 시기 GPT-5.6 Terra는 20% 인하). 자체 추론 파이프라인을 최적화하면서 서빙 비용이 20% 줄고, 토큰 생성 효율이 15% 이상 올랐다는 게 배경이다.

개발자에게 이 결과가 중요한 이유

ARC-AGI는 '추론 능력'을 보는 대표 벤치마크다. 가격이 내려도 성능이 유지된다는 건, 비용 때문에 포기했던 추론-heavy 작업을 다시 검토할 구간이 열렸다는 뜻이다. 특히 벤치마크를 자주 돌리는 연구·평가 워크플로우에서 작업당 비용이 1/5로 줄어드는 효과를 누릴 수 있다.

관련: X 포스트(ARC Prize) · ARC Prize 전체 결과