2026년 8월 18일 새벽(KST), 개발자 Jacky Kwok(@jackyk02)가 검증 기법 하나를 오픈소스 모델 DeepSeek V4 Flash에 적용한 결과를 공개했다. Terminal-Bench 2.1에서 Anthropic Claude Fable 5를 앞섰고, 비용은 11배 저렴하다는 주장이다.
정확도를 88%로 끌어올린 방법
방법은 'LLM-as-a-Verifier'다. DeepSeek V4 Flash로 후보 답 5개를 만들고, 같은 모델이 그 답들을 채점해 가장 나은 것을 고른다. Kwok에 따르면 이 방식으로 정확도가 79%에서 88%로 올라 Terminal-Bench에서 폐쇄형 프론티어 모델들을 앞질렀다.
출처는 스탠퍼드·버클리·NVIDIA
LLM-as-a-Verifier는 Stanford, UC Berkeley, NVIDIA Research 연구진이 발표한 검증 스케일링 프레임워크로, 공식 프로젝트 페이지(llm-as-a-verifier.com)는 Terminal-Bench V2에서 86.5%를 기록했다고 밝히고 있다. 이번 DeepSeek V4 Flash 적용 결과는 이 프레임워크를 Kwok가 개별적으로 실험한 수치이며, DeepSeek이나 논문 저자 전원이 낸 공식 벤치마크는 아니다.
'11배 저렴'은 토큰 단가가 아니다
답글에서 한 개발자가 "그 11배는 토큰 단가 차이일 뿐, 자기검증은 여러 번 샘플링하니 토큰을 더 많이 쓴다"고 지적했다. Kwok는 생성과 검증에 드는 토큰을 모두 포함한 비용이라고 답했다. 오픈소스 모델은 토큰 자체가 워낙 싸서, 여러 번 써도 전체 비용은 여전히 낮다는 설명이다.
공식 가격으로 보면 45배 차이
Anthropic 공식 가격표 기준 Claude Fable 5는 100만 토큰당 입력 10달러, 출력 50달러다. DeepSeek 공식 API 문서 기준 V4 Flash는 2026년 8월 16일부터 피크·비피크 시간대별로 가격이 나뉘는데, 대부분의 시간에 해당하는 비피크 구간은 입력 0.22달러, 출력 0.66달러다. 단순 토큰 단가만 비교하면 입력은 약 45배, 출력은 약 76배 차이다. Kwok가 말한 '11배'는 여기에 자기검증으로 늘어난 토큰 소비량까지 반영한, 작업 하나를 끝내는 데 드는 실제 비용 기준 수치로 봐야 한다.
| 모델 | Terminal-Bench 2.1 | 입력(100만 토큰) | 출력(100만 토큰) |
|---|---|---|---|
| DeepSeek V4 Flash(공식, 자기검증 미적용) | 82.7점 | $0.22~0.44 | $0.66~1.32 |
| Claude Fable 5 | 공식 확인 불가 | $10 | $50 |
Hugging Face 공식 모델 카드 기준 DeepSeek V4 Flash 단독 성능은 Terminal-Bench 2.1에서 82.7점이다. 이는 자기검증을 적용하지 않은 기본 수치이며, Kwok가 공개한 79%→88% 상승은 별도 실험에서 나온 것이라 직접 비교하기는 어렵다. Claude Fable 5의 Terminal-Bench 2.1 점수는 출처마다 다르게 보도돼 이 글에서는 공식 확인 불가로 남겨둔다.
지금 재현하려면 뭘 봐야 하나
오픈소스 모델과 자기검증을 조합하는 구체적인 구현은 Kwok가 공개한 GitHub 저장소(llm-as-a-verifier)에서 확인할 수 있다. 토큰 소비량이 늘어나는 구조라, 실제 절감 폭은 작업 난이도와 샘플링 횟수에 따라 달라진다.
