일론 머스크가 8월 20일 새벽 자신의 X 계정에 짧은 글을 올렸다. "Grok Voice"라는 두 단어뿐이었다.
인용한 원문은 따로 있었다. 익명 계정 X Freeze가 올린 벤치마크 표였다. 그록 보이스 씽크패스트 2.0이 텍스트와 음성 모두에서 GPT 리얼타임을 이겼다는 주장이었다.
이 표가 실제로 무엇을 측정했는지, 원자료를 직접 확인했다.
머스크가 공유한 표, 출처는 어디
표의 출처는 오픈소스 벤치마크 프로젝트 VulcanBench의 "기술 보고서 11호"다. 7월 31일 공개된 "Voice Eval Suite v1" 결과다.
xAI나 OpenAI가 발표한 공식 자료는 아니다. VulcanBench는 깃허브에 공개된 오픈소스 벤치마크로, 제3자가 독립적으로 운영한다.
이 표를 처음 공유한 X Freeze 계정 역시 xAI 소속이 아니다. 워싱턴포스트 보도에 따르면 머스크가 유독 자주 반응하는 익명 계정으로 알려졌을 뿐, 운영자 정체는 공개되지 않았다.
99% 대 97.5%, 텍스트는 그록 승
VulcanBench 보고서는 같은 질문 200개를 텍스트로 한 번, 음성합성(TTS)으로 다시 한 번 물어 채점했다. 채점 기준은 두 모드에서 동일했다.
| 모델 | 텍스트 정확도 | 음성 정확도 | 음성 전환 손실 |
|---|---|---|---|
| Grok Voice Think Fast 2.0 | 99.0% | 95.7% | -3.3%p |
| GPT Realtime | 97.5% | 93.5% | -4.0%p |
텍스트·음성 두 모드 모두 그록이 근소하게 앞섰다. 텍스트에서 음성으로 바뀔 때 깎이는 정확도(보고서 표현으로 "보이스 택스")도 그록 쪽이 0.7%포인트 더 적었다.
산수 계산형 질문에서는 두 모델 모두 정확도가 약 10%포인트씩 떨어졌다. 두 모델이 공통으로 취약한 영역이라는 뜻이다. 반대로 숫자 추출형 질문은 그록이 음성 모드에서 오히려 텍스트 모드보다 점수가 높았다.
속도는 다르다, GPT가 먼저 말한다
정확도만 보면 그록이 근소 우위지만, 속도는 얘기가 다르다. 같은 보고서에서 GPT 리얼타임의 첫 응답까지 걸리는 시간(첫 토큰)은 0.53초, 그록은 1.22초였다.
다만 대화 한 턴이 끝나기까지 걸리는 총 시간은 뒤집힌다. 그록이 1.43초, GPT 리얼타임이 2.70초로 그록이 더 빨리 끝난다.
먼저 말을 꺼내는 쪽은 GPT, 먼저 대화를 끝내는 쪽은 그록이라는 뜻이다. 이 보고서는 스스로도 "첫 토큰 수치는 xAI가 공식 발표한 '첫 음성까지의 시간'과 비교 대상이 아니다"라고 명시했다. 서로 다른 측정 방식을 섞어 비교하면 안 된다는 경고다.
소음 조건에서도 결과가 갈렸다. 배경 소음 10dB를 더했을 때 그록의 점수는 5점 떨어졌지만 GPT 리얼타임은 거의 변화가 없었다.
공식 벤치마크와는 다른 결
xAI가 7월 29일 공식 발표한 자체 벤치마크는 결이 조금 다르다. Artificial Analysis 스피치투스피치 지수에서 그록 씽크패스트 2.0은 82.9%로 GPT-리얼타임-2.1(79.1%)과 제미나이 3.1 플래시(69.5%)를 앞섰다.
에이전트형 과제 성능(τ-voice)도 그록이 56.5%로 GPT-리얼타임-2.1(45.7%)을 크게 앞섰다. 첫 음성 응답까지 걸리는 시간은 그록이 0.70초로 GPT-리얼타임-2.1(2.98초)보다 훨씬 빠르다고 xAI는 밝혔다.
다만 대화 흐름의 자연스러움을 재는 지표(Full Duplex Bench)에서는 그록이 95.1%로 GPT-리얼타임-2.1(95.7%)에 근소하게 뒤졌다. 모든 항목에서 그록이 이긴 건 아니라는 뜻이다.
정리하면 "그록이 GPT를 이겼다"는 방향성 자체는 VulcanBench와 xAI 자체 자료 양쪽에서 대체로 확인된다. 다만 구체적인 수치와 측정 방식은 출처마다 다르고, 이번에 머스크가 공유한 표는 xAI나 OpenAI가 아닌 제3자의 단일 시도 결과라는 점은 짚어야 한다.
