Grok 4.6이 의료 AI 에이전트 벤치마크에서 1위에 올랐다는 주장이 X에서 확산됐다.
일론 머스크가 8월 19일 밤 11시 7분(KST) "Grok 4.6 is #1 on healthcare questions"이라는 글을 올렸다. X 계정 @XFreeze가 먼저 공유한 MedAgentBench 결과를 인용한 것이다.
GPT-5.6 Sol 앞선 95.9%는?
인용된 수치는 이렇다. Grok 4.6이 약 95.9%로 1위, GPT-5.6 Sol이 약 94.7%로 2위, Grok 4.5가 약 93.4%로 3위다.
| 순위 | 모델 | MedAgentBench 점수 |
|---|---|---|
| 1위 | Grok 4.6 | 약 95.9% |
| 2위 | GPT-5.6 Sol | 약 94.7% |
| 3위 | Grok 4.5 | 약 93.4% |
러시아 IT 매체 ixbt.com도 8월 17일 평가 기준으로 같은 수치를 보도했다. 다만 이 순위는 xAI나 스탠퍼드가 운영하는 공식 리더보드 페이지에 게시된 수치는 아니다. X 계정이 자체 측정해 공유한 결과라는 점은 감안해야 한다.
70만 건 진료기록으로 만든 시험대
MedAgentBench는 스탠퍼드 연구팀이 만든 벤치마크다. GitHub 저장소와 NEJM AI 논문에 따르면, 면허를 가진 의사들이 직접 만든 300개 과제로 AI 에이전트를 시험한다.
단순 지식 문제가 아니다. 가상 전자의무기록(EHR) 환경에서 검사 지시, 투약 관리, 문서 작성, 진료 의뢰 같은 실제 병원 업무를 2~3단계 절차로 수행하게 한다. 데이터는 스탠퍼드 STARR 저장소의 실제 환자 기록 70만 건 이상에서 뽑은 100명분 프로필을 기반으로 한다.
그래서 이 벤치마크는 "얼마나 아느냐"가 아니라 "실제 시스템 안에서 얼마나 정확히 행동하느냐"를 잰다. 지식 시험 점수와는 성격이 다른 지표라는 뜻이다.
1위 타이틀, 어디까지 믿어야 하나?
Grok 4.6은 지난 8월 12일 출시 이후 여러 벤치마크에서 상위권에 이름을 올려왔다. 이번 MedAgentBench 결과도 그 흐름 위에 있다.
다만 헬스케어 영역 안에서도 벤치마크마다 순위가 다르다. Artificial Analysis의 Healthcare and Medical Index에서는 Grok 4.6이 3위에 그쳤다. 같은 모델이라도 평가 기준과 문제 구성에 따라 결과가 달라진다는 뜻이다.
국내 헬스케어 스타트업이나 병원 IT 담당자라면 이 점수를 도입 근거로 그대로 쓰기보다, 자체 데이터로 별도 검증한 뒤 판단하는 편이 안전하다. 벤치마크 점수가 높다고 해서 임상 환경에서의 안전성까지 보증하지는 않는다.
