의료 LLM의 성능을 말할 때 모델이 문제를 직접 풀어 얻은 점수를 먼저 떠올리기 쉽습니다. 하지만 Nature Medicine에 게재된 무작위 사전등록 연구는 모델 단독 점수와 사용자가 모델을 활용하는 상황을 분리해 비교했습니다.
연구는 1,298명의 영국 성인을 대상으로 10개 의료 시나리오를 사용했습니다. 결론은 모델의 의학 지식과 사용자의 실제 판단 사이에 큰 간극이 있다는 것이었습니다.
LLM 단독 94.9%가 사용자 대화에서는 34.5% 미만이었다
연구진이 시나리오를 모델에 직접 제시했을 때, 관련 질환을 맞힌 비율은 세 모델 평균 94.9%였습니다. 처치 방향(disposition) 정확도는 평균 56.3%였습니다.
같은 모델을 일반 사용자가 대화형으로 활용했을 때는 달랐습니다. 관련 질환을 식별한 비율은 34.5% 미만, 처치 방향은 44.2% 미만이었습니다. 두 결과 모두 대조군보다 낫지 않았습니다.
이 수치는 모델이 의료 지식을 전혀 갖고 있지 않다는 뜻이 아닙니다. 입력을 해석하고 필요한 정보를 주고받으며 최종 판단으로 연결하는 과정에서 성능이 흔들렸다는 뜻입니다.
1,298명과 10개 시나리오로 점수의 조건을 갈랐다
연구진은 세 명의 의사가 열 개 시나리오의 적절한 의료 이용 방향을 정했고, 네 명의 의사가 관련 질환 목록을 만들었습니다. 참여자는 GPT-4o, Llama 3, Command R+ 중 하나를 사용하거나 평소 방식으로 정보를 찾는 대조군에 배정됐습니다.
참여자는 증상 상황을 보고 어떤 의료 서비스를 이용할지, 어떤 질환을 고려했는지를 답했습니다. 따라서 단순한 객관식 시험이 아니라 사용자가 정보를 입력하고 모델의 답을 해석하는 과정까지 측정했습니다.
연구의 데이터 수집은 2024년에 이뤄졌고 논문은 2026년 2월에 출판됐습니다. 최신 모델 전체의 성능을 뜻하는 결과가 아니라, 사용자 상호작용을 별도로 평가해야 한다는 방법론적 근거로 읽어야 합니다.
벤치마크가 놓친 것은 정보 전달과 판단의 연결이었다
연구진은 사용자가 정보를 불완전하게 입력하거나 모델의 제안을 제대로 따라가지 않는 사례를 관찰했습니다. 모델이 관련 질환을 제시해도 사용자가 그 정보를 최종 판단에 반영하지 못하는 경우가 있었습니다.
모델 단독 평가와 실제 사용의 차이는 여기서 생깁니다. 벤치마크는 정리된 질문을 주지만, 실제 사용자는 증상을 어떤 말로 설명할지부터 결정해야 합니다.
연구진은 표준 의학 지식 벤치마크와 모의 사용자 평가가 실제 사람과의 상호작용 실패를 충분히 예측하지 못했다고 설명했습니다.
의료 AI는 모델 점수보다 사용자 테스트가 먼저다
이 연구가 제안하는 실무 기준은 분명합니다. 의료 도구를 배포하기 전 모델의 시험 점수만 확인할 것이 아니라, 실제 사용자가 정보를 빠뜨리거나 잘못 해석하는 조건을 함께 테스트해야 합니다.
다만 이 연구는 임상 진료가 아니라 통제된 의료 시나리오를 사용했습니다. 실제 환자의 긴급성, 불안, 언어 장벽, 임상 환경까지 그대로 재현한 결과는 아닙니다.
따라서 이 논문은 특정 의료 결정을 대신할 근거가 아닙니다. 의료 서비스를 설계하는 팀이라면 모델 정확도와 사용자 상호작용 안전성을 별도 지표로 관리해야 한다는 경고로 보는 편이 정확합니다.
