ox-alpha를 둘러싼 “DeepSWE 80%” 소문은 전체 실행 결과가 아니었습니다. Henry Zhang이 공개한 113개 과제 전체 실행은 66개 해결, 58.4%로 끝났습니다.
이 결과는 모델의 성능을 낮춰 말하기 위한 반박이라기보다, 부분 테스트와 전체 벤치마크를 구분하자는 신호에 가깝습니다.
113개 전체 실행의 66개 해결
공개 실행 저장소는 ox-alpha를 OpenRouter의 stealth/ox-alpha로 호출하고, DeepSWE의 113개 과제를 Docker와 mini-swe-agent 조합으로 실행했다고 기록합니다.
실행 저장소의 요약은 66/113, 58.4%, 총 실행 시간 20시간 39분을 제시합니다. 따라서 80%라는 수치를 ox-alpha의 최종 전체 점수처럼 인용하면 안 됩니다.
도구 호출 실패가 만든 점수의 빈틈
실행 기록은 일부 과제가 모델의 코드 추론만으로 실패한 것이 아니라고 설명합니다. 에이전트가 도구 호출을 생성하지 못하는 형식 오류가 반복되면서 과제가 종료된 사례가 있었습니다.
저장소는 첫 28개 실행 중 13개에서 도구 호출이 한 번 이상 누락됐고, 그중 2개는 반복 형식 오류로 종료됐다고 기록합니다. 이런 결과는 실제 에이전트 작업에서 중요한 신호지만, 순수한 코드 생성 능력과는 분리해 읽어야 합니다.
장기 작업을 재는 DeepSWE
DeepSWE 논문은 91개 오픈소스 저장소와 다섯 개 언어에 걸친 113개 장기 소프트웨어 엔지니어링 과제를 소개합니다. 각 과제는 요구 기능을 검증하는 전용 평가기를 사용합니다.
DeepSWE 원 논문이 설명하듯 이 벤치마크는 단순 코드 완성보다 저장소 탐색, 수정, 테스트 실행을 포함한 긴 작업 흐름을 봅니다. 그래서 모델 선택 시 단일 점수뿐 아니라 하네스와 도구 연결을 함께 봐야 합니다.
내 저장소에서 다시 재기
이번 결과에서 바로 가져올 결론은 “ox-alpha가 실무에 충분하다”가 아닙니다. 58.4%라는 기준점과 도구 호출 실패 양상을 확인한 뒤, 실제 팀의 저장소와 승인 정책으로 재검증해야 한다는 것입니다.
특히 긴 에이전트 작업을 도입한다면 실패를 세 종류로 나눠 기록해야 합니다. 코드 추론 실패, 테스트·컨테이너 실패, 도구 호출 실패입니다. 이 구분이 있어야 모델 교체와 하네스 개선 중 무엇이 먼저 필요한지 판단할 수 있습니다.
