27B급 모델을 개인 PC에서 직접 돌려 보고 싶지만, 모델 파일만 수십 GB라 내려받기부터 부담스러우셨나요? Underdog Saluki 27B는 Qwen3.8-27B를 저비트로 압축한 GGUF 모델로, 주 모델 파일을 7.89GB로 줄여 로컬 실행을 겨냥합니다. 원본 54GB와 비교하면 약 6.8분의 1 크기입니다.
여기서 7.89GB는 모델 파일 크기입니다. 실제 실행에는 모델 가중치 외에도 KV 캐시와 llama.cpp 런타임이 메모리를 사용하므로, 메모리 8GB인 컴퓨터에서 다른 부담 없이 그대로 실행된다는 뜻은 아닙니다. 컨텍스트 길이와 동시 작업에 따라 필요한 메모리도 달라집니다.
Qwen3.8-27B를 IQ2-mix GGUF로 압축
Saluki 27B는 Qwen3.8-27B를 기반으로 만든 IQ2-mix 양자화 모델입니다. Underdog가 공개한 주 가중치 파일은 Underdog-Saluki-27B-1.0-IQ2-mix.gguf이며 파일 크기는 7.89GB입니다. 모델 파일과 함께 공개된 라이선스는 Apache-2.0입니다.
Underdog 공식 카드는 9개 벤치마크 평균 96% 성능 유지를 제시합니다. 이 값은 회사가 요약해 공개한 수치로, 모든 벤치마크에서 같은 조건으로 독립 재현됐다는 뜻은 아닙니다. 세부 결과는 과제와 평가 하니스마다 다르므로 평균 수치 하나만으로 모델의 전반적인 성능을 단정하기보다, 실제 용도와 가까운 평가를 함께 살펴보는 편이 좋습니다.
BFCL v4 도구 호출은 120개 과제에서 88 대 84
도구 호출 결과는 Underdog가 Berkeley Function Calling Leaderboard v4(BFCL v4)에서 미리 정한 120개 과제로 비교했습니다. thinking을 끄고 temperature를 0으로 둔 조건에서 Saluki는 88개, 전체 크기 Qwen3.8-27B는 84개 과제를 통과했습니다. 이 결과는 해당 120개 과제와 설정에 한정된 비교이며, 모든 도구 호출 작업에서 Saluki가 앞선다는 일반화로 읽을 수는 없습니다.
공식 출시 스레드에는 모델 크기와 요약 벤치마크 설명, BFCL 평가 조건, 크기 대비 도구 호출 결과가 차례로 소개돼 있습니다.
출처: X @UnderdogAI
출처: X @UnderdogAI
출처: X @UnderdogAI
llama.cpp로 내려받고 실행하기
공식 모델 카드가 안내하는 방식은 Hugging Face CLI로 GGUF 파일을 내려받은 뒤 llama.cpp 서버를 실행하는 것입니다. 아래 명령은 파일을 현재 디렉터리에 저장하고, 32K 컨텍스트 설정으로 서버를 시작합니다.
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768--jinja는 Qwen3.8 대화 템플릿을 사용하도록 설정하며 도구 호출과 thinking 처리에 쓰입니다. 서버가 실행되면 기본 포트 8080에서 OpenAI 호환 chat API를 제공합니다. 그래픽 카드에 모델을 얼마나 올릴지는 장비에 맞게 -ngl 값을 조정해야 합니다.
이미지 입력에는 별도 projector가 필요합니다
Saluki의 기본 GGUF는 텍스트 중심입니다. 이미지 입력을 사용하려면 별도 vision projector 파일을 받아야 합니다. 공식 카드에는 F16 928MB 또는 Q8_0 629MB projector가 안내돼 있으며, 이 파일과 실행 환경의 메모리도 추가로 필요합니다. 따라서 주 모델 파일만 내려받으면 이미지까지 바로 처리된다고 보면 안 됩니다.
저메모리 로컬 LLM이나 Qwen 계열의 다른 실행 사례가 궁금하다면 8GB 램에서도 도는 27B 모델, 어떻게?와 랩탑에서 돌아가는 270억 모델, Qwen3.8-27B 공개도 함께 살펴보세요.
Saluki 27B는 27B급 모델을 로컬 환경에 맞춰 작게 배포하려는 선택지입니다. 다만 7.89GB는 GGUF 파일 크기이고, 실행에 필요한 메모리는 캐시와 런타임까지 고려해 별도로 잡아야 합니다.
