2.78조 파라미터 모델을 8.24GB RAM의 CPU에서 ‘실행’한다는 말은, 모델 전체를 메모리에 올린다는 뜻이 아니다. kimi-k3-in-c는 전문가 가중치를 디스크에서 스트리밍하는 방식으로 이 차이를 보여준다.
176KB C99 엔진이 바꾼 것은 모델 크기가 아니다
Alvaro Cintas가 소개한 프로젝트는 순수 C99 엔진이 약 176KB이고 GPU·CUDA·프레임워크 없이 동작한다고 설명한다. 여기서 작아진 것은 Kimi K3 가중치가 아니라 실행 엔진과 상주 메모리다. 거대한 가중치는 저장장치에 남는다.
디스크 스트리밍 — RAM 대신 기다리는 방식
MoE 모델은 매 토큰마다 일부 전문가만 선택한다. 이 프로젝트는 필요한 전문가를 NVMe 등 디스크에서 읽고, 사용 후 메모리에서 비운다. 메모리 한계를 I/O 대기시간과 맞바꾸는 구조다.
“GPU 없음”이 곧 빠르다는 뜻은 아니다
8.24GB는 포스트가 밝힌 최소 설정의 피크 메모리 수치다. CPU와 저장장치로 대형 모델을 호출할 수 있다는 데 의미가 있지만, 지연시간·토큰 속도·디스크 용량은 별도 문제다. 생산 서비스나 실시간 대화의 대체재로 곧바로 해석하면 안 된다.
개발자에게 남는 실용적 교훈
| 가능해지는 일 | 여전히 필요한 것 |
|---|---|
| 저메모리 장비에서 구조 검증·실험 | 충분한 디스크 용량과 빠른 I/O |
| GPU 없는 환경에서 모델 접근 | 긴 응답 대기시간 수용 |
| 프레임워크 의존성 축소 | 프로젝트의 재현성·라이선스 검토 |
이 프로젝트의 반전은 ‘작은 PC가 초거대 모델을 빠르게 돌린다’가 아니다. 실행 가능한 범위의 정의를 메모리 밖으로 넓혔다는 데 있다.
