2026년 9월 29일 0시 22분(KST), Unsloth는 RAM 4GB PC에서도 Laya Decision 모델을 로컬로 실행할 수 있다고 알렸습니다. CPU와 Mac·Windows·Linux·GPU를 지원하고, Unsloth Desktop에서 Jev 호환 API로 제공할 수 있습니다. 추론 데이터는 기기 안에 머뭅니다. AI 에이전트가 다음 행동을 고르는 판단 모델까지 개인 PC에서 실행하는 선택지가 열린 셈입니다.
Laya Decision 모델은 무엇을 하나
일반적인 생성형 모델이 문장을 이어 쓰는 것과 달리, 결정 모델은 텍스트나 JSON 상태를 받아 앱이 바로 사용할 답을 분류·선택·점수로 돌려줍니다. 문의 티켓을 담당 팀으로 보내거나, 메일을 필터링하고, 자동 태그를 붙이는 작업에 쓸 수 있습니다. 답과 함께 확률도 제공하므로 프로그램에서 기준을 정해 다음 동작을 연결할 수 있습니다.
| 질문 유형 | 판단 예시 | 반환값 |
|---|---|---|
noul | 예/아니오 | ‘예’일 확률(0~1) |
choice | 여러 항목 중 선택 | 가장 그럴듯한 항목과 각 선택지 확률 |
score | 정의한 척도에 평가 | 0부터 시작하는 점수와 확률 분포 |
Laya는 Convai Innovations가 공개한 모델이며 Apache-2.0 라이선스를 사용합니다. 기본 다국어 체크포인트는 100개가 넘는 언어를 지원합니다. Hugging Face에서 Laya 모델 카드와 가중치를 확인할 수 있습니다. Unsloth는 Laya를 공개 Jev 대안으로 소개하고, TypeSafe의 Jev API 형식으로 기존 연결을 로컬 서버에 붙이도록 지원합니다. 에이전트가 도구를 고르고 작업을 수행하는 흐름은 코딩 에이전트 용어 페이지에서 더 볼 수 있습니다.
필요 사양: RAM 4GB부터
RAM 4GB 기준은 기본 다국어 모델에 해당합니다. 영어 전용과 Typed Decisions 체크포인트는 최소 5GB가 필요합니다.
| 모델 | 최소 RAM | 다운로드 크기 | 특징 |
|---|---|---|---|
| Multilingual (기본) | 4GB | 678MB | 100개 이상 언어, 1,024 토큰 문맥 |
| English | 5GB | 846MB | 영어 전용, 512 토큰 문맥 |
| Typed decisions | 5GB | 846MB | 영어, 청구서·보안 사고·고객 응대·에이전트 기록 |
기본은 CPU 실행입니다. 더 빠른 응답이 필요하면 설정의 Run on을 GPU로 바꿀 수 있습니다. GPU 모델은 Unload를 누르거나 Unsloth를 재시작할 때까지 메모리에 남습니다. GPU 메모리가 부족하면 CPU 실행으로 전환해 답변을 계속합니다. 체크포인트는 GGUF 단일 파일이 아니라 Hugging Face에 공개된 safetensors 형식입니다.
Unsloth Desktop으로 Laya 로컬 실행하는 법
Unsloth Desktop을 내려받습니다. macOS·Windows·Linux를 지원합니다. 터미널 설치를 원하면 macOS·Linux·WSL에서는 다음 명령을 실행합니다.
curl -fsSL https://unsloth.ai/install.sh | shWindows PowerShell에서는 다음 명령을 사용합니다.
irm https://unsloth.ai/install.ps1 | iex앱에서 Settings → API → Decision API → Serve requests를 켭니다. 기본 Laya 모델(678MB)을 내려받을지 묻는 창에서 승인을 누릅니다. API 키는 같은 화면의 Access tokens에서 확인합니다. 로컬호스트에서 키 없이 쓸 때는 Keyless API access → Chat and inference를 켭니다.
http://localhost:8888/v1/systemone에 요청을 보냅니다. 아래 예시는 문의를 담당 팀으로 분류하고 환불 요청 여부와 긴급도를 함께 판단합니다.curl http://localhost:8888/v1/systemone \ -H "Authorization: Bearer sk-unsloth-YOUR_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "laya", "state": "Hi, I was charged twice for my March invoice (#4411). Please refund the duplicate today.", "questions": { "team": { "type": "choice", "instructions": "Which team should handle this?", "criteria": { "billing": "invoices, payments, refunds", "technical": "bugs, outages, errors", "sales": "pricing, new plans", "other": "everything else" } }, "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"}, "urgency": {"type": "score", "instructions": "How urgent is this?", "criteria": ["not urgent", "soon", "today"]} } }'공식 예시 응답에서는 팀을 billing으로 고르고 환불 요청 확률을 0.9794로 반환합니다. 긴급도는 정의한 0~2 척도에서 계산합니다. 첫 요청은 모델 로딩에 10~20초 걸리고, 그 뒤에는 대부분의 CPU에서 1초보다 짧게 응답합니다. 모델 이름은
laya,default,jev-latest또는laya-multilingual,laya-english,laya-typed-decisions를 사용할 수 있습니다. 요청 하나에 질문 64개, 선택지 255개, 점수 척도 10단계까지 담을 수 있습니다.
기존 Jev 연동을 로컬 Laya로 옮기기
TypeSafe SDK를 설치하고 로컬 서버 주소와 발급받은 키를 환경 변수로 지정합니다.
pip install typesafe-sdk
export TYPESAFE_BASE_URL=http://localhost:8888
export TYPESAFE_API_KEY=sk-unsloth-YOUR_KEY기본 모델 이름인 jev-latest는 Unsloth Desktop 설정에서 선택한 모델로 연결됩니다. 다만 Laya와 Jev는 confidence 계산식이 다르므로 Jev에서 조정한 confidence 기준값을 그대로 옮기지 말고 probabilities를 기준으로 판단해야 합니다. 설명이 붙은 선택지가 약 20개를 넘으면 고정 토큰 예산 때문에 라벨이 잘릴 수 있습니다. 이 기능은 Unsloth Desktop v0.1.900-beta에 포함됐고, 릴리스 시각은 2026년 9월 28일 23시 33분(KST)입니다.
