로컬 추론은 프롬프트를 자신의 기기에서 처리합니다. 새 구성에서는 Qwen3.8 27B, Muse Glimmer 30B, Qwen3 Coder 30B를 비교하고, 작은 기기에서는 Gemma 4 E4B나 Qwen3 8B를 시험하세요.
모델 정보는 2026년 10월 14일 확인했습니다. Qwen3.8과 Muse Glimmer는 약 18GB 다운로드 외에 컨텍스트와 런타임 공간이 필요합니다. 아래 표는 현재 후보 목록이며 새로운 실측 순위가 아닙니다.
모델 순위
| 모델 | Ollama 태그 | 시험할 작업 | 메모리 참고 |
|---|---|---|---|
| Qwen3.8 27B | qwen3.8:27b | 코딩과 도구 사용 | 약 18GB 다운로드와 추가 메모리 |
| Muse Glimmer 30B | muse-glimmer:30b | 에이전트 루프와 실패 복구 | 약 18GB 다운로드와 추가 메모리 |
| Qwen3 Coder 30B | qwen3-coder:30b | 코딩 전용 비교 기준 | 양자화와 컨텍스트 확인 |
| Qwen3 Coder Next | qwen3-coder-next | 대용량 기기의 코딩 작업 | 기본 약 52GB와 추가 메모리 |
| gpt-oss 20B | gpt-oss:20b | 작은 추론 작업 | 약 14GB, 16GB에서는 여유가 적음 |
| Gemma 4 E4B | gemma4:e4b | 가벼운 코드 지원 | 소형 기기용 후보 |
| Qwen3 8B | qwen3:8b | 작은 수정과 설명 | 짧은 컨텍스트로 시작 |
하드웨어 요구사항
가중치, 컨텍스트 상태, 런타임 버퍼가 모두 메모리를 사용합니다. MoE의 활성 파라미터 수는 계산량을 나타낼 뿐 전체 가중치 저장 공간을 줄이지 않습니다.
VRAM 8~16GB(보급형)
Gemma 4 E4B나 Qwen3 8B부터 시험하세요. gpt-oss 20B는 다운로드만 약 14GB이므로 16GB 기기에서는 컨텍스트가 커지면 공간이 부족할 수 있습니다.
VRAM 18~32GB(권장)
Qwen3.8 27B, Muse Glimmer 30B, Qwen3 Coder 30B가 후보입니다. 24GB GPU나 32GB 이상 통합 메모리는 출발점이며 실제 사용량을 확인해야 합니다.
가용 메모리 48GB 이상(프리미엄)
Qwen3 Coder Next의 기본 다운로드는 약 52GB이며 런타임 공간이 추가로 필요합니다. 48GB 카드 한 장에 전체를 VRAM으로 올릴 수는 없습니다. 다른 양자화나 큰 기기에서도 속도를 측정하세요.
Ollama 설정
Ollama는 로컬 모델을 실행하는 가장 간단한 방법입니다. 설치하고 모델을 pull하면 localhost에서 OpenAI 호환 API가 실행됩니다.
# Install
curl -fsSL https://ollama.com/install.sh | sh
# Pull a model (pick one based on your hardware)
ollama pull qwen3.8:27b
ollama pull muse-glimmer:30b
ollama pull gemma4:e4b
ollama pull qwen3:8b
Ollama는 기본적으로 http://localhost:11434에서 API를 제공합니다.
r/LocalLLaMA 팁: 27B 이상 모델에서는 Ollama 대신 llama.cpp를 직접 사용했을 때 성능이 더 좋다는 사용자 보고가 여러 건 있습니다. Ollama는 편리하지만 llama.cpp는 양자화와 메모리 할당을 더 세밀하게 제어할 수 있습니다. 처음에는 Ollama로 시작하고, 성능 한계에 부딪히면 llama.cpp로 전환하세요.
OpenClaw 설정
Ollama가 이제 공식 프로바이더이므로 설정은 간단합니다. 온보딩 마법사를 실행하세요.
openclaw onboard --auth-choice ollama
또는 ~/.openclaw/openclaw.json에 Ollama를 수동으로 추가하세요.
{
models: {
providers: {
ollama: {
baseUrl: "http://localhost:11434/v1",
api: "openai-completions",
models: [
{
id: "qwen3.8:27b",
name: "Qwen3.8 27B",
reasoning: false,
contextWindow: 32768,
maxTokens: 8192
}
]
}
}
},
agents: {
defaults: {
model: { primary: "ollama/qwen3.8:27b" },
models: {
"ollama/qwen3.8:27b": { alias: "qwen-local" }
}
}
}
}
로컬 모델로 전환하세요.
/model qwen-local
로컬 모델이 잘 처리하는 작업
코드 설명, 작은 수정, 테스트 초안부터 시험하세요. 패치를 검토하고 도구 인수, 실패 후 복구, 재시도 횟수를 기록합니다.
로컬 모델의 한계
긴 변경, 어려운 디버깅, 여러 도구 호출에서는 모델이 제약을 놓칠 수 있습니다. 큰 명목상 컨텍스트가 정확한 기억이나 충분한 메모리를 보장하지 않습니다. 새 모델에 옛 모델의 속도나 점수를 붙이지 말고 실제 구성에서 측정하세요.
하이브리드 접근법
로컬에서 정확히 끝내는 작업은 그대로 두고 실패한 작업을 더 강한 클라우드 모델로 전환하세요. 처리 비율과 절감액은 실제 작업에서 측정해야 합니다.
{
agents: {
defaults: {
model: {
primary: "ollama/qwen3.8:27b",
thinking: "anthropic/claude-sonnet-5-5"
}
}
}
}
클라우드 설정은 Haimaker 연결 가이드를 확인하세요.
문제 해결
메모리가 부족하면 컨텍스트를 줄이거나 공개된 작은 빌드를 고르세요. 모델 태그는 Ollama 목록에서 정확히 복사합니다. 도구가 실패하면 지원 여부와 스키마를 확인하고 짧은 절차로 시험하세요. 예시의 32K는 출발점일 뿐 모든 기기에 맞는다는 보장은 없습니다.
모델 가격 비교는 OpenClaw에서 가장 저렴한 모델을 참고하세요. 클라우드 모델의 토큰 비용 절감은 QMD로 비용 96% 절감하기를 참고하세요.