本機推理能在自己的機器上處理提示。新設定可比較 Qwen3.8 27B、Muse Glimmer 30B 與 Qwen3 Coder 30B;小型機器可試 Gemma 4 E4B 或 Qwen3 8B。
模型資料已於 2026 年 10 月 14 日 核對。Qwen3.8 與 Muse Glimmer 的下載約 18GB,另需上下文與執行階段空間。下表是目前候選清單,並非新的實測排名。
模型排行
| 模型 | Ollama 標籤 | 測試用途 | 記憶體說明 |
|---|---|---|---|
| Qwen3.8 27B | qwen3.8:27b | 程式設計與工具使用 | 約 18GB 下載加額外空間 |
| Muse Glimmer 30B | muse-glimmer:30b | 代理循環與失敗復原 | 約 18GB 下載加額外空間 |
| Qwen3 Coder 30B | qwen3-coder:30b | 專用程式設計基準 | 核對量化與上下文 |
| Qwen3 Coder Next | qwen3-coder-next | 大容量機器的程式設計 | 預設約 52GB 加額外空間 |
| gpt-oss 20B | gpt-oss:20b | 較小規模推理 | 約 14GB,16GB 機器可能吃緊 |
| Gemma 4 E4B | gemma4:e4b | 輕量程式碼輔助 | 小型機器候選 |
| Qwen3 8B | qwen3:8b | 小幅編輯與解釋 | 先使用短上下文 |
硬體需求
權重、上下文狀態與執行階段緩衝都會占用記憶體。MoE 的啟用參數量描述計算量,並不代表只需儲存這些權重。
8–16GB VRAM(入門級)
先試 Gemma 4 E4B 或 Qwen3 8B。gpt-oss 20B 光下載就約 14GB,16GB 機器在上下文增長後可能沒有足夠餘裕。
18–32GB VRAM(建議)
Qwen3.8 27B、Muse Glimmer 30B 與 Qwen3 Coder 30B 都是候選。24GB GPU 或 32GB 以上統一記憶體可作為起點,仍需檢查實際占用。
48GB+ 有效記憶體(高階)
Qwen3 Coder Next 預設下載約 52GB,另需執行階段空間。48GB 顯示卡無法單獨將這個版本完整放入 VRAM。使用其他量化或大容量機器時也應實測速度。
設定 Ollama
Ollama 是跑本機模型最簡單的方法。安裝好、拉取一個模型,localhost 上就有一個 OpenAI 相容 API。
# Install
curl -fsSL https://ollama.com/install.sh | sh
# Pull a model (pick one based on your hardware)
ollama pull qwen3.8:27b
ollama pull muse-glimmer:30b
ollama pull gemma4:e4b
ollama pull qwen3:8b
Ollama 預設會在 http://localhost:11434 提供 API 服務。
來自 r/LocalLLaMA 的建議: 多位使用者回報,跑 27B 以上模型時,從 Ollama 改成直接用 llama.cpp 可以獲得更好的效能。Ollama 贏在方便,llama.cpp 則讓你在量化與記憶體配置上有更多控制權。先用 Ollama 入門就好——遇到效能瓶頸再切到 llama.cpp。
OpenClaw 設定
Ollama 現在是官方 provider,設定流程非常直接。執行首次設定精靈:
openclaw onboard --auth-choice ollama
或在 ~/.openclaw/openclaw.json 中手動新增 Ollama:
{
models: {
providers: {
ollama: {
baseUrl: "http://localhost:11434/v1",
api: "openai-completions",
models: [
{
id: "qwen3.8:27b",
name: "Qwen3.8 27B",
reasoning: false,
contextWindow: 32768,
maxTokens: 8192
}
]
}
}
},
agents: {
defaults: {
model: { primary: "ollama/qwen3.8:27b" },
models: {
"ollama/qwen3.8:27b": { alias: "qwen-local" }
}
}
}
}
切換到你的本機模型:
/model qwen-local
本機模型擅長的部分
先測試程式碼解釋、小幅編輯和測試草稿。檢查修補內容,並記錄工具參數、失敗復原與重試次數。
本機模型的不足之處
長時間變更、困難除錯與多次工具呼叫仍可能讓模型忽略限制。較大的標示上下文並不保證正確回憶或足夠記憶體。不要把舊模型的速度和分數套到新模型上,請以實際版本測量。
混合方案
把本機能正確完成的工作留在本機,失敗時再切換至更強的雲端模型。處理比例與節省金額應根據自己的工作量測量。
{
agents: {
defaults: {
model: {
primary: "ollama/qwen3.8:27b",
thinking: "anthropic/claude-sonnet-5-5"
}
}
}
}
雲端設定請參閱 Haimaker 連線指南。
疑難排解
記憶體不足時,縮短上下文或選擇已發布的小型版本。請從 Ollama 標籤清單 複製正確名稱。工具失敗時,核對支援能力與結構定義,再用短流程測試。範例中的 32K 是起點,不是每台機器都能容納的保證。
需要模型價格比較,請看 OpenClaw 最便宜的模型。想降低雲端模型 token 成本,請看 用 QMD 把成本砍掉 96%。