本機推理能在自己的機器上處理提示。新設定可比較 Qwen3.8 27B、Muse Glimmer 30B 與 Qwen3 Coder 30B;小型機器可試 Gemma 4 E4B 或 Qwen3 8B。

模型資料已於 2026 年 10 月 14 日 核對。Qwen3.8 與 Muse Glimmer 的下載約 18GB,另需上下文與執行階段空間。下表是目前候選清單,並非新的實測排名。

模型排行

模型Ollama 標籤測試用途記憶體說明
Qwen3.8 27Bqwen3.8:27b程式設計與工具使用約 18GB 下載加額外空間
Muse Glimmer 30Bmuse-glimmer:30b代理循環與失敗復原約 18GB 下載加額外空間
Qwen3 Coder 30Bqwen3-coder:30b專用程式設計基準核對量化與上下文
Qwen3 Coder Nextqwen3-coder-next大容量機器的程式設計預設約 52GB 加額外空間
gpt-oss 20Bgpt-oss:20b較小規模推理約 14GB,16GB 機器可能吃緊
Gemma 4 E4Bgemma4:e4b輕量程式碼輔助小型機器候選
Qwen3 8Bqwen3:8b小幅編輯與解釋先使用短上下文

硬體需求

權重、上下文狀態與執行階段緩衝都會占用記憶體。MoE 的啟用參數量描述計算量,並不代表只需儲存這些權重。

8–16GB VRAM(入門級)

先試 Gemma 4 E4B 或 Qwen3 8B。gpt-oss 20B 光下載就約 14GB,16GB 機器在上下文增長後可能沒有足夠餘裕。

18–32GB VRAM(建議)

Qwen3.8 27B、Muse Glimmer 30B 與 Qwen3 Coder 30B 都是候選。24GB GPU 或 32GB 以上統一記憶體可作為起點,仍需檢查實際占用。

48GB+ 有效記憶體(高階)

Qwen3 Coder Next 預設下載約 52GB,另需執行階段空間。48GB 顯示卡無法單獨將這個版本完整放入 VRAM。使用其他量化或大容量機器時也應實測速度。

設定 Ollama

Ollama 是跑本機模型最簡單的方法。安裝好、拉取一個模型,localhost 上就有一個 OpenAI 相容 API。

# Install
curl -fsSL https://ollama.com/install.sh | sh

# Pull a model (pick one based on your hardware)
ollama pull qwen3.8:27b
ollama pull muse-glimmer:30b
ollama pull gemma4:e4b
ollama pull qwen3:8b

Ollama 預設會在 http://localhost:11434 提供 API 服務。

來自 r/LocalLLaMA 的建議: 多位使用者回報,跑 27B 以上模型時,從 Ollama 改成直接用 llama.cpp 可以獲得更好的效能。Ollama 贏在方便,llama.cpp 則讓你在量化與記憶體配置上有更多控制權。先用 Ollama 入門就好——遇到效能瓶頸再切到 llama.cpp。

OpenClaw 設定

Ollama 現在是官方 provider,設定流程非常直接。執行首次設定精靈:

openclaw onboard --auth-choice ollama

或在 ~/.openclaw/openclaw.json 中手動新增 Ollama:

{
  models: {
    providers: {
      ollama: {
        baseUrl: "http://localhost:11434/v1",
        api: "openai-completions",
        models: [
          {
            id: "qwen3.8:27b",
            name: "Qwen3.8 27B",
            reasoning: false,
            contextWindow: 32768,
            maxTokens: 8192
          }
        ]
      }
    }
  },
  agents: {
    defaults: {
      model: { primary: "ollama/qwen3.8:27b" },
      models: {
        "ollama/qwen3.8:27b": { alias: "qwen-local" }
      }
    }
  }
}

切換到你的本機模型:

/model qwen-local

本機模型擅長的部分

先測試程式碼解釋、小幅編輯和測試草稿。檢查修補內容,並記錄工具參數、失敗復原與重試次數。

本機模型的不足之處

長時間變更、困難除錯與多次工具呼叫仍可能讓模型忽略限制。較大的標示上下文並不保證正確回憶或足夠記憶體。不要把舊模型的速度和分數套到新模型上,請以實際版本測量。

混合方案

把本機能正確完成的工作留在本機,失敗時再切換至更強的雲端模型。處理比例與節省金額應根據自己的工作量測量。

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/qwen3.8:27b",
        thinking: "anthropic/claude-sonnet-5-5"
      }
    }
  }
}

雲端設定請參閱 Haimaker 連線指南。

疑難排解

記憶體不足時,縮短上下文或選擇已發布的小型版本。請從 Ollama 標籤清單 複製正確名稱。工具失敗時,核對支援能力與結構定義,再用短流程測試。範例中的 32K 是起點,不是每台機器都能容納的保證。

試用 HAIMAKER 進行雲端路由


需要模型價格比較,請看 OpenClaw 最便宜的模型。想降低雲端模型 token 成本,請看 用 QMD 把成本砍掉 96%。