本地后端
本地后端完全在你的机器上运行,无需 API Key,数据不离本机。
LM Studio
LM Studio 是大多数用户的推荐选择,通过图形界面下载模型,GuardClaw 连接其内置的 OpenAI 兼容服务器。
配置步骤
- 下载并安装 LM Studio
- 下载模型(推荐:
qwen/qwen3-4b或qwen2.5-7b-instruct) - 进入 Local Server 标签 → 点击 Start Server
- 配置 GuardClaw:
bash
guardclaw config set SAFEGUARD_BACKEND lmstudio
guardclaw config set LMSTUDIO_URL http://localhost:1234/v1
guardclaw config set LMSTUDIO_MODEL autoLMSTUDIO_MODEL=auto 表示使用 LM Studio 当前加载的模型。
推荐模型
| 模型 | 参数量 | 准确率 | 速度 |
|---|---|---|---|
qwen/qwen3-4b-2507 | 4B | ⭐⭐⭐⭐⭐ | ⚡⚡⚡⚡ |
qwen2.5-7b-instruct | 7B | ⭐⭐⭐⭐⭐ | ⚡⚡⚡ |
mistral-7b-instruct-v0.2 | 7B | ⭐⭐⭐⭐⭐ | ⚡⚡⚡ |
llama-3.1-8b-instruct | 8B | ⭐⭐⭐⭐⭐ | ⚡⚡⚡ |
phi-3-mini-4k | 3B | ⭐⭐⭐⭐ | ⚡⚡⚡⚡ |
避免使用 3B 以下的模型——它们难以可靠地输出 GuardClaw 所需的 JSON 格式。
使用 LM Studio 作为 OpenAI 兼容代理
LM Studio 也可以作为任意 OpenAI 兼容 API 的代理。如果端点需要认证,设置 LMSTUDIO_API_KEY:
bash
guardclaw config set LMSTUDIO_API_KEY your-api-key故障排查
详见故障排查页面。
Ollama
Ollama 适合 Linux、Docker 和无图形界面环境。
配置步骤
- 安装 Ollama
- 拉取模型:bash
ollama pull qwen2.5:7b - 配置 GuardClaw:
bash
guardclaw config set SAFEGUARD_BACKEND ollama
guardclaw config set OLLAMA_URL http://localhost:11434
guardclaw config set OLLAMA_MODEL qwen2.5:7b启动 Ollama
GuardClaw 启动前需先运行 Ollama:
bash
ollama serve # 启动服务器或安装为系统服务,详见 Ollama 文档。