Bonsai 2 27B 本地部署与接入 Hermes Agent
简介 本文介绍如何在 Windows 上部署 PrismML 的 Ternary-Bonsai-2-27B GGUF 模型，并通过 llama.cpp 提供 OpenAI 兼容 API，供 Hermes Agent 调用。文章将该模型描述为基于 Qwen3.8-27B 的约 9 倍压缩版本：主模型约 5.9GB，并支持最长 262K 上下文与图片输入。 ...
简介 本文介绍如何在 Windows 上部署 PrismML 的 Ternary-Bonsai-2-27B GGUF 模型，并通过 llama.cpp 提供 OpenAI 兼容 API，供 Hermes Agent 调用。文章将该模型描述为基于 Qwen3.8-27B 的约 9 倍压缩版本：主模型约 5.9GB，并支持最长 262K 上下文与图片输入。 ...