Mlx

简介 本文介绍如何在 Windows 上部署 PrismML 的 Ternary-Bonsai-2-27B GGUF 模型，并通过 llama.cpp 提供 OpenAI 兼容 API，供 Hermes Agent 调用。文章将该模型描述为基于 Qwen3.8-27B 的约 9 倍压缩版本：主模型约 5.9GB，并支持最长 262K 上下文与图片输入。 ...

简介 llmfit 是一个用于“根据本机硬件选择合适 LLM 模型”的开源终端工具。它会检测系统的 CPU、内存、GPU/显存与推理后端，然后从大量模型与 provider 中评估哪些模型能跑、跑得好不好，并给出推荐排序。 ...