KoboldCPP 1.112.1

KoboldCPP 是一款开源且轻量级的工具，用于在本地执行 GGUF 格式的语言模型，如基于 LLaMA、RWKV 等模型。作为 KoboldAI 的替代方案，它提供了简洁的图形界面和 API 支持，使得可以直接在您的计算机上与 AI 模型进行互动。

主要功能

本地执行 GGUF 模型：支持 4 位或 8 位量化模型，适合中端硬件使用。兼容 RWKV、LLaMA 等模型。

图形界面和 API：包括 KoboldAI Lite，有聊天、冒险和企业助手等模式。还支持通过 API 与多个端点集成。

文本、图像和音频生成：支持使用 LLM 模型生成文本，并通过 Stable Diffusion 生成图像，同时支持通过 Whisper 和 OuteTTS 进行语音识别和合成。

注意事项

支持的格式：KoboldCPP 兼容 GGUF 格式的模型。不支持其他格式的模型，如 GPTQ 或 Safetensors。

硬件要求：为了获得更好的性能，特别是在使用 GPU 时，建议确认您的硬件与所选模型的要求的兼容性。

KoboldCPP 是希望本地执行 AI 模型的用户的实用高效解决方案，无需依赖云服务，保持对数据的控制，并充分利用可用的硬件。