ardanlabs/kronk

What it solves

Kronk 提供了一种在不需要 Python 环境或复杂的模型服务堆栈的情况下，运行本地、硬件加速的 AI 模型的方法。它简化了将 AI 能力（如文本生成、图像创建、语音转文本）直接集成到 Go 应用程序或作为独立服务器使用的方法。

How it works

Kronk 作为一个高层级的 Go SDK 和模型服务器，封装了原生推理引擎。它集成了几个专门的库：

• Kronk (Core): 使用 llama.cpp 和 yzma 进行文本、视觉、嵌入和重排序模型。
• Bucky: 使用 whisper.cpp 和 bucky 进行语音转文本（转录和翻译）。
• Malina: 一个实验性的 SDK，使用 stable-diffusion.cpp 进行图像和视频生成。

该项目提供支持 Linux、macOS 和 Windows 上 CUDA, Vulkan, HIP, ROCm, SYCL, Metal, 和 OpenCL 的硬件加速后端。

Who it’s for

想要将 AI 推理直接嵌入到其二进制文件中的 Go 开发者，或者需要一个与 OpenAI 和 Anthropic 兼容的本地、OpenAI- and Anthropic-compatible API 服务器来管理和运行多个 AI 模型。

Highlights

• Multi-modal support: 处理文本、视觉、音频转录、图像/视频生成。
• OpenAI/Anthropic Compatibility: 提供与标准行业接口的 API，模型服务器提供兼容于 standard industry interfaces 的 API。
• Hardware Acceleration: 支持多种操作系统上广泛的 GPU 后端。
• Go-native experience: 提供用于进程内推理的 SDK 和带有浏览器 UI 的管理模型服务器服务器。
• Advanced AI features: 支持工具调用、推理、增量消息缓存、图像的 ControlNet conditioning 模式。