ardanlabs/kronk

What it solves

Kronk 提供了一種在不需要 Python 環境或複雜的模型伺服器架構下，執行本地、硬體加速的 AI 模型的方法。它簡化了將 AI 能力（例如文字生成、圖像建立和語音轉文字）直接整合到 Go 應用程式或作為獨立伺服器的過程。

How it works

Kronk 作為一個高階的 Go SDK 與模型伺服器，封裝了原生推理引擎。它整合了幾個專門的函式庫：

• Kronk (Core): 使用 llama.cpp 和 yzma 進行文字、視覺、嵌入和重排序模型。
• Bucky: 使用 whisper.cpp 和 bucky 進行語音轉文字（逐字稿與翻譯）。
• Malina: 一個實驗性的 SDK，使用 stable-diffusion.cpp 進行圖像與影片生成。

該專案提供支援 Linux、macOS 和 Windows 上 CUDA、Vulkan、HIP、ROCm、SYCL、Metal 和 OpenCL 的硬體加速後端。

Who it’s for

想要將 AI 推理直接嵌入到其二進位檔中，或是需要一個與 OpenAI 和 Anthropic 相容的本地、本地相容 API 伺服器來管理和執行多個 AI 模型的 Go 開發者。

Highlights

• Multi-modal support: 處理文字、視覺、視覺處理、音訊逐字稿與圖像/影片生成。
• OpenAI/Anthropic Compatibility: 模型伺服器提供與標準產業介面相容的 API。
• Hardware Acceleration: 支援多種作業系統上廣泛的 GPU 後端。
• Go-native experience: 提供用於程序內推理的 SDK 與帶有瀏覽器 UI 的完整模型伺服器，用於管理。
• Advanced AI features: 支援工具呼叫、推理、增量訊息快取與圖像的 ControlNet 條件控制。