ardanlabs/kronk

What it solves

Kronk は、Python 環境や複雑なモデルサービング・スタックを必要と 없이 (without) Python 環境や複雑なモデルサービング・スタックを必要とせずに、ローカルでハードウェア加速された AI モデルを動かす方法を提供します。AI 能力（テキスト生成、画像生成、音声からテキストへの変換）を Go アプリケーションに直接統合、またはスタンドアロンサーバーとして利用することを簡素化します。

How it works

Kronk は、ネイティブな推論エンジンをラップ-ラップ (wrap) する高レベルな Go SDK とモデルサーバーとして機能します。以下の専門化されたライブラリを統合しています：

• Kronk (Core): llama.cpp と yzma を使用してテキスト、ビジョン、埋め込み、およびリランキングモデルを使用します。
• Bucky: whisper.cpp と bucky を使用して音声からテキストへの変換（文字起こしと翻訳）を行います。
• Malina: stable-diffusion.cpp を使用する実験的な SDK です。

このプロジェクトは、Linux, macOS, Windows 全てにおいて、CUDA, Vulkan, HIP, ROCm, SYCL, Metal, および OpenCL をサポートするハードウェア加速バックエンドを提供します。

Who it’s for

AI 推論をバイナリに直接埋め込みたい Go 開発者、または複数の AI モデルを管理・運用するための OpenAI- and Anthropic-compatible API サーバーが必要な方向けです。

Highlights

• Multi-modal support: テキスト、ビジョン、音声文字起こし、および画像/動画生成を扱います。
• OpenAI/Anthropic Compatibility: モデルサーバーは標準的な業界インターフェースに互換性のある API を提供します。
• ** Hardware Acceleration:** 複数の OS 上の幅広い GPU バックエンドをネイティブサポートします。
• Go-native experience: プロセス内推論のための SDK と、管理用のブラウザ UI を備えたフルモデルサーバーの両方を提供します。
• Advanced AI features: ツールコール、推論、増分メッセージキャッシュ、および画像の ControlNet conditioning をサポートします。