ardanlabs/kronk
Go With Your Own Intelligence! Use Go for hardware accelerated local inference with llama.cpp, whisper.cpp, and stable-diffusion.cpp directly integrated into your Go applications. Kronk provides a high-level API and production ready model server.
What it solves
Kronk는 Python 환경이나 복잡한 모델 서빙 스택이 필요 없이 로컬에서 하드웨어 가속 AI 모델을 실행할 수 있는 방법을 제공합니다. 텍스트 생성, 이미지 생성, 음성-텍스트 변환과 같은 AI 기능을 Go 애플리케이션에 직접 통합하거나 독립형 서버로 사용할 수 있도록 프로세스를 단순화합니다.
How it works
Kronk는 네이티브 추론 엔진을 래핑하는 고수준 Go SDK 및 모델 서버로 작동합니다. 다음과 같은 전문화된 라이브러리를 통합합니다:
- Kronk (Core):
llama.cpp와yzma를 사용하여 텍스트, 비전, 임베딩, 리랭킹 모델을 처리합니다. - Bucky:
whisper.cpp와bucky를 사용하여 음성-텍스트 변환(전사 및 번역)을 처리합니다. - Malina:
stable-diffusion.cpp를 사용하여 이미지 및 비디오 생성 기능을 제공하는 실험적인 SDK입니다.
이 프로젝트는 Linux, macOS, Windows 전반에 걸쳐 CUDA, Vulkan, HIP, ROCm, SYCL, Metal, 및 OpenCL을 지원하는 하드웨어 가속 백엔드를 제공합니다.
Who it’s for
AI 추론을 바이нар리(binary)에 직접 임베딩하거나, 여러 AI 모델을 관리하고 실행하기 위한 OpenAI- and Anthropic-compatible API 서버가 필요한 Go 개발자들을 위한 것입니다.
Highlights
- Multi-modal support: 텍스트, 비전, 오디오 전사, 이미지/비디오 생성을 지원합니다.
- OpenAI/Anthropic Compatibility: 모델 서버는 표준 산업 인터페이스와 호환되는 API를 제공합니다.
- Hardware Acceleration: 여러 운영 체제에서 광범위한 GPU 백엔드를 네이티브 지원합니다.
- Go-native experience: 프로세스 내 추론을 위한 SDK와 관리를 위한 브라우저 UI가 포함된 전체 모델 서버를 모두 제공합니다.
- Advanced AI features: 도구 호출, 추론, 증분 메시지 캐싱, ControlNet conditioning을 위한 이미지 기능을 지원합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트