hybridgroup/yzma

何を解決するか

yzma は、Go開発者がCコンパイラ（CGo）や外部モデルサーバーの管理を必要とせずに、アプリケーションにローカルAIモデル推論を直接統合できる方法を提供します。大規模言語モデル（LLM）および視覚言語モデル（VLM）を、さまざまなハードウェア上でローカルで実行するプロセスを簡素化します。

動作方法

このプロジェクトは llama.cpp のGoラッパーとして機能し、purego と ffi を使用して同じプロセス内で llama.cpp ライブラリを呼び出します。これにより、アプリケーションはCUDA、Metal、Vulkanなどのハードウェアアクセラレーションを活用して高性能を実現しつつ、標準的なGoビルドプロセスを維持できます。

対象ユーザー

コンテナや外部推論サーバーの複雑さを避け、埋め込み型ローカルAI機能を持つアプリケーションを開発したいGo開発者。

特徴

• CGo不要の統合: purego と ffi を使用するため、GoプログラムのビルドにCコンパイラは不要です。
• 広範なハードウェア対応: Linux、macOS、WindowsでCUDA、Metal、Vulkan、HIP、ROCm、SYCL、OpenCLをサポート。
• ローカル推論: Goアプリケーションと同じプロセス内でモデルを実行し、最大のパフォーマンスを発揮。
• マルチモーダル対応: GGUF形式のモデルを使用して、テキストベースのLLMと視覚言語モデル（VLM）の両方をサポート。
• モデル管理の簡素化: Hugging FaceからGGUFモデルを直接ダウンロードできるコマンドラインツールを内蔵。