Rizzo-AI-Academy/rizzo-flow
The open, local take on Jev: typed decisions from an LLM, without generating a single token
何を解決するか
Rizzo Flow は TypeSafe の Jev に対するローカルでオープンソースな代替手段を提供し、テキストトークンを生成せずに、yes/no、スコア、複数選択肢などの型付き決定を LLM から得られるようにします。これにより、非構造化テキスト出力のパースの必要がなくなり、自前のハードウェア上で確率的な結果を提供できます。
動作方法
llama.cpp 上で実行される、Spark-X2.5 モデルのファインチューニング版（4B および 1.7B のサイズで利用可能）を使用しています。テキスト生成ではなく、事前に定義された回答文字の確率分布を1回のフォワードパスで生成します。Jev の HTTP インターフェースと互換性があるため、Jev 用に書かれたコードは API URL を変更するだけで Rizzo Flow に切り替えることができます。
対象ユーザー
Apple Silicon、NVIDIA、AMD、Intel GPU、または CPU 上のローカルハードウェアで LLM から高速な型付き決定が必要で、ホスティングサービスの遅延やプライバシーの懸念を避けたい開発者。
特徴
- 生成トークンゼロ: テキスト生成を行わず、モデルの最後のプロンプト位置から直接型付き決定と確率を返します。
- ローカル最優先:
llama.cppを使用して、CUDA、Metal、Vulkan、ROCm、SYCL などのさまざまな GPU バックエンドをサポートする自宅マシン上で完全に実行されます。 - 決定用にファインチューニング済み: 基底の Spark-X2.5 モデルよりも確率の形状と精度を向上させるために、カスタム LoRA ファインチューニングを含んでいます。
- 高パフォーマンス: 1回のリクエストあたり 50ms から 150ms で決定が可能です。
- Jev互換 API: 閉鎖的な Jev サービスと同一の HTTP インターフェースを維持しており、移行が容易です。
- 組み込みプレイグラウンド: 実時間で状態と質問をテストできるウェブベースのインターフェースを備えています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト