floneum/kalosm

解決する課題

Kalosm は、Rust アプリケーションに事前学習済み AI モデルを統合するための簡素化・統一されたインターフェースを提供します。異なるモデルアーキテクチャやハードウェアアクセラレーションの管理の複雑さを排除し、テキスト、音声、画像処理用のローカルまたはリモートモデルを簡単にデプロイできるようにします。

動作方法

このプロジェクトは、主に以下の2つのコンポーネントで構成されています。

1. Kalosm: 複数のモダリティ（テキスト、音声、画像など）に対応するさまざまな事前学習済みモデル（Llama、Mistral、Phi、Whisper、BERT など）をサポートする高レベルインターフェースです。さまざまなファイル形式からのコンテキスト抽出、ウェブクローリング、およびカスタムパーサーエンジンを用いた構造化生成（モデル出力を特定の Rust 型や文法に制約）のユーティリティを含みます。
2. Fusor: 量子化された ML 推論用のコンパイラ駆動ランタイム。e-graph コンパイラを使用して、操作チェーンを最適化されたカーネルに統合し、CPU および WebGPU アクセラレータ向けに効率的なローカル推論を実現。手動のシェーダー記述は不要です。

対象ユーザー

ML の専門知識やハードウェア固有の最適化に深く関わることなく、ローカルまたはリモートモデルを使って AI ベースのアプリケーションを開発したい Rust 開発者。

主な特徴

• マルチモーダル対応: LLM、音声認識（Whisper）、画像セグメンテーション（SAM）の統合サポート。
• 構造化生成: #[derive(Parse, Schema)] またはカスタム文法を使用して、モデル出力を任意の Rust 型に制約可能。
• JSON/HTML/XML 対応: 複雑なデータ形式の生成を高速かつ構造意識的に加速。
• ハードウェアアクセラレーション: Fusor ランタイムを介して CPU および WebGPU 向けに最適化されたローカル推論。
• RAG ユーティリティ: PDF、HTML その他のドキュメントからコンテキストを抽出・チャンク化・取得するための組み込みツール。