floneum/kalosm

何を解決するか

Kalosm は、ローカルまたはリモートのAIモデルを統合するアプリケーションの開発を簡素化することを目的とした、Rustベースのエコシステムです。さまざまなモダリティ（テキスト、音声、画像）の事前学習済みモデルとの対話に一貫したインターフェースを提供し、LLM用の構造化データ生成およびコンテキスト管理ツールも含んでいます。

動作方法

このプロジェクトは2つの主要なコンポーネントで構成されています：

• Kalosm：事前学習済みモデル用のハイレベルインターフェース。Llama、Mistral、Phi、Whisper、Segment Anything、Bertなどのモデルをサポート。PDF、HTML、DOCXなどさまざまなファイル形式からのコンテキスト抽出、テキストのチャンク化、セマンティック検索用のベクトルデータベースとの統合を含むユーティリティを備えています。
• Fusor：GGUFファイル形式を使用する、WGPUベースの量子化ML推論ランタイム。カーネル融合コンパイラを活用して、操作チェーンを単一のカーネルに最適化し、Nvidia、AMD、Metalなどのさまざまなアクセラレータ上でネイティブに実行可能。また、WebGPUを介してブラウザ内でも直接実行可能です。

対象ユーザー

一貫したAPI、ローカルの量子化モデルのサポート、多様なハードウェアアクセラレータ上で効率的にモデルを実行したいRust開発者。

主な特徴

• マルチモーダル対応：LLM（テキスト）、Whisper（音声）、Segment Anything（画像）モデルの統合サポート。
• 構造化生成：独自のパーサーエンジンとサンプラーを使用し、文法ベースの制約により、Rust型、JSON、HTML、XMLに制限されたモデル出力を実現。
• Firestore統合：LLMのコンテキストを供給するためのコンテキスト抽出、ウェブクローリング、スクレイピングユーティリティ。
• ハードウェア非依存：Fusorにより、WGPUを介して複数のGPUアーキテクチャおよびブラウザをターゲットに。
• 量子化推論：メモリと計算リソースの要件を削減するため、量子化モデルのネイティブサポート。