floneum/kalosm

它解決的問題

Kalosm 是一個基於 Rust 的生態系統，旨在簡化整合本地或遠端 AI 模型的應用程式開發。它提供了一個統一的介面，用於與各種預訓練模型互動，這些模型涵蓋不同模式（文字、音訊和影像），並包含用於結構化資料生成和 LLM 上下文管理的工具。

如何運作

該專案由兩個主要組件組成：

• Kalosm：預訓練模型的高階介面。支援 Llama、Mistral、Phi、Whisper、Segment Anything 和 Bert 等模型。包含從各種檔案格式（PDF、HTML、DOCX 等）提取上下文的實用工具、文字分塊功能，以及與向量資料庫整合以進行語意搜尋。
• Fusor：基於 WGPU 的量化機器學習推理執行時。使用 GGUF 檔案格式，並透過核心融合編譯器將操作鏈優化為單一核心，使模型能原生運行於各種加速器（Nvidia、AMD、Metal）或直接在瀏覽器中透過 WebGPU 執行。

適用對象

希望使用一致 API、支援本地量化模型，並在多樣硬體加速器上高效執行模型的 Rust 開發者。

主要特色

• 多模態支援：整合支援文字（LLMs）、音訊（Whisper）和影像（Segment Anything）模型。
• 結構化生成：使用自訂解析引擎和取樣器，透過基於語法的約束，將模型輸出限制為特定的 Rust 類型、JSON、HTML 或 XML。
• Firestore 整合：提供用於上下文提取、網頁爬取和資料擷取的實用工具，以供 LLM 使用。
• 硬體無關：透過 Fusor，可針對多種 GPU 架構和瀏覽器使用 WGPU。
• 量化推理：原生支援量化模型，以降低記憶體和運算需求。