floneum/kalosm

解决的问题

Kalosm 为在 Rust 应用中集成预训练 AI 模型提供了一个简化且统一的接口。它消除了管理不同模型架构和硬件加速的复杂性，使开发者能够轻松部署用于文本、音频和图像处理的本地或远程模型。

工作原理

该项目由两个主要组件构成：

1. Kalosm：一个支持多种预训练模型（如 Llama、Mistral、Phi、Whisper 和 BERT）的高级接口，适用于不同模态。它包含从各种文件格式中提取上下文、网络爬取以及使用自定义解析引擎进行结构化生成的工具，可将模型输出约束为特定的 Rust 类型或语法。
2. Fusor：基于编译器的量化机器学习推理运行时。它使用 e-graph 编译器将操作链融合为针对 CPU 和 WebGPU 加速器优化的内核，实现无需手动编写着色器代码的高效本地推理。

适用人群

希望使用本地或远程模型构建 AI 驱动应用，但无需深入掌握机器学习或硬件特定优化的 Rust 开发者。

主要亮点

• 多模态支持：集成支持 LLM、音频转录（Whisper）和图像分割（SAM）。
• 结构化生成：通过 #[derive(Parse, Schema)] 或自定义语法，将模型输出约束为任意 Rust 类型。
• JSON/HTML/XML 支持：对生成复杂数据格式提供快速、结构感知的加速。
• 硬件加速：通过 Fusor 运行时，针对 CPU 和 WebGPU 实现本地推理优化。
• RAG 工具：内置工具用于从 PDF、HTML 等文档中提取、分块和检索上下文。