floneum/kalosm

它解决了什么问题

Kalosm 是一个基于 Rust 的生态系统，旨在简化集成本地或远程 AI 模型的应用程序开发。它为跨不同模态（文本、音频和图像）的各种预训练模型提供统一的接口，并包含用于结构化数据生成和 LLM 上下文管理的工具。

它如何工作

该项目包含两个主要组件：

• Kalosm：预训练模型的高级接口。支持 Llama、Mistral、Phi、Whisper、Segment Anything 和 Bert 等模型。包含用于从各种文件格式（PDF、HTML、DOCX 等）中提取上下文、文本分块以及与向量数据库集成以实现语义搜索的工具。
• Fusor：基于 WGPU 的量化机器学习推理运行时。使用 GGUF 文件格式，并利用内核融合编译器将操作链优化为单个内核，使模型能够原生运行在各种加速器（Nvidia、AMD、Metal）上，或通过 WebGPU 直接在浏览器中运行。

适合谁使用

希望使用一致 API、支持本地量化模型，并在多种硬件加速器上高效执行模型的 Rust 开发者。

主要亮点

• 多模态支持：集成支持文本（LLMs）、音频（Whisper）和图像（Segment Anything）模型。
• 结构化生成：使用自定义解析引擎和采样器，通过基于语法的约束将模型输出限制为特定的 Rust 类型、JSON、HTML 或 XML。
• Firestore 集成：提供用于上下文提取、网络爬取和网页抓取的工具，以填充 LLM 上下文。
• 硬件无关性：通过 Fusor，可针对多种 GPU 架构和浏览器使用 WGPU。
• 量化推理：原生支持量化模型，以降低内存和计算需求。

"Kalosm 让本地 AI 模型的集成变得简单且高效，尤其适合需要在多种硬件上运行的 Rust 应用。" — @kalosm

"Fusor 的 WGPU 支持使得在浏览器中运行量化模型成为可能，这是迈向 Web AI 的重要一步。" — @fusordev