Rizzo-AI-Academy/rizzo-flow
The open, local take on Jev: typed decisions from an LLM, without generating a single token
解决的问题
Rizzo Flow 提供了 TypeSafe 的 Jev 的本地开源替代方案，使开发者能够在不生成任何文本标记的情况下，从 LLM 获取类型化的决策（如是/否、分数或多项选择选项）。这消除了解析非结构化文本输出的需求，并可在您自己的硬件上提供概率性结果。
工作原理
它使用在 llama.cpp 上运行的 Spark-X2.5 模型的微调版本（提供 4B 和 1.7B 两种尺寸）。与生成文本不同，它通过一次前向传播来生成一组预定义答案字母的概率分布。它与 Jev HTTP 接口兼容，这意味着为 Jev 编写的代码只需更改 API URL 即可切换到 Rizzo Flow。
适用人群
需要在本地硬件（Apple Silicon、NVIDIA、AMD、Intel GPU 或 CPU）上从 LLM 获取快速类型化决策，并希望避免托管服务带来的延迟和隐私问题的开发者。
主要亮点
- 零生成标记：直接从模型的最后一个提示位置返回类型化决策和概率，无需文本生成。
- 本地优先：完全在您自己的机器上运行，使用
llama.cpp，支持多种 GPU 后端（CUDA、Metal、Vulkan、ROCm、SYCL）。 - 专为决策优化的微调：包含自定义 LoRA 微调，相比基础 Spark-X2.5 模型，显著提升了概率的形状和准确性。
- 高性能：每请求决策时间可低至 50ms 到 150ms。
- Jev 兼容 API：保持与封闭式 Jev 服务相同的 HTTP 接口，便于迁移。
- 内置沙盒环境：提供基于网页的界面，可实时测试状态和问题。
相关
- 项目
- 项目
- 项目
- 项目
- 项目