feder-cr/jev

解决的问题

Jev 专为高速、本地决策而设计。它允许用户发送一段文本和一组问题（是/否、多选或评分），并立即接收每个答案的概率，无需依赖云服务或昂贵的 GPU。

运作原理

该项目提供一个可在笔记本电脑 CPU 上运行的单一二进制文件。它使用优化模型（提供 OpenVINO int8 或 GGUF 格式）来处理文本并返回答案。它通过 HTTP 服务器公开 TypeSafe Jev API，允许在一次请求中针对单一段文本提出多个问题，以最大限度地减少处理时间。

目标对象

需要将快速、自动化的分类或决策逻辑集成到应用程序中，同时保持数据本地化并避免按 token 计费的开发者。

特点

• CPU 优化：可在标准笔记本电脑 CPU 上运行，响应时间在 28ms 到 130ms 之间。
• 零依赖：以单一二进制文件形式发布，运行时无需 Python。
• 多问题请求：可以在一次传递中处理关于同一文本的多个不同问题（例如：情感分析、路由和政策检查）。
• 本地且免费：完全在机器上运行，消除了云成本和隐私疑虑。
• 大上下文：支持高达 8,192 个 token 的上下文窗口。