TheoLeeCJ/SemIf

解决的问题

SemIf 为 AI 代理提供了一种更快、更高效的方法，用于做出小型、类型化的决策（例如请求路由或重试操作），而无需生成完整文本响应的开销。与要求模型生成 "是" 或 "否" 并解析该文本不同，SemIf 直接从模型的内部状态（logits）读取特定选项的概率，从而消除了解码循环或 JSON 修复的需要。

工作原理

SemIf 采用「决策原生」方法，将标准和选项一次性提供给模型。系统直接读取原生选项 logits 来确定所提供选项的概率，而不是采样 token。它还支持「共享状态感知」，允许一次性预取一个长上下文（状态），然后并行地在多个不同的决策标准之间分支，显著提高吞吐量。

适用人群

需要基于非结构化状态进行高速、结构化决策的 AI 代理开发者，以及希望在消费级硬件（如 RTX 3090）上使用开源模型（如 Qwen 或 MiniCPM）实现语义决策模式的开发者。

特点

• 直接读取 logits： 完全绕过 token 生成，相比自回归 JSON 生成，决策时间显著加快。
• 共享状态重用： 只需一次预取状态，即可并行评估多个标准，大幅提高每秒决策数。
• 浏览器端执行： 包含 WebGPU 演示，允许用户在浏览器中直接运行模型。
• 可审计的基准测试： 提供与 Jev 等闭源服务在性能和准确性方面的全面对比结果。