Phocinae/Phocinae-Largha-150M-v1

它解决的问题

该模型提供了一种快速、本地且可预测的方式来做出结构化决策——例如批准命令、选择工具或过滤输出——而无需担心将数据发送到大型语言模型（LLM）API 所带来的延迟、成本或隐私问题。

工作原理

它是一个基于 mmBERT-small 架构的 144.3M 参数“类型化决策模型”。与聊天机器人不同，它不生成文本。相反，您提供一个 state（上下文）和一组类型化问题（是/否、多项选择或 2–10 评分）。它执行一次前向传递，返回精确答案和置信度分数。它设计为在您自己的硬件（包括 CPU）上本地运行，并输出零个 token。

适用对象

它适用于构建自动化工作流、审批门或路由系统的开发人员，这些系统需要确定性、低延迟的决策。它非常适合决策重复且遵循固定结构的场景，但不适用于开放式对话或长篇写作。

亮点

• 零 token 输出： 直接返回结构化数据（布尔值、索引或整数）。
• 本地优先： 完全在您的机器上运行；无 API 调用、无速率限制，且数据不会离开您的环境。
• 高性能： 在标准 CPU 上每秒可处理 8–20 个决策，或在 GPU 上每个决策约 21 毫秒。
• 双语支持： 在英语和中文数据集上训练。
• 决策路由： 可用作节省成本的门控，仅将不确定的决策升级到更大、更昂贵的 LLM。