ollaya-dev/ollaya
Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.
什么是 Ollaya?
Ollaya 是一个在您自己的计算机上运行“决策模型”的自托管程序——与 Ollama 运行大型语言模型(LLM)的方式相同,但用途不同。决策模型不生成文本,而是以校准概率回答带类型的问题(如“这是紧急的吗?”或“应该由哪个团队处理?”)——例如,“0.91 的概率这是退款请求”——在毫秒内完成,无需调用 LLM。
核心卖点:AI 代理需要快速、可靠的决策(路由、护栏、分诊、工具审批)。Ollaya 以本地服务的形式提供这些功能,并使用开放模型,因此您的数据永远不会离开您的机器。
工作原理
您发送一个状态(消息、电子邮件、工单或任何 JSON)以及带类型的问题(choice、score、noul)。模型在单次前向传递中返回概率。它从不生成文本。
README 中的示例——对投诉邮件运行分诊模型:
ollaya run winnow:e4b --preset triage "Third time this year you've double-charged me. Refund it today or I'm cancelling..."
输出(缩写):
intent refund ███████████████░ 0.91
is_urgent yes ███████████████░ 0.92
frustration 2.89 / 3 ██████████████░░ 0.86
refund_requested yes ████████████████ 0.99
churn_risk yes ████████████████ 0.99
您也可以提出自己的问题:ollaya run kev --ask "Is a refund requested?" --ask "Which team?" --choice billing --choice sales < ticket.txt。
Jev 兼容性(关键集成)
Ollaya 提供了一个 HTTP API,与 TypeSafe 托管的“Jev”服务在线路上完全相同(POST /v1/systemone、/v1/decisions、GET /v1/models)。这意味着官方 TypeSafe SDK 和任何现有的 Jev 客户端都可以无需修改地使用——只需将它们指向 Ollaya 并选择一个开放模型:
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # any non-empty value
export TYPESAFE_DEFAULT_MODEL=winnow:e4b # instead of "jev-latest"
因此,Ollaya 本质上是 TypeSafe Jev 的即插即用、自托管替代品,使用开放模型而不是 TypeSafe 的封闭模型。
对比(来自 README 的表格)
| Ollaya | TypeSafe Jev | Ollama | |
|---|---|---|---|
| 运行于 | 您的机器或服务器 | TypeSafe 的云 | 您的机器或服务器 |
| Jev API | /v1/systemone、/v1/decisions、/v1/models |
原始版本 | /v1/systemone |
| 模型 | 来自 Perplexity、Cloudflare、PostHog、Bespoke Labs 等的开放决策模型 | Jev(封闭) | 其自己的九个决策模型的 GGUF 构建 |
| 概率 | 每位作者的校准 | TypeSafe 的 | 原始 softmax |
| 您的数据离开机器 | 否 | 是 | 否 |
| 许可证 | Apache-2.0 | 专有,托管 | MIT |
主要特性
- 单一二进制。
ollaya serve运行守护进程;ollaya run、pull、list、ps、show、rm、cp、stop、create的工作方式与 Ollama 的 CLI 类似。CLI 在需要时自动启动守护进程。 - TypeSafe 兼容 API(如上所述)。
- 原生 API 同样可用:
/api/decide添加路由信息和计时;/api/pull流式传输进度;以及/api/tags、/api/show、/api/ps。 - 权重来自其作者。 Ollaya 仅发布小型 ONNX 图(每个约 3 MB),这些图从作者的 Hugging Face 仓库读取原始权重文件,并固定到提交和 sha256 验证。对于作者发布 GGUF 文件的模型,它直接在 llama.cpp 上运行这些文件。Ollaya 从不重新托管权重。
- 面向代理:
ollaya mcp为 Claude Code、Claude Desktop、Cursor 等提供模型服务。还有一个ollaya-decisions技能,教代理何时以及如何使用它们。 - 路由器:
laya检测每个请求的脚本和语言,然后选择laya:en或laya:multilingual。 - 模型文件: 您可以将问题集烘焙到您自己的模型中(就像模型的 Dockerfile):
然后FROM laya QUESTIONS ./triage.json PARAMETER precision fp32ollaya create triage -f Modelfile和ollaya run triage "…"。 - 硬件支持: ONNX Runtime 在 CPU 和 NVIDIA GPU 上的 CUDA;GGUF 模型在 llama.cpp 上运行(CPU、AMD 上的 ROCm/HIP、Windows 上的 Vulkan、CUDA、Apple 芯片上的 Metal)。
- 精度: GPU 上 fp16,CPU 上 fp32(如果可用);fp32 导出在 2,383 个问题中 100% 匹配 PyTorch 参考(每个检查点)。
模型(示例)
winnow:e4b— 推荐:在类型化决策上准确率为 0.724,在 RTX 5090 上五个问题耗时 113 毫秒。4B 级模型;如果没有 NVIDIA GPU,请从laya开始(CPU 上 516 毫秒)。laya— 路由器(语言检测),带有laya:en、laya:multilingual、laya:typed-decisions。decider— Mapika 的 Qwen3.5 解码器(默认 2B、4B、0.8B,以及视觉变体)。kev— Jared Palmer 的 Kev(Qwen3.5 上的 LoRA + 指针头,已校准)。pplx-decider— Perplexity 的 flash 模型,已校准,最多 255 个选项。clef— Cloudflare 的 Clef-Flash,在单次前向传递中为每个问题的选项打分。jeeves— PostHog 的 Jeeves-9B,无推理链。d1、d1-omni— Liquid AI 的模型(文本和图像决策)。qwen3guard— 带有内置问题的安全护栏(安全/有争议/不安全)。nli、gliclass、von、clm、jevk5、nimble、strands-decider、d3、jeb、cygnet、snap、decima、largha、arbiter— 更多,每个都有其自己的作者和特性。
所有模型都可以在 ollaya.dev/search 浏览;准确率、速度和内存都在 Ollaya Bench 上。
结果 / 基准测试
每个模型都在 Ollaya 自己的机器上使用相同的 5,880 个问题进行测量。来自 2026.10 版(Ollaya 0.13.0–0.19.0,RTX 5090):
- 得分(14 个任务上的机会校正准确率):
pplx-decider:flash73.7,jeb:27b69.1,d3:mini68.0,d3:flash67.8,jeb:9b66.0。其中最快的是jeb:9b,五个问题耗时 111 毫秒。 - 校准(最低误差):0.016(
pplx-decider:flash),0.018(jeeves:9b),0.020(jeb:9b)。 - 速度: 在 RTX 5090 上,五个问题的请求耗时 14 毫秒到 1.0 秒;在 Threadripper 3960X CPU 上耗时 314 毫秒到 62.0 秒。
- 一致性: 在发布前,每个模型的运行时都会逐问题与作者的代码进行核对。
- 与同一 GPU 上的 Ollama 比较发现,对于相同的 Nimble 权重,Ollaya 的校准误差为 0.022,而 Ollama 为 0.115。
安装
- Linux(x86_64/arm64,glibc ≥ 2.38):
curl -fsSL https://ollaya.dev/install.sh | sh(如果存在 NVIDIA GPU,则添加 CUDA 运行时)。 - macOS(Apple 芯片):相同命令。
- Windows(x64):在 PowerShell 中运行
irm https://ollaya.dev/install.ps1 | iex。 - 桌面应用适用于 macOS/Windows/Linux(macOS 上为菜单栏):ollaya.dev/download。
- Docker:
docker run -d --gpus=all -p 11435:11435 ghcr.io/ollaya-dev/ollaya:cuda(或:cuda12用于旧驱动,或仅 CPU 镜像)。
通过环境变量进行配置:OLLAYA_HOST、OLLAYA_MODELS、OLLAYA_KEEP_ALIVE、OLLAYA_DEVICE、OLLAYA_API_KEY 等。
仓库结构
crates/ollaya— 二进制文件(CLI、守护进程、运行器)crates/ollaya-server— HTTP API、调度器(每个模型一个运行器进程)、模型解析crates/ollaya-api— API 类型和客户端crates/ollaya-registry— 模型名称、清单、blob 存储、可恢复拉取crates/ollaya-decision— 问题模式、序列布局、校准、答案crates/ollaya-runner— 推理引擎(ONNX Runtime、用于 GGUF 的 llama.cpp)crates/ollaya-lang— 用于路由器的脚本/语言检测convert/— 构建时 Python(ONNX 导出、一致性检查、打包)site/— 网站和静态模型注册表主机
开发
cargo test --workspace和cargo build --release -p ollaya --features cuda- 三个测试层级(K1 每次更改,K2 每次发布,K3 主要发布),具有相同的一致性容差,检查运行时输出与黄金夹具。
convert/重建模型:导出、与 PyTorch 参考检查一致性、生成黄金、打包到registry/。
许可证
Ollaya 本身是 Apache-2.0。每个模型保留其自己的许可证(主要是 Apache-2.0 或 MIT,但有例外:nimble:9b-v3 是 CC BY-NC 4.0 非商业,d1 在 LFM 开放许可证 v1.0 下,有收入门槛,arbiter 的基础 Gemma 3 在 Gemma 使用条款下)。llama.cpp(为 GGUF 模型提供)是 MIT。
重要: Ollaya 是一个独立项目——与 Ollama 或 TypeSafe 无关,也未获得其认可。
结论
Ollaya 是 TypeSafe 托管的 Jev 服务的本地、开源替代品,用于 AI 代理决策。它在您自己的硬件上运行开放决策模型,与 TypeSafe 的 SDK API 兼容,并且速度快(毫秒级决策),无需生成文本。如果您正在构建需要路由、护栏、分诊或工具审批的代理,Ollaya 让您可以在本地使用开放模型和校准概率来实现。
相关
- Dispatch
- Dispatch
- 项目
- Dispatch
- Dispatch