ollaya-dev/ollaya

Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.

什么是 Ollaya?

Ollaya 是一个在您自己的计算机上运行“决策模型”的自托管程序——与 Ollama 运行大型语言模型(LLM)的方式相同,但用途不同。决策模型不生成文本,而是以校准概率回答带类型的问题(如“这是紧急的吗?”或“应该由哪个团队处理?”)——例如,“0.91 的概率这是退款请求”——在毫秒内完成,无需调用 LLM。

核心卖点:AI 代理需要快速、可靠的决策(路由、护栏、分诊、工具审批)。Ollaya 以本地服务的形式提供这些功能,并使用开放模型,因此您的数据永远不会离开您的机器。

工作原理

您发送一个状态(消息、电子邮件、工单或任何 JSON)以及带类型的问题(choice、score、noul)。模型在单次前向传递中返回概率。它从不生成文本。

README 中的示例——对投诉邮件运行分诊模型:

ollaya run winnow:e4b --preset triage "Third time this year you've double-charged me. Refund it today or I'm cancelling..."

输出(缩写):

intent            refund    ███████████████░ 0.91
is_urgent         yes       ███████████████░ 0.92
frustration       2.89 / 3  ██████████████░░ 0.86
refund_requested  yes       ████████████████ 0.99
churn_risk        yes       ████████████████ 0.99

您也可以提出自己的问题:ollaya run kev --ask "Is a refund requested?" --ask "Which team?" --choice billing --choice sales < ticket.txt。

Jev 兼容性(关键集成)

Ollaya 提供了一个 HTTP API,与 TypeSafe 托管的“Jev”服务在线路上完全相同(POST /v1/systemone、/v1/decisions、GET /v1/models)。这意味着官方 TypeSafe SDK 和任何现有的 Jev 客户端都可以无需修改地使用——只需将它们指向 Ollaya 并选择一个开放模型:

export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local              # any non-empty value
export TYPESAFE_DEFAULT_MODEL=winnow:e4b   # instead of "jev-latest"

因此,Ollaya 本质上是 TypeSafe Jev 的即插即用、自托管替代品,使用开放模型而不是 TypeSafe 的封闭模型。

对比(来自 README 的表格)

Ollaya TypeSafe Jev Ollama
运行于 您的机器或服务器 TypeSafe 的云 您的机器或服务器
Jev API /v1/systemone、/v1/decisions、/v1/models 原始版本 /v1/systemone
模型 来自 Perplexity、Cloudflare、PostHog、Bespoke Labs 等的开放决策模型 Jev(封闭) 其自己的九个决策模型的 GGUF 构建
概率 每位作者的校准 TypeSafe 的 原始 softmax
您的数据离开机器 否 是 否
许可证 Apache-2.0 专有,托管 MIT

主要特性

  • 单一二进制。 ollaya serve 运行守护进程;ollaya run、pull、list、ps、show、rm、cp、stop、create 的工作方式与 Ollama 的 CLI 类似。CLI 在需要时自动启动守护进程。
  • TypeSafe 兼容 API(如上所述)。
  • 原生 API 同样可用:/api/decide 添加路由信息和计时;/api/pull 流式传输进度;以及 /api/tags、/api/show、/api/ps。
  • 权重来自其作者。 Ollaya 仅发布小型 ONNX 图(每个约 3 MB),这些图从作者的 Hugging Face 仓库读取原始权重文件,并固定到提交和 sha256 验证。对于作者发布 GGUF 文件的模型,它直接在 llama.cpp 上运行这些文件。Ollaya 从不重新托管权重。
  • 面向代理: ollaya mcp 为 Claude Code、Claude Desktop、Cursor 等提供模型服务。还有一个 ollaya-decisions 技能,教代理何时以及如何使用它们。
  • 路由器: laya 检测每个请求的脚本和语言,然后选择 laya:en 或 laya:multilingual。
  • 模型文件: 您可以将问题集烘焙到您自己的模型中(就像模型的 Dockerfile):
    FROM laya
    QUESTIONS ./triage.json
    PARAMETER precision fp32
    
    然后 ollaya create triage -f Modelfile 和 ollaya run triage "…"。
  • 硬件支持: ONNX Runtime 在 CPU 和 NVIDIA GPU 上的 CUDA;GGUF 模型在 llama.cpp 上运行(CPU、AMD 上的 ROCm/HIP、Windows 上的 Vulkan、CUDA、Apple 芯片上的 Metal)。
  • 精度: GPU 上 fp16,CPU 上 fp32(如果可用);fp32 导出在 2,383 个问题中 100% 匹配 PyTorch 参考(每个检查点)。

模型(示例)

  • winnow:e4b — 推荐:在类型化决策上准确率为 0.724,在 RTX 5090 上五个问题耗时 113 毫秒。4B 级模型;如果没有 NVIDIA GPU,请从 laya 开始(CPU 上 516 毫秒)。
  • laya — 路由器(语言检测),带有 laya:en、laya:multilingual、laya:typed-decisions。
  • decider — Mapika 的 Qwen3.5 解码器(默认 2B、4B、0.8B,以及视觉变体)。
  • kev — Jared Palmer 的 Kev(Qwen3.5 上的 LoRA + 指针头,已校准)。
  • pplx-decider — Perplexity 的 flash 模型,已校准,最多 255 个选项。
  • clef — Cloudflare 的 Clef-Flash,在单次前向传递中为每个问题的选项打分。
  • jeeves — PostHog 的 Jeeves-9B,无推理链。
  • d1、d1-omni — Liquid AI 的模型(文本和图像决策)。
  • qwen3guard — 带有内置问题的安全护栏(安全/有争议/不安全)。
  • nli、gliclass、von、clm、jevk5、nimble、strands-decider、d3、jeb、cygnet、snap、decima、largha、arbiter — 更多,每个都有其自己的作者和特性。

所有模型都可以在 ollaya.dev/search 浏览;准确率、速度和内存都在 Ollaya Bench 上。

结果 / 基准测试

每个模型都在 Ollaya 自己的机器上使用相同的 5,880 个问题进行测量。来自 2026.10 版(Ollaya 0.13.0–0.19.0,RTX 5090):

  • 得分(14 个任务上的机会校正准确率):pplx-decider:flash 73.7,jeb:27b 69.1,d3:mini 68.0,d3:flash 67.8,jeb:9b 66.0。其中最快的是 jeb:9b,五个问题耗时 111 毫秒。
  • 校准(最低误差):0.016(pplx-decider:flash),0.018(jeeves:9b),0.020(jeb:9b)。
  • 速度: 在 RTX 5090 上,五个问题的请求耗时 14 毫秒到 1.0 秒;在 Threadripper 3960X CPU 上耗时 314 毫秒到 62.0 秒。
  • 一致性: 在发布前,每个模型的运行时都会逐问题与作者的代码进行核对。
  • 与同一 GPU 上的 Ollama 比较发现,对于相同的 Nimble 权重,Ollaya 的校准误差为 0.022,而 Ollama 为 0.115。

安装

  • Linux(x86_64/arm64,glibc ≥ 2.38):curl -fsSL https://ollaya.dev/install.sh | sh(如果存在 NVIDIA GPU,则添加 CUDA 运行时)。
  • macOS(Apple 芯片):相同命令。
  • Windows(x64):在 PowerShell 中运行 irm https://ollaya.dev/install.ps1 | iex。
  • 桌面应用适用于 macOS/Windows/Linux(macOS 上为菜单栏):ollaya.dev/download。
  • Docker: docker run -d --gpus=all -p 11435:11435 ghcr.io/ollaya-dev/ollaya:cuda(或 :cuda12 用于旧驱动,或仅 CPU 镜像)。

通过环境变量进行配置:OLLAYA_HOST、OLLAYA_MODELS、OLLAYA_KEEP_ALIVE、OLLAYA_DEVICE、OLLAYA_API_KEY 等。

仓库结构

  • crates/ollaya — 二进制文件(CLI、守护进程、运行器)
  • crates/ollaya-server — HTTP API、调度器(每个模型一个运行器进程)、模型解析
  • crates/ollaya-api — API 类型和客户端
  • crates/ollaya-registry — 模型名称、清单、blob 存储、可恢复拉取
  • crates/ollaya-decision — 问题模式、序列布局、校准、答案
  • crates/ollaya-runner — 推理引擎(ONNX Runtime、用于 GGUF 的 llama.cpp)
  • crates/ollaya-lang — 用于路由器的脚本/语言检测
  • convert/ — 构建时 Python(ONNX 导出、一致性检查、打包)
  • site/ — 网站和静态模型注册表主机

开发

  • cargo test --workspace 和 cargo build --release -p ollaya --features cuda
  • 三个测试层级(K1 每次更改,K2 每次发布,K3 主要发布),具有相同的一致性容差,检查运行时输出与黄金夹具。
  • convert/ 重建模型:导出、与 PyTorch 参考检查一致性、生成黄金、打包到 registry/。

许可证

Ollaya 本身是 Apache-2.0。每个模型保留其自己的许可证(主要是 Apache-2.0 或 MIT,但有例外:nimble:9b-v3 是 CC BY-NC 4.0 非商业,d1 在 LFM 开放许可证 v1.0 下,有收入门槛,arbiter 的基础 Gemma 3 在 Gemma 使用条款下)。llama.cpp(为 GGUF 模型提供)是 MIT。

重要: Ollaya 是一个独立项目——与 Ollama 或 TypeSafe 无关,也未获得其认可。

结论

Ollaya 是 TypeSafe 托管的 Jev 服务的本地、开源替代品,用于 AI 代理决策。它在您自己的硬件上运行开放决策模型,与 TypeSafe 的 SDK API 兼容,并且速度快(毫秒级决策),无需生成文本。如果您正在构建需要路由、护栏、分诊或工具审批的代理,Ollaya 让您可以在本地使用开放模型和校准概率来实现。

相关

  • Dispatch
  • Dispatch
  • 项目
  • Dispatch
  • Dispatch