ollaya-dev/ollaya

Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.

Ollaya とは?

Ollaya は、独自のコンピューター上で「意思決定モデル」を実行するセルフホスト型プログラムです。Ollama が大規模言語モデル(LLM)を実行するのと同じ方法ですが、目的は異なります。テキストを生成する代わりに、意思決定モデルは型付きの質問(「これは緊急ですか?」や「どのチームが処理すべきですか?」など)に対して、校正された確率(例:「0.91 の確率で返金リクエスト」)をミリ秒単位で回答し、LLM を呼び出しません。

要点:AI エージェントには、迅速で信頼性の高い意思決定(ルーティング、ガードレール、トリアージ、ツール承認)が必要です。Ollaya は、オープンモデルを使用したローカルサービスとしてこれを提供するため、データがマシンの外に出ることはありません。

仕組み

状態(メッセージ、メール、チケット、または任意の JSON)と型付きの質問(choice、score、noul)を送信します。モデルは単一のフォワードパスで確率を返します。テキストを生成することはありません。

README の例——苦情メールに対するトリアージモデルの実行:

ollaya run winnow:e4b --preset triage "Third time this year you've double-charged me. Refund it today or I'm cancelling..."

出力(省略):

intent            refund    ███████████████░ 0.91
is_urgent         yes       ███████████████░ 0.92
frustration       2.89 / 3  ██████████████░░ 0.86
refund_requested  yes       ████████████████ 0.99
churn_risk        yes       ████████████████ 0.99

独自の質問もできます:ollaya run kev --ask "Is a refund requested?" --ask "Which team?" --choice billing --choice sales < ticket.txt。

Jev 互換性(主要な統合)

Ollaya は、TypeSafe のホスト型「Jev」サービスとワイヤーレベルで同一の HTTP API を公開します(POST /v1/systemone、/v1/decisions、GET /v1/models)。つまり、公式の TypeSafe SDK と既存の Jev クライアントは変更なしで動作します。Ollaya を指すように設定し、オープンモデルを選択するだけです:

export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local              # any non-empty value
export TYPESAFE_DEFAULT_MODEL=winnow:e4b   # instead of "jev-latest"

したがって、Ollaya は本質的に TypeSafe Jev のドロップインでセルフホスト型の代替品であり、TypeSafe のクローズドモデルではなくオープンモデルを使用します。

比較(README の表より)

Ollaya TypeSafe Jev Ollama
実行環境 自分のマシンまたはサーバー TypeSafe のクラウド 自分のマシンまたはサーバー
Jev API /v1/systemone、/v1/decisions、/v1/models オリジナル /v1/systemone
モデル Perplexity、Cloudflare、PostHog、Bespoke Labs などのオープン意思決定モデル Jev(クローズド) 独自の 9 つの意思決定モデルの GGUF ビルド
確率 各著者の校正 TypeSafe の 生の softmax
データがマシンを離れる いいえ はい いいえ
ライセンス Apache-2.0 プロプライエタリ、ホスト型 MIT

主な機能

  • 単一バイナリ。 ollaya serve でデーモンを実行。ollaya run、pull、list、ps、show、rm、cp、stop、create は Ollama の CLI と同様に動作します。CLI は必要に応じてデーモンを自動起動します。
  • TypeSafe 互換 API(上記参照)。
  • ネイティブ API も利用可能:/api/decide はルーティング情報とタイミングを追加。/api/pull は進捗をストリーミング。さらに /api/tags、/api/show、/api/ps。
  • 重みは著者から提供されます。 Ollaya は、著者の Hugging Face リポジトリから元の重みファイルを読み取る小さな ONNX グラフ(各約 3 MB)のみを公開し、コミットと sha256 検証で固定されます。著者が GGUF ファイルを公開しているモデルについては、llama.cpp で直接実行します。Ollaya は重みを再ホストすることはありません。
  • エージェント向け: ollaya mcp は、Claude Code、Claude Desktop、Cursor などにモデルを提供します。また、エージェントにいつ・どのように使用するかを教える ollaya-decisions スキルもあります。
  • ルーター: laya は各リクエストのスクリプトと言語を検出し、laya:en または laya:multilingual を選択します。
  • モデルファイル: 独自のモデルに質問セットを組み込むことができます(モデル用の Dockerfile のようなもの):
    FROM laya
    QUESTIONS ./triage.json
    PARAMETER precision fp32
    
    その後、ollaya create triage -f Modelfile と ollaya run triage "…" を実行します。
  • ハードウェアサポート: CPU 上の ONNX Runtime と NVIDIA GPU 上の CUDA。GGUF モデルは llama.cpp で実行(CPU、AMD 上の ROCm/HIP、Windows 上の Vulkan、CUDA、Apple シリコン上の Metal)。
  • 精度: GPU では fp16、CPU では fp32(利用可能な場合)。fp32 エクスポートは、チェックポイントごとに 2,383 の質問の 100% で PyTorch リファレンスと一致します。

モデル(サンプル)

  • winnow:e4b — 推奨:型付き意思決定で 0.724 の精度、RTX 5090 で 5 つの質問に 113 ミリ秒。4B クラスのモデル。NVIDIA GPU がない場合は、laya から始めてください(CPU で 516 ミリ秒)。
  • laya — ルーター(言語検出)。laya:en、laya:multilingual、laya:typed-decisions 付き。
  • decider — Mapika の Qwen3.5 デコーダー(デフォルト 2B、4B、0.8B、ビジョン変種あり)。
  • kev — Jared Palmer の Kev(Qwen3.5 上の LoRA + ポインターヘッド、校正済み)。
  • pplx-decider — Perplexity のフラッシュモデル、校正済み、最大 255 オプション。
  • clef — Cloudflare の Clef-Flash、単一のフォワードパスで各質問のオプションをスコアリング。
  • jeeves — PostHog の Jeeves-9B、推論チェーンなし。
  • d1、d1-omni — Liquid AI のモデル(テキストおよび画像意思決定)。
  • qwen3guard — 組み込みの質問(安全/物議を醸す/安全でない)を備えた安全ガード。
  • nli、gliclass、von、clm、jevk5、nimble、strands-decider、d3、jeb、cygnet、snap、decima、largha、arbiter — さらに多数。それぞれ独自の著者と特性があります。

すべてのモデルは ollaya.dev/search で閲覧可能。精度、速度、メモリは Ollaya Bench にあります。

結果 / ベンチマーク

各モデルは、Ollaya の独自マシンで同じ 5,880 の質問を使用して測定されます。2026.10 版(Ollaya 0.13.0–0.19.0、RTX 5090)より:

  • スコア(14 タスクのチャンス補正精度):pplx-decider:flash 73.7、jeb:27b 69.1、d3:mini 68.0、d3:flash 67.8、jeb:9b 66.0。これらの中で最速:jeb:9b、5 つの質問で 111 ミリ秒。
  • 校正(最小誤差):0.016(pplx-decider:flash)、0.018(jeeves:9b)、0.020(jeb:9b)。
  • 速度: RTX 5090 では 5 つの質問のリクエストが 14 ミリ秒から 1.0 秒。Threadripper 3960X CPU では 314 ミリ秒から 62.0 秒。
  • パリティ: 出荷前に、各モデルのランタイムは著者のコードと質問ごとにチェックされます。
  • 同じ GPU 上の Ollama との比較では、同じ Nimble 重みで Ollaya の校正誤差は 0.022、Ollama は 0.115 でした。

インストール

  • Linux(x86_64/arm64、glibc ≥ 2.38):curl -fsSL https://ollaya.dev/install.sh | sh(NVIDIA GPU がある場合は CUDA ランタイムを追加)。
  • macOS(Apple シリコン):同じコマンド。
  • Windows(x64):PowerShell で irm https://ollaya.dev/install.ps1 | iex。
  • デスクトップアプリ(macOS/Windows/Linux、macOS ではメニューバー):ollaya.dev/download。
  • Docker: docker run -d --gpus=all -p 11435:11435 ghcr.io/ollaya-dev/ollaya:cuda(古いドライバーでは :cuda12、または CPU のみのイメージ)。

環境変数による設定:OLLAYA_HOST、OLLAYA_MODELS、OLLAYA_KEEP_ALIVE、OLLAYA_DEVICE、OLLAYA_API_KEY など。

リポジトリ構造

  • crates/ollaya — バイナリ(CLI、デーモン、ランナー)
  • crates/ollaya-server — HTTP API、スケジューラー(モデルごとに 1 つのランナープロセス)、モデル解決
  • crates/ollaya-api — API タイプとクライアント
  • crates/ollaya-registry — モデル名、マニフェスト、ブロブストア、再開可能なプル
  • crates/ollaya-decision — 質問スキーマ、シーケンスレイアウト、校正、回答
  • crates/ollaya-runner — 推論エンジン(ONNX Runtime、GGUF 用 llama.cpp)
  • crates/ollaya-lang — ルーター用のスクリプト/言語検出
  • convert/ — ビルド時 Python(ONNX エクスポート、パリティチェック、パッケージング)
  • site/ — ウェブサイトと静的モデルレジストリホスト

開発

  • cargo test --workspace と cargo build --release -p ollaya --features cuda
  • 3 つのテスト層(K1 は変更ごと、K2 はリリースごと、K3 はメジャーリリース)で、同じパリティ許容度を使用し、ランタイム出力をゴールデンフィクスチャと照合します。
  • convert/ はモデルを再構築:エクスポート、PyTorch リファレンスとのパリティチェック、ゴールデンの生成、registry/ へのパッケージング。

ライセンス

Ollaya 自体は Apache-2.0 です。各モデルは独自のライセンスを保持します(ほとんどが Apache-2.0 または MIT ですが、例外あり:nimble:9b-v3 は CC BY-NC 4.0 非商用、d1 は収益しきい値付きの LFM オープンライセンス v1.0、arbiter のベース Gemma 3 は Gemma 利用規約)。llama.cpp(GGUF モデル用に同梱)は MIT です。

重要: Ollaya は独立したプロジェクトであり、Ollama や TypeSafe とは提携しておらず、承認も受けていません。

結論

Ollaya は、AI エージェントの意思決定のための TypeSafe のホスト型 Jev サービスのローカルでオープンソースの代替品です。独自のハードウェア上でオープンな意思決定モデルを実行し、TypeSafe の SDK と API 互換性があり、テキストを生成せずに高速(ミリ秒単位の意思決定)です。ルーティング、ガードレール、トリアージ、ツール承認が必要なエージェントを構築している場合、Ollaya を使用すると、オープンモデルと校正された確率でローカルに実現できます。

関連

  • Dispatch
  • Dispatch
  • プロジェクト
  • Dispatch
  • Dispatch