ollaya-dev/ollaya
Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.
Ollaya란 무엇인가?
Ollaya는 자체 컴퓨터에서 '의사 결정 모델'을 실행하는 자체 호스팅 프로그램입니다. Ollama가 대규모 언어 모델(LLM)을 실행하는 방식과 동일하지만 목적이 다릅니다. 텍스트를 생성하는 대신 의사 결정 모델은 유형화된 질문("이것이 긴급한가?" 또는 "어느 팀이 처리해야 하나?")에 대해 보정된 확률(예: "0.91 확률로 환불 요청")을 밀리초 단위로 답변하며 LLM을 호출하지 않습니다.
핵심: AI 에이전트는 빠르고 안정적인 의사 결정(라우팅, 가드레일, 트리아지, 도구 승인)이 필요합니다. Ollaya는 오픈 모델을 사용하는 로컬 서비스로 이를 제공하므로 데이터가 머신을 벗어나지 않습니다.
작동 방식
상태(메시지, 이메일, 티켓 또는 모든 JSON)와 유형화된 질문(choice, score, noul)을 보냅니다. 모델은 단일 순방향 패스에서 확률을 반환합니다. 텍스트를 생성하지 않습니다.
README의 예시 — 불만 이메일에 대한 트리아지 모델 실행:
ollaya run winnow:e4b --preset triage "Third time this year you've double-charged me. Refund it today or I'm cancelling..."
출력(축약):
intent refund ███████████████░ 0.91
is_urgent yes ███████████████░ 0.92
frustration 2.89 / 3 ██████████████░░ 0.86
refund_requested yes ████████████████ 0.99
churn_risk yes ████████████████ 0.99
자체 질문도 할 수 있습니다: ollaya run kev --ask "Is a refund requested?" --ask "Which team?" --choice billing --choice sales < ticket.txt.
Jev 호환성(핵심 통합)
Ollaya는 TypeSafe의 호스팅 'Jev' 서비스와 와이어 레벨에서 동일한 HTTP API를 제공합니다(POST /v1/systemone, /v1/decisions, GET /v1/models). 즉, 공식 TypeSafe SDK와 기존 Jev 클라이언트는 변경 없이 작동합니다. Ollaya를 가리키고 오픈 모델을 선택하기만 하면 됩니다:
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local # any non-empty value
export TYPESAFE_DEFAULT_MODEL=winnow:e4b # instead of "jev-latest"
따라서 Ollaya는 본질적으로 TypeSafe Jev의 드롭인 자체 호스팅 대체품이며 TypeSafe의 폐쇄형 모델 대신 오픈 모델을 사용합니다.
비교(README의 표에서)
| Ollaya | TypeSafe Jev | Ollama | |
|---|---|---|---|
| 실행 환경 | 자체 머신 또는 서버 | TypeSafe 클라우드 | 자체 머신 또는 서버 |
| Jev API | /v1/systemone, /v1/decisions, /v1/models |
원본 | /v1/systemone |
| 모델 | Perplexity, Cloudflare, PostHog, Bespoke Labs 등의 오픈 의사 결정 모델 | Jev(폐쇄형) | 자체 9개 의사 결정 모델의 GGUF 빌드 |
| 확률 | 각 작성자의 보정 | TypeSafe의 | 원시 softmax |
| 데이터가 머신을 벗어남 | 아니요 | 예 | 아니요 |
| 라이선스 | Apache-2.0 | 독점, 호스팅 | MIT |
주요 기능
- 단일 바이너리.
ollaya serve는 데몬을 실행합니다.ollaya run,pull,list,ps,show,rm,cp,stop,create는 Ollama의 CLI와 유사하게 작동합니다. CLI는 필요 시 데몬을 자동 시작합니다. - TypeSafe 호환 API(위 설명 참조).
- 네이티브 API도 제공:
/api/decide는 라우팅 정보와 타이밍을 추가합니다./api/pull은 진행 상황을 스트리밍합니다. 또한/api/tags,/api/show,/api/ps. - 가중치는 작성자로부터 제공됩니다. Ollaya는 작성자의 Hugging Face 저장소에서 원본 가중치 파일을 읽는 작은 ONNX 그래프(각각 약 3MB)만 게시하며 커밋과 sha256 검증으로 고정됩니다. 작성자가 GGUF 파일을 게시하는 모델의 경우 llama.cpp에서 직접 실행합니다. Ollaya는 가중치를 다시 호스팅하지 않습니다.
- 에이전트용:
ollaya mcp는 Claude Code, Claude Desktop, Cursor 등에 모델을 제공합니다. 에이전트에게 언제/어떻게 사용할지 가르치는ollaya-decisions스킬도 있습니다. - 라우터:
laya는 각 요청의 스크립트와 언어를 감지한 다음laya:en또는laya:multilingual을 선택합니다. - 모델 파일: 자체 모델에 질문 세트를 구울 수 있습니다(모델용 Dockerfile과 유사):
그런 다음FROM laya QUESTIONS ./triage.json PARAMETER precision fp32ollaya create triage -f Modelfile및ollaya run triage "…"를 실행합니다. - 하드웨어 지원: CPU의 ONNX Runtime 및 NVIDIA GPU의 CUDA. GGUF 모델은 llama.cpp에서 실행(CPU, AMD의 ROCm/HIP, Windows의 Vulkan, CUDA, Apple 실리콘의 Metal).
- 정밀도: GPU에서 fp16, CPU에서 fp32(가능한 경우). fp32 내보내기는 체크포인트당 2,383개 질문의 100%에서 PyTorch 참조와 일치합니다.
모델(샘플)
winnow:e4b— 권장: 유형화된 의사 결정에서 0.724 정확도, RTX 5090에서 5개 질문에 113ms. 4B급 모델. NVIDIA GPU가 없으면laya로 시작하세요(CPU에서 516ms).laya— 라우터(언어 감지),laya:en,laya:multilingual,laya:typed-decisions포함.decider— Mapika의 Qwen3.5 디코더(기본 2B, 4B, 0.8B, 비전 변형 포함).kev— Jared Palmer의 Kev(Qwen3.5의 LoRA + 포인터 헤드, 보정됨).pplx-decider— Perplexity의 플래시 모델, 보정됨, 최대 255개 옵션.clef— Cloudflare의 Clef-Flash, 단일 순방향 패스에서 각 질문의 옵션을 점수화.jeeves— PostHog의 Jeeves-9B, 추론 체인 없음.d1,d1-omni— Liquid AI의 모델(텍스트 및 이미지 의사 결정).qwen3guard— 내장 질문(안전/논란/안전하지 않음)이 있는 안전 가드.nli,gliclass,von,clm,jevk5,nimble,strands-decider,d3,jeb,cygnet,snap,decima,largha,arbiter— 더 많음, 각각 고유한 작성자와 특성이 있습니다.
모든 모델은 ollaya.dev/search에서 탐색 가능. 정확도, 속도, 메모리는 Ollaya Bench에 있습니다.
결과 / 벤치마크
각 모델은 Ollaya 자체 머신에서 동일한 5,880개 질문으로 측정됩니다. 2026.10 에디션(Ollaya 0.13.0–0.19.0, RTX 5090)에서:
- 점수(14개 작업의 기회 보정 정확도):
pplx-decider:flash73.7,jeb:27b69.1,d3:mini68.0,d3:flash67.8,jeb:9b66.0. 이 중 가장 빠름:jeb:9b, 5개 질문에 111ms. - 보정(최소 오류): 0.016(
pplx-decider:flash), 0.018(jeeves:9b), 0.020(jeb:9b). - 속도: RTX 5090에서 5개 질문 요청은 14ms
1.0초. Threadripper 3960X CPU에서 314ms62.0초. - 패리티: 출시 전에 각 모델의 런타임은 작성자의 코드와 질문별로 확인됩니다.
- 동일 GPU의 Ollama와 비교 시 동일한 Nimble 가중치에 대해 Ollaya의 보정 오류는 0.022, Ollama는 0.115였습니다.
설치
- Linux(x86_64/arm64, glibc ≥ 2.38):
curl -fsSL https://ollaya.dev/install.sh | sh(NVIDIA GPU가 있으면 CUDA 런타임 추가). - macOS(Apple 실리콘): 동일한 명령.
- Windows(x64): PowerShell에서
irm https://ollaya.dev/install.ps1 | iex. - 데스크톱 앱(macOS/Windows/Linux, macOS에서는 메뉴 바): ollaya.dev/download.
- Docker:
docker run -d --gpus=all -p 11435:11435 ghcr.io/ollaya-dev/ollaya:cuda(또는 구형 드라이버용:cuda12, CPU 전용 이미지).
환경 변수로 구성: OLLAYA_HOST, OLLAYA_MODELS, OLLAYA_KEEP_ALIVE, OLLAYA_DEVICE, OLLAYA_API_KEY 등.
저장소 구조
crates/ollaya— 바이너리(CLI, 데몬, 러너)crates/ollaya-server— HTTP API, 스케줄러(모델당 하나의 러너 프로세스), 모델 해석crates/ollaya-api— API 유형 및 클라이언트crates/ollaya-registry— 모델 이름, 매니페스트, 블롭 저장소, 재개 가능한 풀crates/ollaya-decision— 질문 스키마, 시퀀스 레이아웃, 보정, 답변crates/ollaya-runner— 추론 엔진(ONNX Runtime, GGUF용 llama.cpp)crates/ollaya-lang— 라우터용 스크립트/언어 감지convert/— 빌드 타임 Python(ONNX 내보내기, 패리티 검사, 패키징)site/— 웹사이트 및 정적 모델 레지스트리 호스트
개발
cargo test --workspace및cargo build --release -p ollaya --features cuda- 세 가지 테스트 계층(K1 변경마다, K2 릴리스마다, K3 주요 릴리스)이 동일한 패리티 허용 오차로 런타임 출력을 골든 픽스처와 대조합니다.
convert/는 모델을 재구축: 내보내기, PyTorch 참조와 패리티 확인, 골든 생성,registry/에 패키징.
라이선스
Ollaya 자체는 Apache-2.0입니다. 각 모델은 자체 라이선스를 유지합니다(대부분 Apache-2.0 또는 MIT, 예외: nimble:9b-v3은 CC BY-NC 4.0 비상업용, d1은 수익 임계값이 있는 LFM 오픈 라이선스 v1.0, arbiter의 기본 Gemma 3는 Gemma 이용약관). llama.cpp(GGUF 모델용으로 포함)는 MIT입니다.
중요: Ollaya는 독립 프로젝트이며 Ollama 또는 TypeSafe와 제휴하거나 보증하지 않습니다.
결론
Ollaya는 AI 에이전트 의사 결정을 위한 TypeSafe의 호스팅 Jev 서비스의 로컬 오픈소스 대안입니다. 자체 하드웨어에서 오픈 의사 결정 모델을 실행하고 TypeSafe SDK와 API 호환되며 텍스트를 생성하지 않고 빠릅니다(밀리초 단위 의사 결정). 라우팅, 가드레일, 트리아지 또는 도구 승인이 필요한 에이전트를 구축하는 경우 Ollaya를 사용하면 오픈 모델과 보정된 확률로 로컬에서 구현할 수 있습니다.
관련
- Dispatch
- Dispatch
- 프로젝트
- Dispatch
- Dispatch