thushan/olla

解决的问题

Olla 是一款专为管理自托管 LLM 基础设施而设计的高性能代理和负载均衡器。它解决了在多个推理节点之间可靠路由请求的问题，为不同后端提供统一接口，同时通过故障转移和健康监控确保高可用性。

工作原理

Olla 作为客户端与各种 LLM 后端（如 vLLM、Ollama 和 llama.cpp）之间的中介。它使用两个代理引擎——Sherpa 用于简洁性，Olla 用于高性能——根据优先级和健康状况路由请求。它具备 KV 缓存感知的亲和性路由（粘性会话），可将多轮对话固定在同一个后端，从而优化性能，并能自动在 Anthropic 和 OpenAI API 格式之间进行转换，确保跨不同提供商的兼容性。

适用人群

专为管理自托管 LLM 部署的开发者和运维人员设计，涵盖家庭实验室到企业数据中心等各种规模，需要一种可靠方式来负载均衡和统一多个推理端点的用户。

主要亮点

• 智能负载均衡：基于优先级的路由，支持自动故障转移和连接重试。
• KV 缓存亲和性：粘性会话将对话固定在特定后端，以优化性能。
• 广泛的后端支持：原生集成 vLLM、Ollama、llama.cpp、LM Studio 等。
• API 转换：自动在 Anthropic Messages API 与 OpenAI 兼容格式之间转换。
• 轻量级占用：使用 Go 编写，运行时内存占用低于 50MB。
• 集成仪表板：内置只读集群概览，用于监控健康状态和延迟。