superlinked/sie

解决的问题

SIE (Superlinked Inference Engine) 消除了为不同代理任务管理分散且零碎的模型服务器的需求。它提供了一个单一的自托管推理集群，通过统一的 API 为各种代理需求（如搜索、文档处理和内容安全）提供超过 100 种开源模型。

运作方式

SIE 作为一个集中式推理引擎运作，按需加载模型并使用 LRU (Least Recently Used) 淘汰策略来管理内存。它为嵌入 (embeddings) 和补全 (completions) 提供与 OpenAI 兼容的 API，便于轻松迁移。该系统专为云端部署而设计，随附 Kubernetes 和 Helm 配置、KEDA 自动扩展（包括缩减至零）以及负载均衡网关。

目标用户

专为构建 AI 代理的开发者设计，他们希望在自己的云端中自托管模型基础设施，以保持对数据的控制并降低管理多个专用模型服务器的复杂性。

特色亮点

• 统一模型目录：支持广泛的任务，包括搜索/重排序、文档转 Markdown、结构化输出提取、分类、内容防护和语音转录。
• OpenAI 兼容性：通过 /v1/embeddings、/v1/chat/completions 和 /v1/completions 端点提供无缝迁移。
• 生产就绪的基础设施：包含 Helm charts、适用于主要云端供应商 (AWS, Azure, GCP, Alibaba) 的 Terraform 模块以及 Grafana 仪表板。
• 广泛整合：可与 LangChain, LlamaIndex, Haystack, DSPy 和 CrewAI 等热门框架，以及 Chroma, Qdrant 和 Weaviate 等向量数据库协同工作。