sie: 85以上のモデルを単一の統合APIを通じて提供する、エージェント向けのセルフホスト型推論クラスター

何を解決するか

SIE (Superlinked Inference Engine) は、異なるAIエージェントタスクのために複数の個別のモデルサーバーを管理する必要性を排除します。埋め込み、リランキング、OCR、および生成のためのサーバーを継ぎはぎにする代わりに、1つの統合APIを通じて85以上の事前設定済みモデルを提供する、単一のセルフホスト型オープンソースクラスターを提供します。

仕組み

SIEは、サーバー（Dockerまたはネイティブインストール経由）として動作し、Hugging Faceからの品質検証済みモデルのライブラリを管理します。オンデマンド読み込みとLRU (Least Recently Used) 方式の退避を使用して、リソースを使い果たすことなく複数のモデルを同時に提供します。システムは、PythonとTypeScript用の統合SDKを提供し、異なるモデルアーキテクチャにわたって encode, score, extract, generate といった関数を呼び出すことができます。

対象者

自身のクラウド (GKE, EKS) に推論スタックをセルフホストし、専門的なタスクごとに個別のモデルサーバーをデプロイおよび維持する複雑さを避けたいAIエージェント開発者。

ハイライト

• Unified API: 検索/検索、ドキュメントからMarkdownへの変換、構造化出力、およびエージェントループのための単一のインターフェース。
• Extensive Model Library: Stella, SPLADE, Qwen3, および GLiNER を含む 85以上の事前設定済みモデル。
• Production-Ready Stack: ロードバランシングゲートウェイ、KEDAオートスケーリング、Grafanaダッシュボード、および GKE/EKS 用の Terraform モジュールが含まれます。
• Broad Integration: LangChain, LlamaIndex, Haystack, DSPy, CrewAI, および Chroma, Qdrant, Weaviate といった人気のベクトルデータベースと互換性があります。
• OpenAI Compatible: 容易な移行のために /v1/embeddings エンドポイントを提供します。