superlinked/sie

解決する課題

SIE (Superlinked Inference Engine) は、AIタスクごとに個別のモデルサーバーを管理する必要性を排除します。断片化されたサーバー群の代わりに、検索やリトリーバルからドキュメント変換、エージェントループに至るまで、100種類以上の異なるオープンソースモデルをオンデマンドで提供できる、単一のセルフホスト型クラスターを提供します。

仕組み

SIEは、多種多様なモデルのための統合APIゲートウェイとして機能します。OpenAI互換のAPIを使用しているため、スムーズな移行が可能です。また、メモリを最適化するために、オンデマンドのロードとLRU (Least Recently Used) キャッシュ回避を使用してモデルを管理します。このシステムは本番環境での利用を想定して設計されており、ロードバランシングゲートウェイ、KEDAオートスケーリング（スケール・トゥ・ゼロを含む）、および主要なクラウドプロバイダー（GKE, EKS, AKS）向けのTerraformモジュールが付属しています。

対象ユーザー

複数の特化型モデル（例：embeddings、reranking、OCR、LLM生成用）を、複数の独立した推論サーバーを管理する運用負荷なしに、集中管理・セルフホストする方法を必要としているAIエージェント開発者。

ハイライト

• 統合API: /v1/embeddings、/v1/chat/completions、/v1/completions、および /v1/responses をサポートしており、容易な統合が可能です。
• 幅広いタスクサポート: 検索（embedding/reranking）、ドキュメントからMarkdownへの変換（OCR）、構造化出力（エンティティ抽出）、およびコンテンツの安全性に対応しています。
• プロダクションスタック: Grafanaダッシュボード、KEDAオートスケーリング、およびクラウド固有のTerraformデプロイメントが含まれています。
• 広範な統合: LangChain、LlamaIndex、Haystack、DSPy、CrewAIなどの人気フレームワークに加え、ChromaやQdrantなどのベクトルデータベースとも連携します。