superlinked/sie

解決する課題

SIE (Superlinked Inference Engine) は、エージェントタスクごとに断片化されたモデルサーバー群を管理する必要性を排除します。検索、ドキュメント処理、コンテンツの安全性など、さまざまなエージェントのニーズに対応する100以上のオープンソースモデルを、統一されたAPIを通じて提供する単一のセルフホスト型推論クラスターを実現します。

仕組み

SIEは集中型の推論エンジンとして動作し、必要に応じてモデルをロードし、LRU (Least Recently Used) 排除ポリシーを使用してメモリを管理します。埋め込み (embeddings) および補完 (completions) 用のOpenAI互換APIを提供しており、容易な移行が可能です。このシステムはクラウドデプロイメント向けに設計されており、KubernetesおよびHelm構成、KEDAオートスケーリング（ゼロスケールを含む）、ロードバランシングゲートウェイが付属しています。

対象ユーザー

AIエージェントを構築する開発者向けに設計されており、データ制御を維持し、複数の専門的なモデルサーバーを管理する複雑さを軽減するために、独自のクラウド環境でモデルインフラをセルフホストしたい方に最適です。

ハイライト

• 統一されたモデルカタログ: 検索/リランキング、ドキュメントからMarkdownへの変換、構造化出力の抽出、分類、コンテンツガード、音声文字起こしなど、幅広いタスクをサポート。
• OpenAI互換性: /v1/embeddings、/v1/chat/completions、/v1/completions エンドポイントを介したドロップイン移行が可能。
• 本番環境対応のインフラ: 主要なクラウドプロバイダー (AWS, Azure, GCP, Alibaba) 向けのHelmチャート、Terraformモジュール、およびGrafanaダッシュボードが含まれています。
• 幅広い統合: LangChain, LlamaIndex, Haystack, DSPy, CrewAI などの人気フレームワークや、Chroma, Qdrant, Weaviate などのベクトルデータベースと連携して動作します。