superlinked/sie
Open-source inference server and production cluster for all the models your agent needs.
何を解決するか
SIE（Superlinked Inference Engine）は、AIエージェントのワークフローにおける個々のタスクごとに別々のモデルサーバーを管理する必要をなくします。埋め込み、OCR、テキスト生成のためのさまざまなサーバーを組み合わせるのではなく、100以上のオープンソースモデルをオンデマンドで提供する、単一の自己ホスト型クラスタを提供します。
動作方法
SIEは、必要に応じてHugging Faceからモデルを読み込み、メモリ管理のためにLeast Recently Used（LRU）戦略でモデルを解放する統合APIゲートウェイとして機能します。OpenAI互換APIを提供し、移行を容易にし、OCRやGPU加速生成などの専用Dockerイメージで複数のモダリティをサポートします。本番環境では、KubernetesとHelmの構成を備え、ロードバランシング、KEDAによるオートスケーリング、Grafanaによるモニタリングを実現しています。
対象ユーザー
自社クラウドでオープンソースモデルをホストしたいが、複数の異なる推論サーバーを管理する運用負荷を避けたい開発者。
特徴
- 統合モデルカタログ：検索/リトリーバル（BGE-M3、ColBERT）、ドキュメントからMarkdownへの変換（Docling、PaddleOCR）、構造化出力（GLiNER）、エージェントループ（Qwen）など、幅広いタスクをサポート。
- OpenAI互換：標準的なAPIエンドポイント（例：
/v1/chat/completions、/v1/embeddings）への即時置き換え可能。 - 本番環境対応インフラ：Helmチャート、KEDAによるオートスケーリング（スケール・トゥ・ゼロ）、主要クラウドプロバイダー（AWS、GCP、Azure、Alibaba）向けのTerraformモジュールを同梱。
- 広範な統合：LangChain、LlamaIndex、DSPyなどの人気フレームワーク、ChromaやQdrantなどのベクトルデータベースと連携可能。
関連
- Dispatch
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch