supermemoryai/llm-bridge

Interoperability between input formats of various LLMs, with observability, error handling, etc. built in.

解決する問題

複数の LLM プロバイダー(OpenAI、Anthropic、Google など)をサポートするアプリケーションの構築は、各プロバイダーが異なる API 形式、ストリーミングプロトコル、ツール呼び出し構造を使用するため困難です。LLM Bridge は、これらのリクエストと応答を正規化するユニバーサル翻訳レイヤーとして機能し、開発者はコードを一度記述するだけで、データを失うことなくさまざまな AI モデルに展開できます。

仕組み

LLM Bridge は、ユニバーサル中間形式を使用してプロバイダー固有の API をマッピングします。toUniversal を使用して、サポートされている任意のプロバイダーからの受信リクエストをこのユニバーサル形式に変換し、fromUniversal を使用して他のプロバイダーの形式にエクスポートできます。このライブラリは、マルチモーダルコンテンツ、ツール呼び出し、構造化出力、ストリーミングイベント(SSE)をこれらの異なるシステム間でマッピングする複雑さを処理し、再構築メカニズムを通じてデータ損失ゼロを保証します。

対象読者

このライブラリは、AI を活用したアプリケーション、プロキシ、またはミドルウェアを構築する開発者向けに設計されており、複数の LLM プロバイダーを同時にサポートしたり、コア統合ロジックを書き直すことなく簡単に切り替えたりする必要があります。

ハイライト

  • 完璧な翻訳:OpenAI、Anthropic、Google、OpenAI Responses API 形式間の双方向変換。
  • データ損失ゼロ:すべての元のフィールドを保持し、完璧なリクエスト再構築を実現。
  • 完全なストリーミングサポート:さまざまなプロバイダー間でサーバー送信イベント(SSE)を処理するためのパーサーとエミッターが含まれています。
  • 高度な機能:ツール呼び出し、マルチモーダル入力(画像/ドキュメント)、構造化出力、拡張思考ブロックをネイティブにサポート。
  • 型安全性:厳密な型チェックと堅牢なエラー処理のために TypeScript で構築されています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト