xorbitsai/inference

解決する課題

Xinferenceは、大規模AIモデルのデプロイとサービングを簡素化します。言語、音声認識、マルチモーダルモデルのインフラ管理の複雑さを取り除き、最先端のオープンソースモデルを単一のコマンドでデプロイできるようにします。

仕組み

Xinferenceは、さまざまな推論エンジン（vLLM、GGML、TensorRTなど）に統一されたインターフェースを提供するモデルサービングライブラリとして機能します。異種ハードウェアの利用をサポートし、モデルをGPUとCPUの両方で実行できるようにします。また、推論タスクを複数のマシンやデバイスに分散する分散デプロイも提供します。

対象ユーザー

複雑なバックエンドインフラを管理せずに、実験や本番環境でAIモデルをサービスとして提供する必要がある研究者、開発者、データサイエンティスト。

ハイライト

• マルチモーダルサポート: LLM、画像生成、テキスト埋め込み、音声モデルを提供します。
• OpenAI互換: OpenAIと互換性のあるRESTful APIを提供し、Function Callingもサポートします。
• ハードウェアの柔軟性: GGMLを介してGPU、CPU、Metal（Apple Silicon）をインテリジェントに活用します。
• エンタープライズ対応: マルチノードクラスターデプロイをサポートし、LangChain、LlamaIndex、Difyなどのツールと統合します。
• パフォーマンス最適化: 高スループットのための自動バッチ処理と、Xllamacppによる継続的バッチ処理を含みます。