SearchSavior/OpenArc

解決する課題

OpenArcは、Intelハードウェア上でのさまざまなAIモデルのデプロイと高速化を簡素化します。LLM、視覚言語モデル（VLM）、音声認識（STT）、音声合成（TTS）など、複数のモデルタイプを単一のサーバー上で同時にホストできるため、クラウドベースのAIサービスに代わるローカルかつプライベートな選択肢を提供します。

仕組み

OpenVINOを基盤とした推論エンジンとして機能し、Intel CPU、GPU、NPU全体でハードウェアアクセラレーションを実現します。OpenArcはこれらのモデルをOpenAI互換エンドポイントを通じて公開するため、既存のツールとの統合が容易です。非同期マルチエンジンアーキテクチャを採用しており、モデルの並行処理、LLMの推論デコード（speculative decoding）、およびマルチGPUパイプライン並列処理をサポートしています。

対象ユーザー

Intelベースのデバイス上で、高性能かつプライベートなAIモデルをローカルで実行したい開発者およびユーザー。

主な特徴

• 幅広いモデルサポート: LLM、VLM、Whisper、Kokoro-TTS、Qwen-TTS、Qwen-ASR、埋め込み（embeddings）、リランカー（rerankers）を提供。
• ハードウェアの柔軟性: CPU、GPU、NPUデバイスをサポートし、ハイブリッドデバイスオフロードにも対応。
• OpenAI互換性: チャット、補完、音声文字起こし、音声合成のための標準エンドポイントを提供。
• パフォーマンスツール: 自動SQLiteデータベースと詳細なリクエストメトリクス（TTFT、スループットなど）を備えた llama-bench スタイルのベンチマーク機能。
• 高度な推論: LLMおよびVLM向けの推論デコードとストリーミングキャンセルをサポート。