eleiton/ollama-intel-arc

解決する課題

このプロジェクトは、Intel Arc GPU上でさまざまなAIモデルを実行するための、合理化されたDockerベースのデプロイメントを提供します。ユーザーフレンドリーなインターフェース（Open WebUI）と、大規模言語モデル（Ollama）、画像生成（ComfyUIまたはSD.Next経由のStable Diffusion）、音声認識（OpenAI Whisper）のための専用バックエンドをパッケージ化することで、手動設定の複雑さを排除します。

仕組み

このプロジェクトはDocker Composeを使用して、複数のコンテナをオーケストレーションします：

• Ollama: LLMのIntel GPUアクセラレーションを活用するために、ネイティブのSYCLバックエンド（Intel oneAPIを使用してソースからコンパイル）またはVulkanバックエンドのいずれかで動作します。
• Open WebUI: Ollamaとの対話や画像生成のトリガーとなる主要なユーザーインターフェースとして機能します。
• 画像生成: Intel Extension for PyTorchに基づいたComfyUIまたはSD.Nextコンテナを使用してStable Diffusionを実行します。
• Whisper: 自動音声認識（ASR）タスクのためにIntel Extension for PyTorchを使用した専用コンテナを使用します。

対象ユーザー

複雑な手動インストールなしに、テキスト、画像、音声モデルを含むローカルAIスタックを実行したい、Intel Arc GPU（Meteor Lakeのような内蔵グラフィックスを含む）のユーザー。

ハイライト

• ネイティブIntel GPUサポート: IPEX-LLMへの依存を避けるため、OllamaにSYCLおよびVulkanバックエンドを使用しています。
• マルチモーダルスタック: LLM、Stable Diffusion、Whisperを単一のデプロイメントに統合しています。
• カスタマイズ可能なランタイム: .env ファイルを介して、コンテキスト長、KV-cacheタイプ、flash attentionのチューニングが可能です。
• 柔軟なデプロイ: 高性能なSYCLビルドと、よりシンプルなVulkanベースのセットアップの両方を提供します。