eleiton/ollama-intel-arc

解決的問題

本專案為在 Intel Arc GPU 上執行各種 AI 模型提供了一套簡化的、基於 Docker 的部署方案。透過將使用者友善的介面 (Open WebUI) 與針對大型語言模型 (Ollama)、圖像生成 (透過 ComfyUI 或 SD.Next 實現 Stable Diffusion) 和語音辨識 (OpenAI Whisper) 的專用後端打包在一起，消除了手動設定的複雜性。

工作原理

本專案使用 Docker Compose 來編排多個容器：

• Ollama：使用原生 SYCL 後端（使用 Intel oneAPI 從原始碼編譯）或 Vulkan 後端來利用 Intel GPU 加速 LLM。
• Open WebUI：作為與 Ollama 互動並觸發圖像生成的首要使用者介面。
• 圖像生成：使用基於 Intel Extension for PyTorch 的 ComfyUI 或 SD.Next 容器來執行 Stable Diffusion。
• Whisper：使用 Intel Extension for PyTorch 進行自動語音辨識 (ASR) 任務的專用容器。

適用對象

擁有 Intel Arc GPU（包括 Meteor Lake 等內建顯卡）並希望在無需複雜手動安裝的情況下，執行包含文本、圖像和語音模型的本地 AI 技術棧的使用者。

亮點

• 原生 Intel GPU 支援：為 Ollama 使用 SYCL 和 Vulkan 後端，以避免對 IPEX-LLM 的依賴。
• 多模態技術棧：將 LLM、Stable Diffusion 和 Whisper 整合在單一部署中。
• 可自定義的執行階段：可以透過 .env 檔案調整上下文長度、KV-cache 類型和 flash attention。
• 靈活的部署：同時提供高性能的 SYCL 版本和更簡單的基於 Vulkan 的設定。