eleiton/ollama-intel-arc

解决的问题

本项目为在 Intel Arc GPU 上运行各种 AI 模型提供了一套简化的、基于 Docker 的部署方案。通过将用户友好的界面 (Open WebUI) 与针对大语言模型 (Ollama)、图像生成 (通过 ComfyUI 或 SD.Next 实现 Stable Diffusion) 和语音识别 (OpenAI Whisper) 的专用后端打包在一起，消除了手动设置的复杂性。

工作原理

本项目使用 Docker Compose 来编排多个容器：

• Ollama：使用原生 SYCL 后端（使用 Intel oneAPI 从源码编译）或 Vulkan 后端来利用 Intel GPU 加速 LLM。
• Open WebUI：作为与 Ollama 交互并触发图像生成的首要用户界面。
• 图像生成：使用基于 Intel Extension for PyTorch 的 ComfyUI 或 SD.Next 容器来运行 Stable Diffusion。
• Whisper：使用 Intel Extension for PyTorch 进行自动语音识别 (ASR) 任务的专用容器。

适用对象

拥有 Intel Arc GPU（包括 Meteor Lake 等集成显卡）并希望在无需复杂手动安装的情况下运行包含文本、图像和语音模型的本地 AI 技术栈的用户。

亮点

• 原生 Intel GPU 支持：为 Ollama 使用 SYCL 和 Vulkan 后端，以避免对 IPEX-LLM 的依赖。
• 多模态技术栈：将 LLM、Stable Diffusion 和 Whisper 整合在单个部署中。
• 可定制的运行时：可以通过 .env 文件调整上下文长度、KV-cache 类型和 flash attention。
• 灵活的部署：同时提供高性能的 SYCL 构建版本和更简单的基于 Vulkan 的设置。