eleiton/ollama-intel-arc

해결하는 문제

이 프로젝트는 Intel Arc GPU에서 다양한 AI 모델을 실행하기 위한 간소화된 Docker 기반 배포를 제공합니다. 사용자 친화적인 인터페이스(Open WebUI)와 대규모 언어 모델(Ollama), 이미지 생성(ComfyUI 또는 SD.Next를 통한 Stable Diffusion), 음성 인식(OpenAI Whisper)을 위한 전문 백엔드를 함께 번들링하여 수동 설정의 복잡성을 제거합니다.

작동 방식

이 프로젝트는 Docker Compose를 사용하여 여러 컨테이너를 오케스트레이션합니다:

• Ollama: LLM에 대한 Intel GPU 가속을 활용하기 위해 네이티브 SYCL 백엔드(Intel oneAPI를 사용하여 소스에서 컴파일됨) 또는 Vulkan 백엔드로 실행됩니다.
• Open WebUI: Ollama와 상호 작용하고 이미지 생성을 트리거하는 기본 사용자 인터페이스 역할을 합니다.
• 이미지 생성: Stable Diffusion을 실행하기 위해 Intel Extension for PyTorch를 기반으로 하는 ComfyUI 또는 SD.Next 컨테이너를 사용합니다.
• Whisper: 자동 음성 인식(ASR) 작업을 위해 Intel Extension for PyTorch를 사용하는 전용 컨테이너를 사용합니다.

대상 사용자

복잡한 수동 설치 없이 텍스트, 이미지 및 음성 모델을 포함하는 로컬 AI 스택을 실행하고자 하는 Intel Arc GPU(Meteor Lake와 같은 내장 그래픽 포함) 사용자.

주요 특징

• 네이티브 Intel GPU 지원: IPEX-LLM에 대한 의존성을 피하기 위해 Ollama에 SYCL 및 Vulkan 백엔드를 사용합니다.
• 멀티모달 스택: LLM, Stable Diffusion 및 Whisper를 단일 배포에 결합합니다.
• 사용자 정의 가능한 런타임: .env 파일을 통해 컨텍스트 길이, KV-cache 유형 및 flash attention을 조정할 수 있습니다.
• 유연한 배포: 고성능 SYCL 빌드와 더 간단한 Vulkan 기반 설정을 모두 제공합니다.