SearchSavior/OpenArc

해결하는 문제

OpenArc는 Intel 하드웨어에서 다양한 AI 모델의 배포 및 가속화를 간소화합니다. LLM, 시각-언어 모델(VLM), 음성 인식(STT), 음성 합성(TTS) 등 여러 유형의 모델을 단일 서버에서 동시에 호스팅할 수 있어, 클라우드 기반 AI 서비스를 대체할 로컬 및 프라이빗 솔루션을 제공합니다.

작동 원리

OpenVINO로 구동되는 추론 엔진으로서 Intel CPU, GPU, NPU 전반에 걸쳐 하드웨어 가속을 지원합니다. OpenArc는 이러한 모델을 OpenAI 호환 엔드포인트를 통해 노출하여 기존 도구와의 통합을 용이하게 합니다. 비동기 멀티 엔진 아키텍처를 특징으로 하며, 모델 동시성, LLM을 위한 추론 디코딩(speculative decoding), 멀티 GPU 파이프라인 병렬 처리를 지원합니다.

대상 사용자

Intel 기반 장치에서 고성능 프라이빗 AI 모델을 로컬로 실행하고자 하는 개발자 및 사용자.

주요 특징

• 광범위한 모델 지원: LLM, VLM, Whisper, Kokoro-TTS, Qwen-TTS, Qwen-ASR, 임베딩(embeddings), 리랭커(rerankers) 서비스 제공.
• 하드웨어 유연성: CPU, GPU, NPU 장치를 지원하며 하이브리드 장치 오프로딩 포함.
• OpenAI 호환성: 채팅, 완성, 음성 전사 및 음성 합성을 위한 표준 엔드포인트 제공.
• 성능 도구: 자동 SQLite 데이터베이스와 상세한 요청 메트릭(예: TTFT, 처리량)을 포함한 llama-bench 스타일의 벤치마킹 기능.
• 고급 추론: LLM 및 VLM을 위한 추론 디코딩 및 스트리밍 취소 지원.