SearchSavior/OpenArc

解决的问题

OpenArc 简化了各种 AI 模型在 Intel 硬件上的部署与加速。它允许用户在单一服务器上同时托管多种类型的模型（例如 LLM、视觉语言模型 (VLM)、语音转文字和文字转语音），为云端 AI 服务提供了一个本地且私密的替代方案。

运作原理

它作为一个由 OpenVINO 驱动的推理引擎，实现了跨 Intel CPU、GPU 和 NPU 的硬件加速。OpenArc 通过与 OpenAI 兼容的端点公开这些模型，使其易于与现有工具集成。它采用异步多引擎架构，支持模型并发、LLM 的推测解码 (speculative decoding) 以及多 GPU 流水线并行处理。

目标对象

希望在基于 Intel 的设备上本地运行高性能、私密 AI 模型的开发者与用户。

特色亮点

• 广泛的模型支持：支持 LLM、VLM、Whisper、Kokoro-TTS、Qwen-TTS、Qwen-ASR、嵌入 (embeddings) 和重排序 (rerankers)。
• 硬件灵活性：支持 CPU、GPU 和 NPU 设备，包括混合设备卸载。
• OpenAI 兼容性：提供用于聊天、补全、音频转录和语音的标准端点。
• 性能工具：包含 llama-bench 风格的基准测试，具有自动 SQLite 数据库和详细的请求指标（例如 TTFT、吞吐量）。
• 高级推理：支持 LLM 和 VLM 的推测解码与流式取消。