cactus-compute/cactus

解決的問題

Cactus 是一個為行動裝置與穿戴式裝置設計的混合邊緣-雲端 AI 引擎，旨在於資源有限的硬體上執行高效率的 AI 模型。它透過提供最佳化的內核、高效的量化技術，以及在本地置信度較低時自動將複雜查詢轉送至雲端的機制，解決了在資源受限硬體上執行大型模型的挑戰。

工作原理

Cactus 採用分層架構，包含引擎（Engine）、圖（Graph）與內核（Kernels）。引擎提供文字、語音與視覺的 OpenAI 相容 API。圖負責零複製運算，內核則針對特定硬體（Apple、Samsung、Pixel）進行最佳化。它採用自訂的旋轉式量化技術（CQ），在維持準確度的同時減少模型大小與記憶體使用量。

適用對象

需要低延遲、以離線為優先的 AI 功能，並可選雲端備援的 AI 驅動行動與穿戴式應用的開發者。

主要亮點

• 混合邊緣-雲端執行：根據本地模型置信度閾值，自動將複雜查詢路由至雲端。
• 多模態支援：整合支援文字大語言模型（LLM）、視覺語言模型（VLM）與音訊轉錄（如 Whisper、Parakeet）。
• 自訂量化：旋轉與碼本量化（CQ），支援 1 位至 4 位的位元寬度。
• 廣泛的硬體最佳化：針對多種行動晶片組最佳化的 ARM NEON SIMD 內核。
• 豐富的綁定支援：提供 Swift、Kotlin、Flutter、React Native、Python 與 Rust 的原生綁定。
• 整合工具鏈：包含 CLI 工具，支援模型轉換、基準測試，以及作為 OpenAI 相容的本地伺服器執行。