cactus-compute/cactus

Quantization, kernels, runtime and inference engine for mobiles, wearables, smart home and robots.

What it solves

Cactus 是一個專為行動裝置與穿戴式設備設計的混合式邊緣‑雲端 AI 引擎。它能在本地高效能執行文字、語音與視覺模型，同時在本地模型信心不足時，提供自動將複雜查詢交給雲端處理的機制。

How it works

系統以分層堆疊方式建構：

  • Cactus Engine：提供相容 OpenAI 的多模態 AI 任務 API，並管理混合雲端交接邏輯。
  • Cactus Graph：零拷貝計算圖，用於高效張量運算。
  • Cactus Kernels：針對行動硬體（如 Apple、Samsung、Pixel 裝置）優化的 CPU/GPU 核心（ARM NEON SIMD）。
  • Cactus Quants：自訂的基於旋轉的量化技術，支援從 4 位元到 1 位元的權重張量。
  • Cactus Transpiler：以 Python 撰寫的工具，將 PyTorch 模型轉換為 Cactus 執行時圖形格式。

Who it’s for

開發 AI 驅動的行動與穿戴式應用程式的開發者，需要低延遲、離線可用的推論，同時保有雲端備援以提升精度。

Highlights

  • Hybrid Execution：根據本地模型信心門檻，自動將困難查詢路由至雲端。
  • Multimodal Support：本地執行 LLM、VLM（視覺語言模型）以及轉錄模型（如 Whisper、Parakeet）。
  • Broad Hardware Optimization：針對各種 Android 與 iOS 裝置的行動 CPU 與 GPU 提供專屬核心。
  • Extreme Quantization：支援混合精度與統一量化，範圍從 4 位元到 1 位元。
  • Cross-Platform Bindings：提供官方綁定支援 Swift、Kotlin、Flutter、React Native、Python 與 Rust。