NightMean/OlliteRT

解決的問題

OlliteRT 允許使用者將 Android 裝置轉變為完全本地化、私密的 LLM 伺服器。它透過利用行動裝置本身的 CPU 與 GPU 來托管模型，從而消除對雲端訂閱、API 金鑰與昂貴 GPU 硬體的需求，這些模型可透過本地網路存取。

運作方式

此應用使用 Google 的 LiteRT-LM 執行時在 Android 上執行模型。它將此執行時包裝成 OpenAI 相容的 HTTP API 伺服器，讓任何能與 OpenAI API 通訊的軟體（例如 Open WebUI 或 Home Assistant）可將請求發送到 Android 手機，而非雲端服務。

適用對象

專為希望在本地運行 LLM 以保護隱私、節省成本，或重新利用舊手機硬體作為低功耗 AI 伺服器的 Android 使用者（Android 12+，arm64-v8a）設計。

主要特色

• 廣泛相容性：支援 OpenAI 與 Anthropic 相容 API，可與大量現有 AI 客戶端相容。
• 多模態功能：支援視覺、音訊與「思考」模型（例如 Gemma 4）。
• 低功耗：相比傳統 GPU 伺服器，功耗顯著更低（5–10W）。
• 整合工具：內建基準測試、詳細活動記錄與 Prometheus 指標，可透過 Grafana 監控。
• 彈性模型管理：支援從 HuggingFace 一鍵下載或匯入自訂 .litertlm 檔案。