apocas/restai

RESTai – AI‑as‑Service 平台

它是什麼 – 一個自行部署的 Web 服務，讓您能透過簡易的 REST API 與內建的 React 儀表板，建立、管理與公開 AI 專案（LLM 聊天、RAG、代理人、影像生成等）。它整合了執行 LLM 應用所需的一切，無需撰寫程式碼：資料擷取、向量儲存、提示詞版本管理、分析、多租戶團隊，並支援可選的 Kubernetes/Docker 部署。

核心功能

• 多專案管理 – 每個專案可自行選擇 LLM（OpenAI、Anthropic、Ollama、Gemini、Azure、LiteLLM、vLLM…）與設定。
• RAG 與知識圖譜 – 上傳文件、從 URL/S3/Confluence/SharePoint/Google Drive 同步，存入向量資料庫，亦可執行 NER 以建立實體圖譜，提升檢索品質。
• 代理人與 MCP – 零樣本 ReAct 代理人內建工具（透過 Playwright 的瀏覽器自動化、終端機、分類器等），並支援 Model Context Protocol 以公開自訂工具。
• 視覺化區塊建構器 – 類 Blockly 流程編輯器，讓您無需程式碼即可組合管線；可呼叫其他 RESTai 專案。
• 分析與成本追蹤 – 儀表板顯示 token 使用量、延遲、每個專案的花費，以及安全防護統計。
• 安全與治理 – RBAC、OAuth/LDAP、TOTP 2FA、加密祕密保管庫、每專案速率限制、輸入/輸出防護、稽核日誌。
• 直接相容 OpenAI 的端點 – /v1/chat/completions、/v1/images/generations、/v1/audio/transcriptions 開箱即用。
• 可部署性 – 透過 PyPI（restai-core）、Docker 映像（apocas/restai）或 Kubernetes 安裝；自動偵測 GPU 並安裝相應依賴。

典型使用情境

• 企業內部知識庫聊天機器人（文件同步的 RAG）。
• 嵌入網站的客服小工具。
• 自動化代理人登入供應商入口網站、抓取資料並產生報告。
• 多團隊 SaaS 服務，每個客戶都有自己的品牌 AI 控制台。
• 使用視覺化 Block IDE 快速原型 AI 流程。

快速上手

pip install restai-core          # 安裝後端 + React UI
restai init                      # 建立資料庫與管理員帳號
restai migrate                   # 套用遷移
restai serve -p 8080 -w 4        # 啟動 http://localhost:8080/admin

或執行官方 Docker 映像：

docker run -p 9000:9000 apocas/restai:latest

兩種方式皆會提供完整 UI（admin/admin）與 REST 端點。

授權條款 – Apache 2.0（依 README 中的徽章）。

---

以上資訊直接取自該儲存庫的 README，未加入任何推測的功能。