apocas/restai

RESTai is an AIaaS (AI as a Service) open-source platform. Supports many public and local LLM suported by Ollama/vLLM/etc. Precise embeddings usage, tuning, analytics etc. Built-in image/audio generation with dynamic loading generators. Live chat deployment. Built-in block based graphical language. Prompt versioning and much more...

它解决了什么问题

RESTai 是一个 AI 即服务(AIaaS)平台,允许用户创建、管理和部署 AI 项目——例如 RAG 系统、智能体和推理端点——并通过简单的 REST API 使用它们。它消除了为每个 AI 应用构建自定义基础设施的需求,提供了一个集中化的仪表板用于配置、分析和部署。

它如何工作

该平台提供一个基于 React 的仪表板,用户可以在其中使用特定的 LLM、系统提示和工具配置项目。它支持多种 LLM 提供商(OpenAI、Anthropic、Ollama、Gemini 等),并提供针对不同 AI 任务的专用模块:

  • RAG 与知识图谱:从各种来源(S3、URL、Google Drive)导入文档,并使用向量存储和实体提取进行检索。
  • 智能体:实现零样本 ReAct 智能体,支持 Model Context Protocol (MCP),并集成无头 Chromium 浏览器用于网页自动化。
  • 视觉逻辑:基于 Blockly 的 IDE,允许用户无需编写代码即可构建处理管道。
  • 推理:提供直接的多模态聊天和完成端点,包括 OpenAI 兼容 API。
  • 管理:内置 RBAC、团队多租户、提示版本控制,以及由 DeepEval 驱动的评估框架。

适合谁

专为希望快速部署 AI 能力而无需管理底层基础设施的开发者和团队设计,也适用于需要具备审计日志、双因素认证(2FA)和品牌定制等企业功能的多租户 AI 平台的组织。

主要亮点

  • 全面的 AI 工具集:在一个平台上整合了 RAG、智能体、视觉逻辑和多模态推理。
  • 智能体浏览器:集成无头 Chromium,支持加密密钥库和域名白名单,实现安全的网页自动化。
  • 知识图谱 RAG:具备实体感知的检索能力,并提供可视化图谱探索器,以提高对特定名称和组织的召回率。
  • 企业就绪:支持 RBAC、TOTP 2FA、品牌定制化以及原生 Kubernetes 部署。
  • 支持 MCP:内置 MCP 服务器,可将项目作为工具暴露给 Claude Desktop 或 Cursor 等客户端。
  • 分析与评估:详细记录 token 使用情况,监控成本与延迟,并内置提示质量评估框架。

一个真正让 AI 开发变得简单、可扩展且可管理的平台。— @restai

相关

  • 项目
  • 项目
  • 项目
  • 项目