apocas/restai
RESTai is an AIaaS (AI as a Service) open-source platform. Supports many public and local LLM suported by Ollama/vLLM/etc. Precise embeddings usage, tuning, analytics etc. Built-in image/audio generation with dynamic loading generators. Live chat deployment. Built-in block based graphical language. Prompt versioning and much more...
해결하는 문제
RESTai는 사용자가 RAG 시스템, 에이전트, 추론 엔드포인트와 같은 AI 프로젝트를 생성, 관리, 배포하고 간단한 REST API를 통해 사용할 수 있는 AI-as-a-Service (AIaaS) 플랫폼입니다. 사용자가 각각의 AI 애플리케이션에 맞춰 맞춤형 인프라를 구축할 필요 없이, 구성, 분석, 배포를 위한 중앙 집중식 대시보드를 제공함으로써 이러한 과정을 간소화합니다.
작동 방식
이 플랫폼은 React 기반 대시보드를 제공하여 사용자가 특정 LLM, 시스템 프롬프트, 도구를 설정할 수 있습니다. 다양한 LLM 제공업체(OpenAI, Anthropic, Ollama, Gemini 등)를 지원하며, 다양한 AI 작업을 위한 전용 모듈을 제공합니다:
- RAG 및 지식 그래프: S3, URL, Google Drive 등 다양한 소스에서 문서를 가져와 벡터 저장소와 엔티티 추출을 사용하여 검색합니다.
- 에이전트: Model Context Protocol (MCP) 및 웹 자동화를 위한 헤드리스 Chromium 브라우저를 지원하는 제로샷 ReAct 에이전트를 구현합니다.
- 시각적 논리: 코드를 작성하지 않고도 처리 파이프라인을 구축할 수 있는 Blockly 기반 IDE를 제공합니다.
- 추론: OpenAI 호환 API를 포함한 직접적인 멀티모달 채팅 및 완성 엔드포인트를 제공합니다.
- 관리: 내장된 RBAC, 팀 다중 테넌시, 프롬프트 버전 관리, DeepEval 기반 평가 프레임워크를 포함합니다.
대상 사용자
기본적인 인프라 관리를 하지 않고도 AI 기능을 빠르게 배포하고 싶은 개발자 및 팀, 그리고 감사 로그, 2단계 인증, 브랜드 맞춤화와 같은 기업용 기능이 필요한 조직을 대상으로 합니다.
주요 특징
- 포괄적인 AI 도구 세트: RAG, 에이전트, 시각적 논리, 멀티모달 추론을 하나의 플랫폼에서 통합합니다.
- 에이전트 브라우저: 암호화된 시크릿 밸트와 도메인 허용 목록을 갖춘 헤드리스 Chromium 통합을 통해 안전한 웹 자동화를 지원합니다.
- 지식 그래프 기반 RAG: 엔티티 인식 검색 및 시각적 그래프 탐색기를 통해 특정 이름과 조직에 대한 재현율을 향상시킵니다.
- 기업용 준비: RBAC, TOTP 2단계 인증, 브랜드 맞춤화, Kubernetes 기반 배포 기능을 제공합니다.
- MCP 지원: Claude Desktop 또는 Cursor와 같은 클라이언트에서 프로젝트를 도구로 노출할 수 있도록 내장된 MCP 서버를 제공합니다.
- 분석 및 평가: 자세한 토큰 추적, 비용/지연 시간 모니터링, 프롬프트 품질을 위한 내장 평가 프레임워크를 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트