Avdpro/ai2apps

해결하는 문제

AI2Apps는 개인 AI 노드에서 AI 애플리케이션, 에이전트, 서비스를 배포하고 관리하기 위한 로컬 우선 플랫폼을 제공합니다. 사용자 ID, 지속적인 에이전트 실행, 안전한 도구 액세스를 위한 관리 계층을 추가하여 원시 모델 런타임과 사용 가능한 소프트웨어 간의 격차를 메우고, 데이터 프라이버시를 유지하면서 복잡한 AI 워크플로우를 로컬에서 실행할 수 있게 합니다.

작동 방식

이 플랫폼은 계층형 아키텍처로 작동합니다:

• 앱: 사용자 인터페이스와 영구 상태를 처리합니다 (예: 채팅, 코더).
• 에이전트: 서버 측 "하네스"에 의해 관리되며, 실행이 지속적이고 재시작에 대비하며 도구 호출과 사용자 승인을 처리할 수 있도록 보장합니다.
• 서비스: 브라우저 제어, 문서 파싱, 모델 액세스와 같은 기능에 대해 안정적이고 버전 관리된 ID를 제공하여 고정 URL의 필요성을 제거합니다.
• 런타임: 실제 모델 추론을 처리하는 교체 가능한 백엔드 (초기에는 Apple Silicon용 oMLX 사용).

또한 대규모 Mixture-of-Experts(MoE) 모델을 위한 특수 "Flesh 엔진"을 포함하여, 전문가 우선 SSD 스토리지와 적응형 캐싱을 통해 메모리와 I/O를 최적화합니다.

대상 사용자

• 로컬 AI 애플리케이션과 에이전트를 구축하는 개발자.
• Apple Silicon Mac에서 대규모 MoE 모델(예: DeepSeek V4)을 최적화된 로컬 추론으로 실행하려는 사용자.
• 역할 기반 액세스 제어와 패키지 검증을 갖춘 로컬 AI 노드용 안전한 다중 사용자 환경이 필요한 팀.

주요 특징

• 지속적인 에이전트 실행: 재생 가능한 이벤트로 에이전트 실행의 일시 중지, 재개, 복구를 지원합니다.
• 로컬 우선 인프라: 원격 액세스와 클라우드 모델 브리징을 허용하면서 세션 데이터를 로컬에 유지합니다.
• 안전한 패키지 시스템: 앱, 에이전트, 서비스에 대해 서명되고 콘텐츠 주소 지정된 패키지를 사용하며 내장된 롤백과 안전 모드를 제공합니다.
• MoE 최적화: 제한된 로컬 하드웨어에서 대규모 모델을 처리하기 위한 고급 라우팅 및 캐싱 전략을 구현합니다.