LYL1015/JarvisHub

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

해결하는 문제

JarvisHub는 전통적인 창작형 AI 도구의 한계를 해결합니다. 프롬프트에서 출력까지의 도구들은 중간 단계와 수정 이력을 숨기기 쉽고, 챗봇 에이전트는 공간적 레이아웃과 자산 의존성을 적절히 표현하기 어렵습니다. 노드 기반 워크플로우는 종종 너무 강직하여 수동적인 파이프라인에 의존하며, 에이전트가 관찰하고 수정할 수 있는 동적 프로젝트 상태를 제공하지 않습니다.

작동 방식

JarvisHub는 프로젝트의 유일한 진실 소스로 편집 가능한 캔버스를 사용합니다. 이 캔버스는 인간과 에이전트가 공유하는 작업 공간으로서 외부 기억장치와 프로토콜 제약이 있는 액션 공간 역할을 합니다. 시스템은 세 가지 계층으로 구성됩니다:

  • 캔버스 상태: 아티팩트, 레이아웃, 의존성, 사용자 피드백을 PostgreSQL 데이터베이스에 저장.
  • 프로토콜 브리지: 변형과 도구 작업을 검증하여 상태 전이가 명시적이고 검사 가능하도록 보장.
  • 에이전트 런타임: 캔버스를 관찰하고 스킬, 메모리, 도구를 사용해 작업을 계획한 후 결과를 워크스페이스에 커밋.

대상 사용자

장기적인 작업을 위한 다중 모달 창작형 에이전트를 개발하는 크리에이터 및 개발자에게 적합합니다. 예를 들어, 서사 미디어 생성, 인터랙티브 웹 개발, 프레젠테이션 슬라이드 제작 등에 활용 가능합니다.

주요 특징

  • 캔버스 기반 상태: 모든 프롬프트, 초안, 버전 계승 정보를 하나의 캔버스에서 시각화하고 편집 가능.
  • 다중 모달 오케스트레이션: 이미지, 동영상, 오디오, 코드, 브라우저, 프레젠테이션용 도구 지원.
  • 에이전트 기능: 하위 작업을 탐색하기 위한 서브에이전트와 선호도를 기억하는 메모리 시스템 포함.
  • 추적 가능성: 트레이스 뷰어를 통해 에이전트의 행동 궤적(요청, 작업, 관찰)을 검사하고 복구 가능.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트