tong-io/tongflow

해결하는 문제

TongFlow는 텍스트, 이미지, 오디오, 비디오, 3D 모델을 결합한 복잡한 워크플로우를 만들 수 있는 모달리티 우선 생성형 AI 플랫폼입니다. 한 모델의 출력을 다른 모델의 입력으로 사용할 수 있는 단일 캔버스를 제공하여 AI 도구의 파편화 문제를 해결하고, 토킹 헤드 아바타나 전체 뮤직 비디오와 같은 정교한 콘텐츠 제작을 가능하게 합니다.

작동 방식

이 플랫폼은 다양한 형태의 정보(모달리티)를 구성 요소로 취급합니다. 사용자는 재료(예: 사진), 기능(예: 비디오로 변환), 구현(특정 모델/플러그인)을 선택하여 워크플로우를 정의합니다. 시스템은 ABI(애플리케이션 바이너리 인터페이스)를 사용하여 기능이 실행 중인 특정 모델과 독립적이도록 보장하므로, 사용자는 워크플로우 구조를 깨지 않고 모델을 교체할 수 있습니다.

대상 사용자

멀티모달 AI 생성 파이프라인을 시각적으로 오케스트레이션하려는 크리에이터와 개발자를 위해 설계되었습니다. 클라우드 스튜디오, 데스크톱 앱을 통해 사용할 수 있으며 자체 호스팅도 가능합니다. 또한 에이전트가 워크플로우를 구축하고 실행할 수 있도록 npm 패키지와 MCP 클라이언트 지원을 제공합니다.

주요 특징

• 모달리티 우선 접근 방식: 텍스트, 이미지, 오디오, 비디오, 3D, 문서, URL을 주요 재료로 지원합니다.
• 확장 가능한 플러그인 시스템: API 제공업체(OpenAI, Gemini, DeepSeek 등) 및 GPU/CPU 런타임(Modal)을 위한 다양한 공식 플러그인을 포함합니다.
• 비주얼 캔버스: AI 생성 콘텐츠를 추가, 변환, 결합, 분할하기 위한 노드 기반 인터페이스입니다.
• 에이전트 호환: 공유 노드 레지스트리를 통해 AI 에이전트가 워크플로우를 생성하고 관리할 수 있습니다.
• 광범위한 기능 세트: 립싱크 및 포즈 감지부터 음악 리페인트 및 개방형 어휘 사운드 분리까지 모든 것을 다룹니다.