tong-io/tongflow

Modality-First GenAI Platform

TongFlow – 오픈소스 다중 모달 GenAI 워크플로우 스튜디오

무엇인가요

  • 생성형 AI 모델을 감싸는 노드를 드래그 앤 드롭할 수 있는 시각적 "스튜디오"입니다. 각 노드는 간단한 작업을 수행합니다 – 추가 (데이터 가져오기), 변환 (모델 실행), 결합 (결과 병합). 시스템은 모든 모델을 모달리티 변환 (예: 텍스트→이미지, 오디오→텍스트)으로 간주하고, 코드를 작성하지 않고도 이를 연결할 수 있습니다.

주요 기능

카테고리 예시 노드 (공식 플러그인)
추가 텍스트, 이미지, 스케치, 오디오, 비디오, 문서, URL, 3D 모델, 카메라/사진 캡처
변환 • 텍스트 생성 / 재작성
• 이미지 생성, 편집, 확대, 자세 감지, 마스킹, 세그멘테이션, 법선 생성
• 비디오 생성, 이미지→비디오, 보간, 편집, 확대, 자막/워터마크 제거
• 오디오: 음악 생성, 음성 합성, 음성 인식, 노이즈 제거, 소스 분리, 스템 추출
결합 이미지 융합, 리핑싱크, 감정 표현 음성, 캐릭터 교체, 모션 전이, 텍스트 병합
도우미 클립 연결, mux/demux, 장면 탐지, 텍스트 청크화, 배치 그룹화
기타 이미지 → 3D, 비디오 → 모션 캡처, 문서 → 텍스트, 웹페이지 → 텍스트

실행 방법

  1. 데스크톱 앱 – ~10MB 설치 파일 (macOS DMG 또는 Windows MSI)로, 클라우드 스튜디오 app.tongflow.com를 가리키는 가벼운 클라이언트를 시작합니다. Google 또는 WeChat로 로그인하세요.
  2. 완전히 로컬 – 백엔드를 자체 호스팅 (소스 또는 Docker)하고, 자신의 컴퓨팅 환경에서 플러그인을 실행할 수 있습니다. 리포지토리는 "소스에서 실행" 및 "Docker로 실행" 가이드를 제공하며, 자체 API 키 또는 Modal 토큰을 연결하기 위한 "자체 호스팅 설정"도 제공합니다.

플러그인 생태계

  • API 플러그인 – Google Gemini, OpenAI, DeepSeek, ByteDance, xAI, Runway 등의 상용 모델 제공업체를 노드별 모델 선택기로 노출합니다.
  • 라우터 플러그인 – 하나의 노드로 여러 제3자 모델을 통합합니다 (OpenRouter, CometAPI, ToAPIs, APIMart, Replicate, fal.ai).
  • GPU/CPU 플러그인 – Modal (또는 로컬)에서 실행되며, 무거운 미디어 처리를 구현합니다: 이미지 생성 (Z-Image, ERNIE, Krea2, Flux-2), 비디오 생성 (MiniMax-H3, Bernini-R), 오디오/음악 세트 (ACE-Step, LeVo, MiniMax-Music3), 비전 도구 (SAM-3, Sapiens2, SenseNova), OCR/문서 추출 등.

왜 중요한가요

  • 낮은 장벽, 높은 한계 – 단지 3가지 유형의 노드만 배치하면 됩니다. UI는 모델별 전용 파라미터를 숨깁니다.
  • 다중 모달 – 하나의 캔버스에서 텍스트, 이미지, 비디오, 오디오, 3D, 문서를 모두 지원합니다.
  • 오픈이고 확장 가능 – 누구나 동일한 노드 인터페이스를 따르는 새로운 플러그인을 게시할 수 있습니다. 코어는 가볍게 유지되며, 생태계는 무한히 성장할 수 있습니다.

설치 및 라이선스

  • GitHub의 Releases 페이지에서 데스크톱 클라이언트를 설치하세요 (macOS universal dmg, Windows MSI). macOS 빌드는 현재 xattr -cr로 격리 플래그를 해제해야 합니다.
  • 프로젝트는 AGPL-3.0 라이선스로 배포되며, 서비스로 배포되는 수정 사항은 모두 오픈소스화되어야 합니다.

도움 받는 방법

TL;DR: TongFlow는 여러 모달리티에 걸쳐 생성형 AI 모델을 연결할 수 있는 오픈소스 시각적 워크플로우 플랫폼입니다. 가벼운 데스크톱 프론트엔드, 클라우드 호스팅 스튜디오, 그리고 수십 개의 상용 및 오픈소스 모델 API에 연결하는 플러그인 시스템을 제공하여, 코드를 작성하지 않고도 단순한 텍스트→이미지 프롬프트에서부터 완전한 음악 비디오 제작까지 모든 것을 구축할 수 있습니다.

관련

  • 프로젝트
    HBAI-Ltd/Toonflow-app

    스크립트 작성, 스토리보드 생성에서 최종 영상 생성에 이르기까지 작업 흐름을 자동화하는 AI 기반 워크벤치로, 단편 드라마 제작을 지원합니다.

  • 프로젝트
    ddcat-ai/open-ai-canvas

    Open‑AI‑Canvas (영찰)은 오픈소스이고 자체 호스팅 가능한 웹 워크벤치로, 창작자가 텍스트 기반의 개요를 바탕으로 스토리보드, 캐릭터/스타일 라이브러리, AI 생성 이미지, 동영상 및 오디오를 포함한 완전한 영화 자산을 통합된 캔버스, 비동기 작업 큐 및 로컬 AI 에이전트 시스템을 통해 생성할 수 있게 해줍니다.

  • 프로젝트
    google-gemini/genai-processors

    멀티모달 콘텐츠 처리와 스트리밍을 통합하는 경량 Python 라이브러리로, 모듈식이며 비동기적이고 조합 가능한 AI 파이프라인을 구축할 수 있습니다.

  • 프로젝트
    tigerowo/infinite-canvas

    이미지, 비디오, 오디오 생성을 노드 기반 무한 캔버스에 통합한 오픈소스 다중 모달 AI 워크벤치로, 반복적인 시각적 제작을 가능하게 합니다.

  • 프로젝트
    ashuoAI/SHUO-Canvas

    SHUO Canvas는 데스크톱 기반의 노드 기반 캔버스로, 텍스트, 이미지, 비디오, 오디오를 AI 생성(OpenAI 호환, RunningHub, ComfyUI 등)과 결합하여 스크립트, 스토리보드, 캐릭터 교체 영상, 360° 패노라마, 음성 오버레이, 3D 장면 등을 하나의 시각적 워크플로우 내에서 구축할 수 있습니다.