tong-io/tongflow

TongFlow – オープンソースのマルチモーダルGenAIワークフロースタジオ

何であるか

• 生成AIモデルをラップするノードをドラッグアンドドロップできる視覚的な「スタジオ」。各ノードは単純な操作を実行する – 追加（データを読み込む）、変換（モデルを実行）、結合（結果をマージ）。システムはすべてのモデルをモダリティ変換（例：テキスト→画像、音声→テキスト）として扱い、コードを書かずにそれらを連結できる。

主な機能

カテゴリ	例（公式プラグイン）
追加	テキスト、画像、スケッチ、音声、動画、ドキュメント、URL、3Dモデル、カメラ/写真のキャプチャ
変換	• テキスト生成 / 再作成
• 画像生成、編集、拡大、ポーズ検出、マットイング、セグメンテーション、法線生成
• 動画生成、画像→動画、補間、編集、拡大、字幕/透かしの削除
• 音声：音楽生成、音声合成、音声認識、ノイズ低減、音源分離、ステム抽出
結合	画像融合、リップシンク、感情表現付き発話、キャラクター交換、モーション転送、テキストのマージ
ヘルパー	Clipの連結、mux/demux、ショット検出、テキストのチャンク化、バッチグループ化
その他	画像 → 3D、動画 → モーションキャプチャ、ドキュメント → テキスト、ウェブページ → テキスト

実行方法

1. デスクトップアプリ – ~10 MBのインストーラ（macOS DMGまたはWindows MSI）で、クラウドスタジオ app.tongflow.com を指す軽量クライアントを起動。GoogleまたはWeChatでサインイン。
2. 完全ローカル – バックエンドを自前ホスティング（ソースまたはDocker）し、自分のコンピューティング環境でプラグインを実行可能。リポジトリには「ソースから実行」および「Dockerで実行」のガイド、および独自のAPIキーまたはModalトークンを接続するための「セルフホストセットアップ」が用意されている。

プラグインエコシステム

• APIプラグイン – Google Gemini、OpenAI、DeepSeek、ByteDance、xAI、Runwayなどの商用モデルプロバイダーを暴露し、各ノードでモデル選択可能。
• ルーター・プラグイン – 1つのノードで多数のサードパーティモデルを統合（OpenRouter、CometAPI、ToAPIs、APIMart、Replicate、fal.ai）。
• GPU/CPUプラグイン – Modal（またはローカル）で実行され、重いメディア処理を実装：画像生成（Z-Image、ERNIE、Krea2、Flux-2）、動画生成（MiniMax-H3、Bernini-R）、音声/音楽ツール（ACE-Step、LeVo、MiniMax-Music3）、ビジョンツール（SAM-3、Sapiens2、SenseNova）、OCR/ドキュメント抽出など。

なぜ重要か

• 低障壁、高上限 – 3種類のノードを配置するだけでよい。UIがモデル固有のパラメータを隠す。
• マルチモーダル – 1つのキャンバスでテキスト、画像、動画、音声、3D、ドキュメントをサポート。
• オープンで拡張可能 – 誰でも同じノードインターフェースに従う新しいプラグインを公開可能。コアは軽量のまま、エコシステムは無限に拡張可能。

インストールとライセンス

• GitHubのReleasesページからデスクトップクライアントをインストール（macOS universal dmg、Windows MSI）。macOSビルドは現在、セキュリティ制限を解除する必要がある（xattr -cr）。
• プロジェクトはAGPL-3.0でリリースされており、サービスとしてデプロイされる変更はすべてオープンソース化しなければならない。

サポートの受け方

• Discordコミュニティ：https://discord.gg/K7V8az94Zf
• 全てのドキュメントと多言語対応のREADMEは docs/ フォルダ内にあります。

---

TL;DR: TongFlowは、多数のモダリティにわたる生成AIモデルを連結するためのオープンソースで視覚的なワークフロープラットフォームです。軽量なデスクトップフロントエンド、クラウドホスティングスタジオ、および数十の商用・オープンソースモデルAPIに接続するプラグインシステムを備えており、コードを書かずに、単純なテキスト→画像プロンプトからフルの音楽ビデオ制作まで、あらゆるものを構築可能。