tong-io/tongflow

解決する課題

TongFlowは、テキスト、画像、音声、動画、3Dモデルを組み合わせた複雑なワークフローを作成できる、モダリティファーストな生成AIプラットフォームです。あるモデルの出力を別のモデルの入力として使用できる単一のキャンバスを提供することで、断片化されたAIツールの問題を解決し、トーキングヘッドアバターやフルミュージックビデオなどの高度なコンテンツの作成を可能にします。

仕組み

このプラットフォームは、さまざまな形式の情報（モダリティ）を構成要素として扱います。ユーザーは、マテリアル（例：写真）、ケイパビリティ（例：ビデオへの変換）、実装（特定のモデル/プラグイン）を選択してワークフローを定義します。システムはABI（アプリケーションバイナリインターフェース）を使用して、ケイパビリティが実行する特定のモデルから独立していることを保証し、ユーザーはワークフロー構造を壊すことなくモデルを交換できます。

対象ユーザー

マルチモーダルAI生成パイプラインを視覚的にオーケストレーションしたいクリエイターや開発者向けに設計されています。クラウドスタジオ、デスクトップアプリで使用でき、セルフホストも可能です。さらに、エージェントがワークフローを構築および実行するためのnpmパッケージとMCPクライアントサポートも提供します。

ハイライト

• モダリティファーストアプローチ：テキスト、画像、音声、動画、3D、ドキュメント、URLを主要なマテリアルとしてサポート。
• 拡張可能なプラグインシステム：APIプロバイダー（OpenAI、Gemini、DeepSeekなど）およびGPU/CPUランタイム（Modal）向けの公式プラグインを多数含む。
• ビジュアルキャンバス：AI生成コンテンツを追加、変換、結合、分割するためのノードベースのインターフェース。
• エージェント互換：共有ノードレジストリを通じて、AIエージェントがワークフローを作成および管理できます。
• 幅広いケイパビリティセット：リップシンクやポーズ検出から、音楽のリペイントやオープンボキャブラリの音源分離までをカバー。