ChenShuo2004/cs-board

将参考声音和中文文案自动生成白板动画视频的本地 AI 工具。

解決する課題

CS Boardは、テキストスクリプトをトーク動画に変換するローカルAI動画制作ワークベンチです。音声クローン、コンテンツ分解、イラスト生成、視聴覚合成のパイプラインを自動化することで、手動でのアニメーション制作や編集の必要性を排除し、最終的なMP4ファイルを出力します。

仕組み

このシステムは、ユーザーの入力（参照音声、中国語テキスト、ビジュアルテンプレート）に基づいて動画を生成する多段階パイプラインを使用します：

  1. 音声とコンテンツ：IndexTTSと統合して音声クローンを行い、LLM（GPT-5など）を使用してテキストをシーンや絵コンテに分解します。
  2. ビジュアル：選択したビジュアルテンプレートやカスタムスタイル/キャラクター参照に基づいて、画像モデル（GPT-Image-2など）を使用してイラストを生成します。
  3. アニメーション：ナレーションのタイミングに合わせて要素が表示される、ホワイトボードスタイルの手描きアニメーションや動的なインフォグラフィックを作成します。
  4. 合成：レンダリングエンジン（Remotion）を使用して字幕、音声、ビジュアルを組み合わせ、最終的な動画をエクスポートします。

対象ユーザー

  • コンテンツクリエイター：知識共有動画、ストーリーテリングクリップ、コースプロモーションを作成する方。
  • ブランドマネージャー：カスタムキャラクターやスタイル参照を使用して、一貫性のあるIPベースの動画を作成する方。
  • ビジネスアナリスト：商業分析や見解の表明のために動的なインフォグラフィックを作成する方。

ハイライト

  • ローカルファーストのプライバシー：アセット、APIキー、タスク履歴はユーザーのローカルマシンに保存されます。
  • 12種類のビジュアルテンプレート：ミニマルなホワイトボードやビジネス落書きから、サイバーネオン、3Dクレイまで、さまざまなスタイルが含まれています。
  • 動的なインフォグラフィック：視覚要素をナレーションの実際の音声時間と同期させ、視覚的な「先行」エラーを防ぎます。
  • 音声とスタイルのライブラリ：参照音声やビジュアルスタイルを保存・再利用するための専用管理ページ。
  • オブジェクトレベルの描画リズム：オブジェクトごとにストロークをグループ化し、複雑さに応じてタイミングを調整することで、手描きアニメーションのプロセスを最適化します。
  • 統合画像ジェネレーター：設定された画像モデルを使用してPNGを生成・ダウンロードするための、ワークベンチ内のスタンドアロンツール。

関連

  • プロジェクト
    agan-j/xiaoniu

    ボイスクローン、リップシンク、自動字幕翻訳を提供するAI搭載の動画翻訳・吹き替えツール。クリエイターのショートドラマや動画のグローバル展開を支援します。

  • プロジェクト
    ganbo-gab/open-storyboard-canvas

    Open Storyboard Canvas は、Tauri、React、Rust で構築されたクロスプラットフォームデスクトップアプリ（macOS/Windows）で、AI生成画像・動画・3Dストーリーボードシーン用のノードベースキャンバスを提供します。チャットベースのエージェント（ベータ）を備え、複数のプロバイダーに生成ジョブを送信し、タスクの状態を追跡、診断情報を表示できます。プロバイダー設定、プロンプトライブラリ、ディレクタースタジオ3Dシーン、完全なプロジェクト永続化をバンドルし、AI駆動のビジュアルストーリーテリングに統合されたローカルワークフローを求めるクリエイターをターゲットとしています。

  • プロジェクト
    yizhi-chengzi/video-ai-talking

    Alibaba Bailian VideoRetalkによるリップシンク、BailianまたはVolcengineのTTS、オプションのDeepSeekによるスクリプト生成、FFmpegによる最終レンダリングを用いて、静止した顔カメラ映像を完全な会話動画に変換するローカルWebアプリ。

  • プロジェクト
    Yuuhann1999/agent-storyboard

    Agent Storyboard は、Codex 或 Claude Code エージェントが完全なビデオストーリーボード（脚本、ショットリスト、AI 生成画像、モーションクリップ、ナレーション）を生成し、単一のスプレッドシート形式のテーブルに直接書き込むことができる、ローカルファーストの Node.js Web 应用です。すべての数据和媒体都保留在您的计算机上；代理通过 MCP 调用交互，而不是浏览器。功能包括拖放镜头排序、批量生成、内置视觉风格、基于 Whisper 的语音对齐，以及导出为 Markdown/HTML/Word。

  • プロジェクト
    AkshitIreddy/AI-Powered-Video-Tutorial-Generator

    AI駆動型ビデオチュートリアルジェネレーターは、Windows専用のデスクトップアプリで、質問やトピックを完全に編集可能なビデオレッスンに変換します。研究、スクリプト作成、ストーリーボード作成、ナレーション、イラスト作成、プレゼンターのアニメーション、最終エクスポートまでを処理し、ローカルの拡散モデル（ComfyUI/SDXL）またはクラウドLLM／画像プロバイダーを使用します。オープンソーススタックはReact/Tauri UI、Rustコア、Pythonパイプラインで構成され、Python、Node、Chromium、FFmpegのランタイムをバンドルしています。