threerocks/sweety-handdraw-video

从主题或文章制作完整手绘讲解视频：按部位描线、逐字书写、VoiceStudio 配音、五项内置制作依赖。

概要

Sweety‑handdraw‑video は、言語モデル駆動の エージェント がテキスト（トピック、記事、完全なストーリー）を手描きナレーション付きビデオに変換できるようにするオープンソースの「スキル」です。エージェントはスクリプトを作成し、ストーリーボードを計画し、視覚スタイルを決定します。ローカルの Python ツールはその後：

Pillow/SciPy で各イラストをストロークごとに描画し、
手書き字幕と画面上のテキストをレンダリングし、
描画ステップを事前生成された音声と同期させ、
FFmpeg で MP4 に組み立てます。

このプロジェクトには、21 の事前定義されたイラストスタイル、6 つの手アームプリセット、6 つの内蔵音声プロファイルが含まれています。ユーザーは独自のアセットを提供することもできます。

対象ユーザー

コンテンツクリエイター：視聴者が描画プロセスをリアルタイムで見ることができる短い教育用またはストーリーテリングビデオを作成したい人。
教師/トレーナー：講義ノートを視覚的な説明にすばやく変換する方法を探している人。
マーケターまたはインディー映画製作者：手描き解説ビデオ用の安価で完全にローカルなパイプラインが必要な人。

仕組み（高レベルフロー）

エージェントにプロンプト – 使用 $sweety-handdraw-video，把“为什么越生气，越容易做错决定”做成手绘讲解 のようなコマンドを送信します。エージェントは：
- キーポイントを抽出し、
- ナレーションスクリプトを作成し、
- ストーリーボード（シーン順序、タイミング）を作成し、
- 視覚スタイル、手アームプリセット、音声プロファイルを選択します。
音声を生成 – 次のいずれか：
- ローカル TTS モデル（Apple シリコン上の VoxCPM2‑8bit、または自己ホストの VoiceStudio サービス）を実行するか、
- 既に録音されたフルレングスのナレーションをインポートします。
各フレームを描画 – Python スクリプトが Pillow を使用して：
- 輪郭をトレースし、色を塗り、字幕をストロークごとに書き、
- 選択したプリセットに従って手アームグラフィックをアニメーション化します。
同期 – ナレーションのタイムスタンプが各描画ステップの開始/終了を駆動します。
エクスポート – FFmpeg が画像シーケンス、オーディオ、オプションの字幕を 1920×1080 @ 30 fps の MP4 に結合します。

すべての成果物（スクリプト、タイムスタンプ、生成画像、オーディオ）は保存されるため、ビデオ全体を再レンダリングせずに単一の部分（例：ウォーターマークの変更）を編集できます。

主な機能

機能	提供内容
21 の内蔵イラストスタイル	ミニマリストの白黒ラインアートから水彩風の「暖光童画」まで。スタイルは数値 ID（1‑20 + 3.1）で識別され、直接選択するか、モデルにコンテンツに基づいて選択させることができます。
6 つの手アームプリセット	絵が描かれている間に表示されるさまざまな手アーム描画（例：`navy`、`diamond-woman`、`pen-only`）。
6 つの音声プロファイル	実際に録音された「逼真男声」、「逼真女声」、「甜美学姐」などに加え、ローカル TTS エンジン（VoxCPM2 または VoiceStudio）または既存のオーディオファイルを使用する機能。
フルパイプライン自動化	必要なローカルツール（Python 3.9+、Pillow、NumPy、SciPy、FFmpeg、Bun、ExifTool）がインストールされていれば、1 つのコマンドで生テキストから最終 MP4 まで。
編集可能な出力	スクリプト、タイムスタンプ、字幕、ウォーターマーク、ペンロッドテキストは個別に保存され、ターゲットを絞った再レンダリングが可能です。
ローカルのみの処理	クラウドビデオ生成サービスは使用されません。すべての描画とオーディオ合成はユーザーのマシン上で行われます。
スキルベースのインストール	`npx skills add threerocks/sweety-handdraw-video` で追加するか、フォルダを Codex スタイルの Skills ディレクトリに手動でコピーして追加できます。

はじめに（クイックチェックリスト）

スキルをインストール – npx skills add threerocks/sweety-handdraw-video（または v1.2.3 リリースを ~/.codex/skills/ に解凍）。

Python 環境をセットアップ：

python3 -m venv .venv && source .venv/bin/activate
pip install -r skills/sweety-handdraw-video/scripts/requirements.txt
python skills/sweety-handdraw-video/scripts/validate_package.py

外部ツールを確認 – FFmpeg/ffprobe、中国語フォント、Bun + ExifTool、および TTS バックエンド（Apple シリコン上の VoxCPM2 またはローカルで実行中の VoiceStudio サービス）。
テストプロンプトを実行 – README に示されている例のコマンドをエージェント（例：Codex）に送信します。エージェントは計画を返信し、ローカルスクリプトを呼び出してビデオを生成します。
結果を確認 – 出力フォルダには video.mp4、カバー PNG、SRT 字幕ファイル、生成されたスクリプト、タイムスタンプのログが含まれています。

制限と未解決の問題

プラットフォームサポート – 完全なエンドツーエンドフローは、Apple シリコン（M3 Max）を搭載した macOS/Linux でのみ検証されています。Windows やその他のハードウェアでは、特に VoxCPM2 TTS モデルで追加の作業が必要になる場合があります。
上流モデルのコスト – エージェントが呼び出す画像生成および TTS モデルは商用であるか、別途ライセンスが必要な場合があります。リポジトリには含まれていません。
背景音楽なし – パイプラインは意図的に純粋なナレーションを出力します。音楽を追加するには手動の後処理ステップが必要です。
バッチ処理 – ツールは複数の入力用にスクリプト化できますが、組み込みのキュー管理はありません。各ビデオは完全な描画と同期サイクルを経ます。
手書きの忠実度 – ストロークは単純な輪郭→塗りつぶしアルゴリズムに従います。正しい中国語の筆順や書道スタイルを保証するものではありません。

TL;DR

sweety-handdraw-video は、LLM 駆動の計画とローカル Python レンダリングを組み合わせて、プレーンテキストから手描きナレーション付きビデオを生成する本物のオープンソースプロジェクトです。既製の視覚スタイル、手アームプリセット、音声プロファイルが付属し、完全にユーザーのマシン上で動作し、クラウドサービスなしで迅速に編集可能な解説ビデオを求めるクリエイターを対象としています。