jeszhou/overlay-studio

给口播视频加动效层的编辑工作台:AI 读你的字幕稿自动编排,做出来的每个元素你都能自己改,导出透明动效层直接进剪映——原片一帧不压。

What it solves

トーク動画のモーション制作における一般的な悩みは、AIに色を変えるよう指示するとレイアウトまで変わってしまうこと、修正のたびに待ち時間が発生すること、そして再生成のたびにスタイルが不一致になることです。Overlay Studioのアプローチは、モーションをあらかじめ作り込んでおくことです。調整・検証済みの20枚のモーションカードがライブラリに用意されており、AIは字幕を読み取り、どの文にどのカードを割り当て、何秒で出し入れするかを決定する役割のみを担います。その後の修正はすべて視覚的な編集画面で行われ、位置、サイズ、色、フォント、速度を個別に調整できます。他の部分は1ピクセルも変わらず、5秒で反映され、トークン消費もゼロです。

How it works

ワークフロー全体は以下の通りです。まずSRT字幕を書き出し、AI(リポジトリ内蔵のoverlay-fx-generatorスキル)に渡すと、AIがセマンティックに基づいて文とモーションカードを対応させ、タイムラインを自動調整したオーケストレーションJSONを生成します。このJSONはStudioでインポート、プレビュー、手動調整が可能で、内蔵のチェックツールでプレースホルダーテキストやタイムラインのオーバーランなどの問題を検証できます。最後にエクスポートをクリックすると、ヘッドレスChromeがフレームごとにレンダリングを行い、29.97fpsの透明MOVまたはWebMを出力します。これを剪映にドラッグ&ドロップして元の動画に重ねるだけで、元の動画の画質を一切劣化させません。

編集画面ではリアルタイムプレビュー、タイムライン、パラメータパネルが提供され、すべての調整はスライダーとドロップダウンで行われ、コードを触る必要はありません。各カードは独立したコンポーネントであり、設定ファイルで変更可能です。リポジトリには(ライセンス上の理由で)フォントファイルは含まれていませんが、15個のデフォルト効果音が用意されており、カードに自動的に音声を割り当てることができます。

Who it’s for

主に毎週更新を行うトーク系や知識系クリエイター、特に頻繁な更新を通じて素材ライブラリを蓄積し、使えば使うほど効率が上がる人を対象としています。比較対象のベースラインは「大規模言語モデルとの対話によるモーションエンジニアリング」であり、剪映のテンプレートではありません。また、モーションスタイルを自分でコントロールしたい、毎回ガチャのようなAIツールを使いたくないという方にも適しています。

Highlights

  • 20種類のモーションカード:チャプター進捗バー、バイリンガル字幕、要点ボード、デジタルリング、2列比較、名言固定、ステップタイムライン、用語カード、UI注釈、テキストイン、ネームプレート、カメラワークと端末デモなど11の用途グループをカバー
  • 視覚的な編集画面:リアルタイムプレビュー、タイムライン、パラメータパネル。ドラッグ、ズーム、色変更、カード変更はすべてスライダーとドロップダウンで操作可能
  • AIセマンティックオーケストレーション:SRTをAIに渡すだけで、動画全体のオーケストレーションJSONを自動生成し、文単位でタイムラインを整列
  • オーケストレーションチェックツール:プレースホルダーテキスト、タイムラインのオーバーラン、フラッシュ、空白セグメントなどを自動チェックし、ワンクリックで無視可能
  • 透明レイヤー書き出し:ヘッドレスChromeによるフレーム単位のレンダリングで、29.97fpsの透明MOV/WebMを出力し、剪映へ直接インポート
  • JSONファイルが動画全体を定義:diff可能、手動編集可能、再利用可能。配色変更もフィールドを1つ変えるだけ

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト