jipraks/yt-short-clipper

Windows desktop app that turns long-form YouTube videos into 9:16 short-form clips — AI highlight detection, face-tracking portrait reframe, and word-by-word captions.

YT Short Clipper v2 – これは何ですか

Windows専用のデスクトップアプリで、長時間のYouTube動画を9:16の縦型短いクリップに自動変換します。動画と元の字幕をダウンロードし、LLMにトランスクリプトを読み込ませてハイライト部分を抽出。各セグメントを切り出し、縦表示（9:16）に再フレームし、単語単位の字幕を焼き付け、Replizにアップロードすることも可能です。React + TypeScript、Tauri（Rust）、Pythonサイドカー（yt‑dlp、FFmpeg、MediaPipe）で構築されており、OpenAI互換モデルまたはアプリ内ウォレットベースのAIサービスに対応しています。MITライセンス、ベータ版、Windows専用です。

コアワークフロー

YouTube URLを貼り付け、ログイン済みのYouTubeセッションからcookies.txtファイルを提供（yt‑dlpが動画と元の字幕を取得するために必須）。
yt‑dlpが動画と字幕トラックをダウンロード。
LLM（OpenAI互換エンドポイントまたはアプリ内ウォレットベースのサービス）がトランスクリプトを分析し、ハイライトセグメントを提案（デフォルト長さ：58〜120秒）。
各セグメントはカットされ、MediaPipeによる顔追跡、黒いバーの中央、またはぼかしフィルで中央に配置する3つのモードのいずれかで縦表示（9:16）に再フレームされ、元の字幕から単語単位の字幕が焼き付けられます。
オプションで、クリップをReplizのソーシャルメディアプラットフォームにアップロード・スケジュール。

主な機能

AI駆動のハイライト検出 – 任意のOpenAI互換モデルに対応。LLMは全トランスクリプトを受け取り、時間範囲を返します。
プロンプトレベルの指示 – 自由入力の「指示」で特定の時間帯を強制、トピックの優先順位、または除外を指定可能。
自動タイトル／ハック生成 – 同じLLMで動画の言語に合わせた短いタイトルとハックテキストを提案可能。
3種類の縦表示再フレームモード –
- 顔追跡（MediaPipe） – フレームごとの検出で最適なフレーム。
- 黒バー中央配置 – 高速、既存のバーを利用。
- ぼかしフィル中央配置 – 高速、空きスペースをぼかしで埋める。
単語単位の字幕 – YouTubeの字幕ファイルから直接取得。Whisperや他の音声認識モデルは不要。
オーバーレイオプション – ハックテキストオーバーレイ、ロゴ／クレジットウォーターマーク。
直接アップロード – 1クリックでReplizに送信。
2種類のAI課金モデル –
1. アプリ内ウォレット（QRコードでのチャージ、APIキー不要）。
2. ユーザー提供のAPIキー（OpenAI、Gemini、Groq、ApiSmart、Ollama、vLLMなど）。
透明なテレメトリ – READMEに外部エンドポイントと送信されるデータの表が記載されています。

技術スタック

レイヤー	技術
UI / フロントエンド	React 19, TypeScript, Vite
デスクトップシェル	Tauri v2（Rust） – WebView2ベースのウィンドウを提供し、ポータブルzipとしてアプリをバンドル
メディア処理	Pythonサイドカー（yt‑dlp, FFmpeg, MediaPipe）
AI統合	任意のOpenAI互換エンドポイントを呼び出し、`ai.ytclip.org`でアクセス可能な独自の「アプリ内AI」サービスもサポート
ビルド／パッケージング	Node /npm、Rust cargo、Python、PowerShellスクリプト（FFmpeg/Denoバイナリの取得用）

セットアップ手順（READMEから）

# 1. Node、Rust、Python（3.13+）をインストールし、Windows 10/11にPowerShellがあることを確認
npm install                     # Node依存関係
py -m pip install -r requirements.txt   # Python依存関係
powershell -ExecutionPolicy Bypass -File scripts/fetch-deps.ps1   # FFmpeg、Denoなどをダウンロード
npm run build:sidecar          # Pythonサイドカーを.exeに固定

その後、開発モードでアプリを実行できます：

npm run dev          # Vite開発サーバー（フロントエンド）
npm run tauri dev   # Tauriウィンドウを起動

本番ビルドのため：

npm run release      # src‑tauri/target/release/bundle/に2つのポータブルzipバンドルを作成

制限事項／注意点

Windows専用 – ビルドスクリプト、バイナリパッケージング、フォント処理はすべてWindows固有。macOS/Linux対応は未対応。
YouTubeのクッキーが必要 – ログイン済みブラウザからcookies.txtをエクスポートする必要があります。このファイルはパスワードとして扱われます。
AIコスト – アプリ内ウォレットまたは外部APIを使用すると利用料が発生します。ウォレットは復元不可です。
ベータ版 – READMEにリリース間での不具合や破壊的変更の警告があります。
テレメトリ – Google AnalyticsにランダムなインストールUUID、アプリバージョン、クリップ長、再フレームモードが送信されます。動画コンテンツは送信されません。
Replizアップロード – オプションで、Replizアカウント／キーが必要です。

どんな人に役立つか？

長いYouTube動画をTikTok/YouTube Shorts風の縦型クリップにリポジショニングしたいコンテンツクリエイター。
ソーシャルメディア用にキャプション付き短いクリップをAIで素早く生成したい小規模チーム。
React + Tauri + Pythonサイドカー + LLM呼び出しをデスクトップアプリで組み合わせる実例に興味がある開発者。

ライセンスと法的注意事項

プロジェクトはMITライセンスでリリースされています。READMEでは、所有するか再利用許可を得た動画のみ処理することを強調しています。YouTubeコンテンツのダウンロード／再アップロードはYouTubeの利用規約および著作権法に違反する可能性があるため注意が必要です。

まとめ

何：Windowsデスクトップアプリで、YouTube動画から9:16、キャプション付きの短いクリップを自動生成。
どうやって：yt‑dlpで動画と字幕をダウンロード、LLMでトランスクリプトを分析してハイライトを抽出、FFmpeg/MediaPipeでカット＆再フレーム、単語単位の字幕を追加、必要に応じてReplizにアップロード。
技術：React + TypeScriptフロントエンド、Tauri（Rust）シェル、Pythonサイドカー（yt‑dlp、FFmpeg、MediaPipe）、任意のOpenAI互換LLM。
状態：ベータ、Windows専用、MITライセンス。