james-see/ltx-video-mac

解決する課題

LTX Video Generator for Macは、Apple Silicon上でLTX-2ビデオ生成モデルをローカルで実行するためのネイティブmacOSアプリケーションを提供します。AIビデオ生成の複雑なセットアッププロセスを簡素化し、テキストや画像から、同期されたオーディオ、ボイスオーバー、バックグラウンドミュージックを備えたビデオを作成するためのユーザーフレンドリーなインターフェースを提供します。

仕組み

このアプリはSwiftUIで構築されており、Mシリーズチップでのパフォーマンスを最適化するためにMLXフレームワークを使用しています。2段階のパイプラインを実装しています。まず解像度半分でビデオを生成し、その後、フル解像度にアップサンプリングおよび精細化を行います。統合されたオーディオビデオモデル（LTX-2およびLTX-2.3）や、メモリ使用量を抑えるための蒸留されたQ4バージョンを含む、複数のモデルバリアントをサポートしています。

対象者

クラウドサービスに依存せず、ローカルでAIビデオを生成したいApple Silicon（M1-M4）搭載で少なくとも32GBのRAMを持つMacユーザー、およびボイスオーバー（MLX-AudioまたはElevenLabs経由）とバックグラウンドミュージックを追加するための統合されたワークフローを求めるユーザー。

ハイライト

• ネイティブApple Siliconパフォーマンス: Mシリーズチップ向けにMLXを通じて最適化。
• 統合オーディオ: 統合モデルを使用して、ビデオと共に同期されたオーディオを自動生成。
• マルチモーダル入力: テキストからビデオ、および画像からビデオの生成の両方をサポート。
• プロンプト拡張: 短い説明を詳細で最適化されたプロンプトに変換するための、オプションのGemmaによるプロンプト拡張。
• 完全なオーディオスイート: ボイスオーバー用のローカルなMLX-AudioまたはクラウドベースのElevenLabs、およびバックグラウンドミュージック用の54のジャンルプリセット。
• キューと履歴: 複数の生成を管理するための組み込み機能と、生成後のオーディオ追加のためのビデオアーカイブ。