james-see/ltx-video-mac

解決する課題

このプロジェクトは、Apple Silicon搭載のMac上でローカルにAI動画を生成できるネイティブmacOSアプリケーションを提供します。LTX-2、LTX-2.5、MiniMax H3などの高性能モデルをMacに直接導入することで、クラウドベースの動画生成の必要性を排除し、音声生成やナレーションツールを単一のインターフェースに統合しています。

仕組み

このアプリはSwiftUIで構築されており、AppleのMLXフレームワークを使用してMシリーズチップ上で動画モデルを効率的に実行します。mlx-video-with-audioやh3.cなどのPythonベースのバックエンドへのブリッジとして機能し、Hugging Faceからのモデルダウンロードと生成キューの管理を担当します。また、視覚的および音響的な結果を向上させるために、シンプルなプロンプトを詳細で最適化された説明に書き換える、Gemmaによる任意のプロンプト強化機能も含まれています。

対象ユーザー

Apple Silicon Mac（M1からM4まで）を所有し、統合された音声、ナレーション、BGM付きで高品質な動画クリップをローカルに生成したいコンテンツクリエイターやAI愛好家向けです。

ハイライト

• マルチモデル対応: LTX-2、LTX-2.3、LTX-2.5、MiniMax H3に対応。
• テキストから動画へ & 画像から動画へ: テキストプロンプトからクリップを生成するか、キーフレームを使用して既存の画像をアニメーション化します。
• 統合音声: 同期された音声生成、ローカルMLX-Audioによるナレーション、音楽とナレーションのためのElevenLabsクラウド統合を内蔵。
• ローカルREST API: 外部リクエストによる生成キューイングのためのサーバーを含む。
• Macネイティブ体験: 生成キュー、履歴管理、パラメータプリセットを備えたSwiftUIインターフェース。
• プロンプト強化: LTX-2シリーズのプロンプトを最適化するための、Gemmaによる任意のリライト。