james-see/ltx-video-mac

해결하는 문제

이 프로젝트는 Apple Silicon Mac에서 로컬로 AI 영상을 생성할 수 있는 네이티브 macOS 애플리케이션을 제공합니다. LTX-2, LTX-2.5, MiniMax H3와 같은 고성능 모델을 Mac에 직접 가져와 클라우드 기반 영상 생성의 필요성을 제거하며, 오디오 생성 및 내레이션 도구를 단일 인터페이스에 통합합니다.

작동 방식

이 앱은 SwiftUI로 구축되어 있으며 Apple의 MLX 프레임워크를 사용하여 M 시리즈 칩에서 영상 모델을 효율적으로 실행합니다. mlx-video-with-audio 및 h3.c와 같은 Python 기반 백엔드와의 브릿지 역할을 하며, Hugging Face에서 모델 다운로드를 관리하고 생성 큐를 처리합니다. 또한 시각적 및 오디오 결과를 개선하기 위해 간단한 프롬프트를 상세하고 최적화된 설명으로 다시 작성하는 선택적 Gemma 기반 프롬프트 강화 기능이 포함되어 있습니다.

대상 사용자

Apple Silicon Mac(M1부터 M4까지)을 보유하고 통합된 오디오, 내레이션, 배경 음악과 함께 고품질 영상 클립을 로컬로 생성하기를 원하는 콘텐츠 크리에이터와 AI 애호가들을 위한 것입니다.

주요 특징

• 멀티 모델 지원: LTX-2, LTX-2.3, LTX-2.5, MiniMax H3를 지원합니다.
• 텍스트에서 영상으로 & 이미지에서 영상으로: 텍스트 프롬프트에서 클립을 생성하거나 키프레임을 사용하여 기존 이미지를 애니메이션화합니다.
• 통합 오디오: 동기화된 오디오 생성, 로컬 MLX-Audio 내레이션, 음악 및 내레이션을 위한 ElevenLabs 클라우드 통합을 내장합니다.
• 로컬 REST API: 외부 요청을 통한 생성 큐잉을 위한 서버를 포함합니다.
• Mac 네이티브 경험: 생성 큐, 히스토리 관리, 매개변수 프리셋을 갖춘 SwiftUI 인터페이스를 제공합니다.
• 프롬프트 강화: LTX-2 시리즈를 위한 프롬프트 최적화를 위한 선택적 Gemma 기반 재작성.