james-see/ltx-video-mac

解决的问题

本项目提供了一个原生 macOS 应用程序，允许用户在 Apple Silicon Mac 上本地生成 AI 视频。通过将 LTX-2、LTX-2.5 和 MiniMax H3 等高性能模型直接引入 Mac，它消除了对基于云的视频生成的需求，同时将音频生成和配音工具集成到单一界面中。

工作原理

该应用使用 SwiftUI 构建，并利用 Apple 的 MLX 框架在 M 系列芯片上高效运行视频模型。它充当各种基于 Python 的后端（如 mlx-video-with-audio 和 h3.c）的桥梁，负责管理从 Hugging Face 下载模型以及处理生成队列。它还包含一个可选的由 Gemma 驱动提示词增强器，可将简单的提示词重写为详细且优化的描述，以获得更好的视觉和音频效果。

适用人群

适用于拥有 Apple Silicon Mac（M1 至 M4）并希望本地生成带有集成音频、配音和背景音乐的高质量视频片段的创作者和 AI 爱好者。

亮点

• 多模型支持：支持 LTX-2、LTX-2.3、LTX-2.5 和 MiniMax H3。
• 文生视频 & 图生视频：从文本提示词生成片段，或使用关键帧使现有图像动画化。
• 集成音频：内置同步音频生成、本地 MLX-Audio 配音以及用于音乐和旁白的 ElevenLabs 云集成。
• 本地 REST API：包含一个服务器，用于通过外部请求排队生成任务。
• Mac 原生体验：具备生成队列、历史记录管理和参数预设的 SwiftUI 界面。
• 提示词增强：可选的由 Gemma 驱动的改写功能，以优化 LTX-2 系列的提示词。