sitor-ai/frametell

Frametell – AI 驱动的解说视频创作工具

它是什么

• 一款桌面应用（macOS Apple‑Silicon）和 CLI 工具，可将简短想法、笔记、PDF、幻灯片或图像转化为 1080p 带旁白的视频。
• 使用 导演代理（LLM）起草故事板、编写脚本、生成配音、以选定的视觉风格绘制每一页，并最终渲染影片。
• 所有处理均在本地运行；仅通过您提供的 API 密钥调用 LLM 和 TTS 服务。

为什么重要

• 让知识创作者无需学习视频编辑软件即可制作精美的解说视频。
• 在渲染前提供审查和编辑故事板的机会，减少 API 令牌浪费。
• 支持多种 LLM 提供商（Anthropic、OpenAI、Google Gemini、DeepSeek、OpenRouter 等），以及 ElevenLabs 或 Volcengine TTS 用于配音。

主要功能（按 README 描述）

• 故事板创建 – LLM 将您的输入转化为一系列页面和故事节拍；您可以批准或编辑。
• 旁白与语音 – 自动编写脚本，并可选语音合成（ElevenLabs 用于英语，Volcengine 用于中文）。
• 页面绘制 – 以多种内置风格之一生成每一帧（warm‑story、study、chalkboard、whiteboard、tech‑dark）。
• 质量检查 – 对每一页进行 lint 检查和截图预览；渲染前进行最终视频检查。
• 本地执行 – 您的数据和 API 密钥不会离开您的机器；繁重工作（视频渲染）由捆绑的 FFmpeg 和无头 Chromium/Edge 实例完成。
• 跨模型支持 – 可插入任何兼容 OpenAI 或 Anthropic 的端点。
• 导出 – 带字幕和发布说明的 1080p MP4。

工作原理（逐步）

1. 提供输入 – 输入一句话、粘贴笔记或拖入文档（PDF、Markdown、幻灯片、图像）。
2. 故事板生成 – LLM（称为 导演）提出页面序列；您批准或修改。
3. 脚本与语音 – 代理编写旁白并调用 ElevenLabs（或 Volcengine）合成语音。
4. 页面渲染 – 每个故事板页面以选定风格绘制；系统运行 lint 检查并显示截图。
5. 影片组装 – 执行最终一致性检查，然后 FFmpeg 拼接帧、添加字幕，并输出 1080p MP4。

开始使用

• macOS（Apple Silicon） – 从最新版本下载签名 .dmg，安装，然后在设置中添加您的 LLM 和 ElevenLabs API 密钥。
• 从源码 – 克隆仓库，安装 Node 22+、pnpm 和基于 Chromium 的浏览器。运行 pnpm install && pnpm build，设置所需环境变量（ANTHROPIC_API_KEY、ELEVENLABS_API_KEY 等），并通过 node apps/cli/dist/cli.js serve 启动 Web UI，或直接通过 node apps/cli/dist/cli.js run notes.pdf --style warm-story --duration 60 --lang en 创建视频。

社区与支持

• Discord 社区用于提问、分享视频和功能想法。
• 可在 GitHub 上打开问题以报告 bug 或功能请求。

许可证

• AGPL‑3.0 – 免费使用、修改和运行，但网络分发的修改版本也必须开源。可应要求提供商业许可证。

---

Frametell 是一款真正的 AI 驱动工具，自动化了创建短解说视频的端到端流程，使其处于生成式 AI 和多模态内容创作的前沿。