kunchenguid/autopreso
Realtime speech to presentation. Let the whiteboard whiteboard itself.
解决的问题
autopreso 允许演讲者仅通过语音实时创建和更新视觉白板。它消除了在演示过程中手动点击、绘制或重新排列幻灯片或画布元素的需求,实现了完全的手部解放体验。
工作原理
该系统作为一个本地 Web 应用运行,将实时 Excalidraw 画布与一个监听 AI 代理集成。其流程如下:
- 语音转文字(STT):来自浏览器麦克风的音频流式传输到转录模型(本地 Moonshine 或 OpenAI Realtime)。
- 代理处理:转录文本通过 OpenAI、Codex 或 Ollama 发送到 LLM 代理,以解释语音内容。
- 实时更新:代理使用工具调用在 Excalidraw 场景中实时绘制、标记和重新排列元素。
用户可以先在「预演」模式下设置初始内容和指令,然后切换到「实时」模式,让代理根据其语音驱动画布。
适用人群
希望在无需手动幻灯片或遥控器的情况下进行动态、视觉驱动型演示的演讲者、教育工作者和演讲者。
主要亮点
- 免手操作:语音驱动代理来编辑白板。
- 灵活的模型支持:兼容 OpenAI、Codex 和 Ollama。
- 本地优先选项:可完全本地运行,使用 Moonshine 进行语音识别,Ollama 进行代理处理。
- 集成画布:基于 Excalidraw 构建,提供高质量的白板渲染。
- 混合工作流:包含用于设置初始内容的预演模式和用于实时更新的实时模式。
相关
- 项目
- Dispatch
- 项目
- 项目
- 项目