kunchenguid/autopreso
Realtime speech to presentation. Let the whiteboard whiteboard itself.
解決的問題
autopreso 允許講者僅透過語音即時創建與更新視覺白板。它消除了在簡報過程中手動點擊、繪製或重新排列簡報投影片或畫布元素的需求,實現完全的手部解放體驗。
工作原理
該系統作為一個本地 Web 應用運作,將即時 Excalidraw 畫布與一個聆聽 AI 代理整合。其流程如下:
- 語音轉文字(STT):來自瀏覽器麥克風的音訊即時串流至轉錄模型(本地 Moonshine 或 OpenAI Realtime)。
- 代理處理:轉錄文字透過 OpenAI、Codex 或 Ollama 發送到 LLM 代理,以解讀語音內容。
- 即時更新:代理使用工具呼叫在 Excalidraw 場景中即時繪製、標記與重新排列元素。
使用者可先於「預演」模式下設定初始內容與指示,再切換至「即時」模式,讓代理根據其語音驅動畫布。
適用對象
希望在無需手動簡報投影片或遙控器的情況下進行動態、視覺驅動型簡報的講者、教育工作者與演講者。
主要亮點
- 免手操作:語音驅動代理來編輯白板。
- 靈活的模型支援:相容 OpenAI、Codex 與 Ollama。
- 本地優先選項:可完全在本地運行,使用 Moonshine 進行語音識別,Ollama 進行代理處理。
- 整合畫布:基於 Excalidraw 建構,提供高品質的白板渲染。
- 混合工作流程:包含用於設定初始內容的預演模式與用於即時更新的即時模式。
相關
- 專案
- Dispatch
- 專案
- 專案
- 專案