kunchenguid/autopreso

Realtime speech to presentation. Let the whiteboard whiteboard itself.

解決的問題

autopreso 允許講者僅透過語音即時創建與更新視覺白板。它消除了在簡報過程中手動點擊、繪製或重新排列簡報投影片或畫布元素的需求,實現完全的手部解放體驗。

工作原理

該系統作為一個本地 Web 應用運作,將即時 Excalidraw 畫布與一個聆聽 AI 代理整合。其流程如下:

  1. 語音轉文字(STT):來自瀏覽器麥克風的音訊即時串流至轉錄模型(本地 Moonshine 或 OpenAI Realtime)。
  2. 代理處理:轉錄文字透過 OpenAI、Codex 或 Ollama 發送到 LLM 代理,以解讀語音內容。
  3. 即時更新:代理使用工具呼叫在 Excalidraw 場景中即時繪製、標記與重新排列元素。

使用者可先於「預演」模式下設定初始內容與指示,再切換至「即時」模式,讓代理根據其語音驅動畫布。

適用對象

希望在無需手動簡報投影片或遙控器的情況下進行動態、視覺驅動型簡報的講者、教育工作者與演講者。

主要亮點

  • 免手操作:語音驅動代理來編輯白板。
  • 靈活的模型支援:相容 OpenAI、Codex 與 Ollama。
  • 本地優先選項:可完全在本地運行,使用 Moonshine 進行語音識別,Ollama 進行代理處理。
  • 整合畫布:基於 Excalidraw 建構,提供高品質的白板渲染。
  • 混合工作流程:包含用於設定初始內容的預演模式與用於即時更新的即時模式。

相關

  • 專案
  • Dispatch
  • 專案
  • 專案
  • 專案