kunchenguid/autopreso

何を解決するか

autopreso は、スピーカーの声に基づいてリアルタイムで Excalidraw のホワイトボードを描画・再配置する AI エージェントを使用して、プレゼンテーションをハンズフリーで行うツールです。プレゼンターはスライドやキャンバス上で手動でクリック、描画、要素の配置を行う必要がなく、声だけで視覚的なホワイトボードをリアルタイムで作成・更新できます。

動作方法

このシステムは、ライブ Excalidraw キャンバスとリスニング AI エージェントを統合したローカル Web アプリとして動作します。以下のパイプラインに従います：

1. 音声認識（STT）：ブラウザのマイクから取得した音声が、ローカルの Moonshine または OpenAI Realtime のトランスクリプションモデルにストリーミングされます。
2. エージェント処理：トランスクリプトは、OpenAI、Codex、または Ollama を通じて LLM エージェントに送信され、スピーチを解釈します。
3. リアルタイム更新：エージェントはツール呼び出しを使って、Excalidraw シーン上の要素を描画・ラベル付け・再配置します。

ユーザーは「ステージング」モードで初期コンテンツと指示を設定し、その後「ライブ」モードに切り替えて、声に基づいてエージェントがキャンバスを制御するようにできます。

対象ユーザー

スライドデッキやキッカーを使わず、動的な視覚的プレゼンテーションをしたいプレゼンター、教育者、スピーカー向けです。

特徴

• ハンズフリー操作：声がエージェントを制御し、ホワイトボードを編集します。
• 柔軟なモデル対応：OpenAI、Codex、Ollama に対応しています。
• ローカル優先オプション：Moonshine で音声認識、Ollama でエージェントをローカルで完全に実行可能。
• 統合キャンバス：高品質なホワイトボードレンダリングのために Excalidraw をベースに構築されています。
• ハイブリッドワークフロー：初期コンテンツの設定用のステージングモードと、リアルタイム更新用のライブモードを備えています。