kunchenguid/autopreso

해결하는 문제

autopreso는 발표자의 목소리에 따라 실시간으로 Excalidraw 화이트보드를 그리고 재배치하는 AI 에이전트를 사용하여, 발표자에게 손을 쓰지 않고 시각적 화이트보드를 생성하고 업데이트할 수 있도록 합니다. 발표 중에 슬라이드나 캔버스에서 수동으로 클릭하거나 그리고 요소를 재배치할 필요가 없어, 완전히 손을 떼고 발표할 수 있습니다.

작동 방식

이 시스템은 로컬 웹 앱으로 작동하며, 실시간 Excalidraw 캔버스와 청취용 AI 에이전트를 통합합니다. 다음의 파이프라인을 따릅니다:

1. 음성-텍스트 변환 (STT): 브라우저 마이크에서 입력된 오디오가 로컬 Moonshine 또는 OpenAI Realtime의 전사 모델로 스트리밍됩니다.
2. 에이전트 처리: 전사된 텍스트는 OpenAI, Codex, 또는 Ollama를 통해 LLM 에이전트로 전달되어 발화를 해석합니다.
3. 실시간 업데이트: 에이전트는 도구 호출을 통해 Excalidraw 장면의 요소를 실시간으로 그리거나 라벨링하고 재배치합니다.

사용자는 초기 콘텐츠와 지침을 설정하기 위해 "스테이징" 모드에서 시작한 후, "라이브" 모드로 전환하여 발표자의 목소리에 따라 에이전트가 캔버스를 제어하도록 할 수 있습니다.

대상 사용자

수동 슬라이드 데크나 클릭기 없이도 역동적이고 시각 중심의 발표를 원하는 발표자, 교육자, 강연자에게 적합합니다.

주요 특징

• 손을 떼고 작동: 목소리가 에이전트를 제어하여 화이트보드를 편집합니다.
• 유연한 모델 지원: OpenAI, Codex, Ollama와 호환됩니다.
• 로컬 우선 옵션: Moonshine로 음성 인식, Ollama로 에이전트를 완전히 로컬에서 실행할 수 있습니다.
• 통합 캔버스: 고품질 화이트보드 렌더링을 위해 Excalidraw를 기반으로 구축되었습니다.
• 하이브리드 워크플로우: 초기 콘텐츠 설정을 위한 스테이징 모드와 실시간 업데이트를 위한 라이브 모드를 포함합니다.