jgm-source/jarvis-opensource

해결하는 문제

로컬에서 실행되며 음성으로 컴퓨터를 조작할 수 있는 핸즈프리 JARVIS 스타일의 어시스턴트를 제공합니다. 원본 Mark LV 프로젝트는 이미 대화, 홀로그램 아바타 표시, 앱/파일/브라우저 제어 기능을 제공합니다. 이 포크(João Gabriel 제작)는 포르투갈어 플러그인을 추가하고 개인 및 비상업적 용도에 맞게 조정되었습니다.

작동 방식

Gemini Live API를 사용하여 실시간 오디오 스트리밍을 수행하므로 대화가 자연스럽습니다. 애니메이션 아바타가 포함된 HUD와 플러그인 시스템이 있어, .py 파일을 plugins/ 폴더에 넣기만 하면 새로운 기술을 학습합니다. 이 포크 버전은 아침 브리핑, 집중 모드, 음악 제어, Trello 제어, 택배 추적 등 다양한 플러그인을 추가합니다. 또한 API 비용을 절감하고 싶을 때 사용할 수 있는 더 저렴한 대체 '두뇌'(다른 LLM 제공업체와 Edge TTS 또는 Fish Audio 사용) 옵션도 추가되었습니다. API 키와 메모리는 로컬에 유지되며 절대 업로드되지 않습니다.

대상 사용자

Windows에서 실행되는(Windows 빠른 설치 지원) 개인화 및 사용자 정의가 가능한 어시스턴트를 원하는 개발자, 애호가, 음성 어시스턴트 팬을 위한 제품입니다. 비상업적 라이선스(CC BY-NC 4.0)를 사용하는 데 거부감이 없는 분들에게 적합합니다. 포르투갈어 플러그인이 추가되어 포르투갈어 사용자에게 특히 유용합니다.

주요 특징

• Gemini Live API를 통한 저지연 실시간 음성 대화.
• 립싱크, 표정, 상태 표시가 가능한 홀로그램 아바타.
• 컴퓨터 제어: 앱 실행, 볼륨/밝기 조절, URL 열기 등.
• 플러그인 시스템: .py 파일 하나만 추가하면 새로운 기술을 학습.
• 12개 이상의 포르투갈어 플러그인(bom dia, trello_control, music_control 등) 및 저렴한 '두뇌' 옵션 추가.
• 메모리와 API 키는 로컬에 유지되며, 키는 gitignored 처리되어 GitHub에 절대 푸시되지 않음.
• 모델 사다리: Gemini 모델이 실패할 경우 다음 모델로 자동 전환.
• HUD에서 비디오 재생: 아바타가 있는 위치에서 YouTube나 로컬 비디오를 재생하며 스마트한 언어 선택 기능 제공.