FatihMakes/Mark-LVI

Mark LVI – 크로스 플랫폼 개인용 AI 어시스턴트

소개 – Mark LVI는 듣고, 말하고, 화면/웹캠을 보고, 운영 체제를 제어할 수 있는 데스크톱 수준의 AI 동반자입니다. Windows, macOS, Linux에서 실행되며, Google의 Gemini Live API(기본값) 또는 표준 /v1/chat/completions 엔드포인트를 구현하는 모든 자체 호스팅 또는 타사 언어 모델(Ollama, LM Studio, llama.cpp, vLLM, OpenAI, Groq, DeepSeek, Mistral, xAI, OpenRouter 등)을 사용할 수 있습니다.

주요 기능

• 실시간 음성 상호작용 – 푸시 투 토크 (Ctrl+Space), 웨이크 워드 (“Hey Jarvis”), Gemini Live 또는 로컬 Whisper + Piper 파이프라인을 통한 초저지연 스트리밍.
• 홀로그램 아바타 – 립싱크, 표정, 상태 표시 기능을 갖춘 애니메이션 헤드. 소프트웨어로 렌더링(GPU 불필요).
• 다국어 지원 – Whisper가 언어를 감지하고, Piper(또는 ElevenLabs)가 동일한 언어로 응답하며, 약 50개 언어와 176개의 음성을 지원합니다.
• 전체 시스템 제어 – 앱 실행/종료, 볼륨/밝기 조절, Wi-Fi, 전원, 클립보드 유틸리티, 파일 처리, 웹 검색, 브라우저 제어, 메시징(WhatsApp, Telegram), 하드웨어 모니터링, 날씨, 알림 등.
• 플러그인 및 스킬 시스템 – .py 파일을 plugins/ 폴더에 넣기만 하면 어시스턴트가 새 도구를 자동으로 감지합니다. 각 도구는 자체 TOOL 딕셔너리를 선언합니다.
• 메모리 및 실행 취소 – 사실에 대한 지속적이고 검색 가능한 메모리, 세션별 요약, 파일이나 설정 변경을 되돌리는 “실행 취소” 기능.
• 안전 기능 – 자체 에코 가드, 되돌릴 수 없는 작업에 대한 확인 게이트, 명확한 done/unverified/failed 상태 보고, 신뢰할 수 없는 콘텐츠 경계, 장치별 볼륨 처리.
• 대체 엔진 사다리 – 9개의 Gemini 모델이 순차적으로 정렬되어 있어, 할당량 초과, 시간 초과 또는 중단 발생 시 대화를 끊지 않고 자동으로 다음 모델로 전환됩니다.
• 로컬 우선 옵션 – 전체 스택을 로컬에서 실행할 수 있어(STT용 Whisper, TTS용 Piper, 모든 로컬 LLM) 구독 비용이 들지 않습니다. UI는 활성화된 제공자만 로드합니다(비활성화 시 0 ms 오버헤드).

작동 원리

1. 엔진 선택 – UI를 통해 듣기, 생각하기, 말하기를 위한 제공자를 선택합니다. 각 부분은 “TEST” 버튼으로 연결성과 지연 시간을 테스트할 수 있습니다.
2. 대화 흐름 – 오디오가 선택한 모델로 스트리밍되며, 모델은 도구(예: open_app, read_file)를 호출할 수 있습니다. 도구 결과가 모델에 피드백되고 모델이 사용자에게 응답합니다.
3. 도구 예산 – 가장 관련성이 높은 도구만 모델에 전송되어(기본값 20개, 크기 제한) 페이로드를 작게 유지하고 지연 시간을 낮춥니다.
4. 세션 연속성 – 장치 변경, 연결 끊김, 음성 전환 후에도 대화가 유지됩니다. 컨텍스트는 슬라이딩 윈도우 알고리즘으로 압축되어 세션 길이에 제한이 없습니다.

설치 및 첫 실행

• 저장소를 복제하고 제공된 설치 스크립트를 실행합니다(또는 pip install -r requirements.txt).
• 기본 설치는 google-genai와 httpx만 가져옵니다. 선택적 구성 요소(Whisper, Piper, ElevenLabs)는 UI에서 필요에 따라 설치됩니다.
• 첫 실행 시 어시스턴트는 부팅 시 자동 시작되도록 등록됩니다(레지스트리/LaunchAgent/.desktop).
• 원격 제어가 필요한 경우 QR 코드로 휴대폰 대시보드를 페어링하세요.

중요성 Mark LVI는 음성, 시각, OS 자동화를 연결하는 완전히 독립적이고 확장 가능한 AI 에이전트를 보여줍니다. 사용자는 모든 것을 로컬에서 실행하거나 클라우드 LLM을 자유롭게 선택할 수 있습니다. 모듈식 제공자 아키텍처, 안전 우선 도구 처리, 풍부한 UI를 통해 코딩 없이도 사용자 정의가 가능한 “Jarvis 스타일” 개인 어시스턴트의 실용적인 예시를 제공합니다.

---

모든 세부 정보는 프로젝트의 README에서 직접 가져온 것이며, 외부 정보는 추가되지 않았습니다.