FatihMakes/Mark-LIV

Newest, latest and most advanced model that is able to control computers and even more. We're improving that model day by day, so follow up to know and see new models.

🎯 MARK LIV란 무엇인가요?

MARK LIV는 Windows, macOS, Linux에서 실행되는 크로스 플랫폼 음성 우선 개인 AI 어시스턴트입니다. 사용자와 대화하고, 목소리를 듣고, 화면이나 웹캠을 확인하며, 컴퓨터를 제어(앱 열기, 볼륨 조절, 파일 이동, 메시지 전송 등)할 수 있습니다. 가장 눈에 띄는 시각적 요소는 소프트웨어로 렌더링된 3D 얼굴로, PyQt 6의 QPainter를 사용하여 실시간으로 립싱크, 눈 깜빡임, 눈동자 움직임을 그려냅니다. 따라서 GPU나 추가 그래픽 라이브러리가 필요하지 않습니다.

이 어시스턴트는 초저지연으로 음성과 텍스트를 양방향 스트리밍하는 Google Gemini 3.1 Flash Live("Gemini Live API")로 구동됩니다. 어시스턴트의 이름, OS, 설치된 플러그인, 제한 사항 등 모든 지식은 하드코딩된 것이 아니라 시작 시 라이브 시스템에서 생성됩니다.

✨ 핵심 기능 (README 기준)

기능	설명
홀로그램 아바타	HUD 내 애니메이션 얼굴; 측정된 얼굴 기하학 구조를 기반으로 소프트웨어로만 렌더링(GPU 미사용).
실시간 립싱크	오디오 포먼트와 대본을 기반으로 초당 약 50개의 입 모양을 생성하여 정확한 음소를 형성.
언어 독립적 입 모양	라틴, 키릴, 그리스 문자 등 다양한 스크립트 지원; 철자 확인이 어려운 경우 오디오 기반 모양으로 대체.
얼굴 연기	문장에 따라 눈썹이 움직이고, 눈동자가 이동하며, 자연스럽게 깜빡이고 강조 음절에서 고개를 끄덕임.
상태 표시등으로서의 얼굴	생각할 때는 시선을 돌리고, 들을 때는 눈을 맞추며, 잠잘 때는 눈을 감고, 새 콘텐츠 확인 시 아래를 내려다봄.
푸시 투 토크 (Ctrl+Space)	Windows는 전역 단축키, 타 OS는 창 범위 내 작동; 키를 누르는 동안만 마이크 활성화.
셀프 에코 가드	마이크 입력에서 어시스턴트 자신의 목소리를 감지하고 제거하여 스스로 대답하는 현상 방지.
런타임 자기 지식	세션마다 이름, OS, 능력, 제한 사항이 포함된 프롬프트를 생성; 플러그인 추가/삭제 시 자동 업데이트.
웨이크 워드	로컬 "Hey Jarvis" 감지; 유휴 상태 시 절전 모드 전환, 절전 중에는 오디오 스트리밍 안 함.
즉각적인 확인	긴 작업 시작 시 사용자의 언어로 짧고 문맥을 파악한 응답을 즉시 제공.
무제한 세션	슬라이딩 윈도우 컨텍스트 압축으로 긴 대화에서도 이전 문맥 유지.
플러그인 시스템	`.py` 파일을 `plugins/`에 넣으면 다음 실행 시 자동 인식하여 `run()` 함수 호출 가능.
호출 가능/영구 메모리	사실은 `memory/long_term.json`에 저장; UI 메모리 패널에서 확인 및 삭제 가능.
실행 취소 (Undo)	어시스턴트가 수행한 파일 이동, 이름 변경, 생성, 쓰기, 설정 변경을 되돌림.
실제 확인	되돌릴 수 없는 작업(종료, 재시작, Wi-Fi 변경)은 사용자의 명시적 버튼 클릭 필요.
오디오 장치 선택	OS에서 정상으로 보고된 마이크/스피커만 표시; 이름으로 선택 가능.
세션 연속성	장치 변경, 음성 변경, 연결 끊김 발생 시에도 대화가 초기화되지 않음.
라이브 테마 및 HUD	색상 휠이나 16진수 코드로 HUD 전체 색상 변경; 아바타에 즉시 반영.
멀티 모드 웹 검색	`news`, `research`, `price`, `compare`, `search` – Gemini 기반, DuckDuckGo 대체 검색.
시스템 제어	앱 실행, 볼륨/밝기 조절, Wi-Fi 전환, 전원 작업 등을 음성으로 제어.
시각적 인식	필요 시 화면 캡처 및 웹캠 프레임을 Gemini로 전송하여 라벨링.
백그라운드 모니터링	주제 모니터링(예: 일일 뉴스) 및 자연어 알림.
하드웨어 모니터링	CPU, RAM, GPU, 온도에 대한 지속적인 원격 측정 및 음성 알림.
원격 대시보드	QR 코드로 스마트폰과 페어링하여 원격 제어.
클립보드 지능	텍스트 복사 → 번역, 요약, 설명, 수정 등을 제공하는 플로팅 패널.
어시스턴트 커스터마이징	UI에서 이름, 목소리, 색상 등 변경; 즉시 적용.
기타 유틸리티	항공편 검색, 게임 업데이트, 파일 처리, 코드 도우미, 브라우저 제어, 메시징(WhatsApp/Telegram), YouTube 제어, 스마트 알림, 날씨 보고 등.

📦 실행 방법 (README 기준)

저장소 복제 및 Python 종속성 설치 (PyQt6와 numpy 사용; 추가 그래픽 라이브러리 불필요). README는 추가 종속성이 전혀 없음을 강조합니다.
Gemini Live API 키 획득 (실시간 음성 스트리밍에 필수). 유효한 키 없이는 작동하지 않습니다.
메인 Python 진입점 실행 (일반적으로 python main.py). 화면 중앙에 HUD가 나타납니다.
오디오 장치 설정 (내장 선택 도구 사용).
웨이크 워드("Hey Jarvis") 사용 또는 Ctrl+Space를 눌러 대화 시작. 어시스턴트가 음성과 애니메이션으로 응답합니다.
플러그인 추가 (.py 파일을 plugins/ 폴더에 배치). 재시작 시 새로운 기능 사용 가능.
메모리 패널, 테마 설정, 명령 카테고리를 UI에서 탐색합니다.

🛠️ 기술적 세부 사항 (README 기준)

렌더링 – 두개골, 목, 턱, 리그는 시작 시 절차적으로 생성; 디스크에는 25 KB의 얼굴 메쉬 에셋만 저장. 모든 그리기 작업은 QPainter로 수행되어 하드웨어(헤드리스 VM 포함)에 관계없이 동일한 외관 보장.
립싱크 알고리즘 – 포먼트 기반 오디오 분석(20ms 슬라이스)과 대본을 결합하여 언어 독립적인 입 모양 결정.
전역 단축키 (Windows) – 초당 30회 가상 키 코드 폴링으로 구현; 추가 라이브러리 미사용. macOS/Linux는 창 범위 단축키로 대체.
셀프 에코 가드 – 장치 지연 시간을 측정하고 마이크 입력에서 어시스턴트 출력을 빼서 우발적인 자기 응답 방지.
메모리 구조 – 사실은 로컬에 저장; 매 턴마다 핵심 정보와 키 인덱스만 Gemini 프롬프트에 주입. 누락된 사실은 recall_memory 도구로 필요 시 호출.
실행 취소 시스템 – 파일 시스템 변경 및 설정 수정 추적; UI 버튼으로 롤백 가능.
GPU 불필요 – 모든 것이 소프트웨어 렌더링이므로 전용 그래픽 카드가 없는 기기에서도 실행 가능.

⚠️ 제한 사항 및 알려진 문제 (README 기준)

셀프 에코 가드는 작동하지만, 어시스턴트 발화 중 끼어드는 기능은 하드웨어 의존도가 높아 이번 릴리스에서는 의도적으로 비활성화됨.
음성 철자가 없는 언어(아랍어, 중국어, 일본어 등) 지원은 오디오 기반 모양으로 대체되어 립싱크 정밀도가 낮음.
전역 단축키는 Windows에서만 작동; macOS/Linux에서는 어시스턴트 창이 포커스된 경우에만 푸시 투 토크 작동.
메모리 인덱스 크기 – 메모리가 프롬프트 예산을 초과하면 인덱스가 잘려 저장된 사실을 "모른다"고 답할 수 있음.
GPU 가속 없음 – 의도된 설계이나, 고사양 하드웨어에서는 셰이더 기반 3D 모델보다 덜 정교해 보일 수 있음.
Gemini Live API 의존 – 응답성과 기능은 Gemini 서비스의 가용성 및 할당량에 의존함.

📚 추가 정보

YouTube 설정 영상 – https://www.youtube.com/@FatihMakes (README 링크 참조).
소스 코드 – 프롬프트 템플릿 (core/prompt.txt), 플러그인 아키텍처, 렌더링 로직 포함.
Gemini Live API 문서 – API 키 획득 및 스트리밍 제한 관련 외부 리소스.

요약: MARK LIV는 놀랍도록 표현력이 풍부한 소프트웨어 렌더링 얼굴을 상태 표시기로 사용하는 완전한 기능을 갖춘 음성 기반 AI 어시스턴트입니다. Gemini Live 모델을 기반으로 하며, 주요 데스크톱 OS에서 작동하고, 추가 그래픽 종속성 없이 간단한 Python 플러그인 시스템으로 확장 가능합니다. README는 기능, 설계 선택, 알려진 특이 사항을 상세히 설명하며, AI 어시스턴트 분야의 진정한 최첨단 기술 프로젝트입니다.