BasedHardware/omi

AI that sees your screen, listens to your conversations and tells you what to do

📚 빠른 개요

Omi는 보고 듣는 것을 기록하고, 실시간으로 텍스트로 변환하며, AI 채팅이 모든 컨텍스트를 기억할 수 있게 하는 오픈소스 "세컨드 브레인" 플랫폼입니다. macOS, Windows, iOS/Android 휴대폰 및 전용 웨어러블 기기(Omi Glass)에서 작동합니다. 시스템은 다음과 같이 나뉩니다:

디바이스 펌웨어 (nRF 기반 웨어러블, ESP32‑S3 글래스)는 오디오/비디오를 캡처하고 BLE를 통해 스트리밍합니다.
데스크톱 및 모바일 앱 (Swift/macOS, 휴대폰용 Flutter)은 피드를 표시하고 채팅 UI를 호스팅합니다.
백엔드 (Python/FastAPI)는 음성‑텍스트 변환(Deepgram), 음성 활동 감지, 화자 분리를 실행하고 Firestore/Redis에 데이터를 저장하며 LLM에 전달하여 요약 및 채팅을 수행합니다.

이 리포지토리에는 펌웨어, 앱, 백엔드, SDK 및 문서를 포함한 전체 스택이 포함되어 있으며, 로컬 또는 공개 클라우드 백엔드에 대해 실행할 수 있습니다.

🛠️ 핵심 구성 요소 (README에서)

구성 요소	위치	기술 스택
macOS 앱	`desktop/macos/`	Swift, SwiftUI, Python 데스크톱 백엔드
Windows 앱	`desktop/windows/`	Node.js (Electron?)
모바일 앱	`app/`	Flutter (iOS 및 Android)
백엔드 API	`backend/`	Python, FastAPI, Firebase, Redis
펌웨어	`omi/`	nRF, Zephyr, C
Omi Glass	`omiGlass/`	ESP32‑S3, C
SDK	`sdks/`	Python, Swift, React‑Native, 다국어 BLE 프로토콜
AI 페르소나 (웹)	`web/personas-open-source/`	Next.js

🚀 시작하기 (빠른 시작 명령)

macOS (단일 명령 데모)

git clone https://github.com/BasedHardware/omi.git && cd omi/desktop/macos && ./run.sh --yolo

macOS 앱을 빌드하고 공개 백엔드에 연결하여 실행합니다 – 로컬 env 파일이 필요 없습니다.

Windows (개발 모드)

git clone https://github.com/BasedHardware/omi.git
cd omi\desktop\windows
npm install
copy .env.example .env
npm run dev

공개 구성을 사용하여 Windows 데스크톱 앱을 실행합니다.

전체 로컬 개발 (백엔드, 펌웨어 등)

make setup                     # git 훅 설치 및 Python 환경 동기화
python3 scripts/worktree_env_doctor.py --all --fix   # 누락된 종속성 수정
# 그런 다음 README의 단계에 따라 macOS 앱을 빌드하거나 펌웨어를 플래시합니다

📖 문서 및 리소스

소개 및 빠른 시작: https://docs.omi.me/quickstart
백엔드 심층 분석: https://docs.omi.me/doc/developer/backend/backend_deepdive
BLE 프로토콜 사양: https://docs.omi.me/doc/developer/Protocol
SDK: sdks/python/, sdks/swift/, sdks/react-native/
하드웨어 가이드: 조립, 구매, 플래시 – 모두 문서 사이트에 있습니다.

🎯 누가 이걸 사용할까?

파워 사용자: 회의, 강의 또는 일상 생활을 기록하는 AI 증강 메모리를 원하는 분.
개발자: 맞춤형 AI 기반 웨어러블을 구축하거나 BLE 프로토콜을 자체 기기에 통합하려는 분.
연구자: 캡처 → STT → 화자 분리 → LLM 요약의 엔드투엔드 파이프라인에 관심이 있는 분.

⚖️ 라이선스

MIT – 코드와 하드웨어 디자인을 자유롭게 사용, 수정, 재배포할 수 있습니다.

위의 모든 정보는 리포지토리의 README에서 직접 가져온 것이며 외부 가정은 추가되지 않았습니다.