BasedHardware/omi

AI that sees your screen, listens to your conversations and tells you what to do

📚 概要

Omi は、見聞きした内容を記録し、リアルタイムでテキストに変換し、AIチャットがその文脈をすべて記憶できる、オープンソースの「セカンドブレイン」プラットフォームです。macOS、Windows、iOS/Androidスマートフォン、および専用ウェアラブルデバイス（Omi Glass）で動作します。システムは以下に分かれています:

デバイスファームウェア (nRFベースのウェアラブル、ESP32‑S3グラス) は、オーディオ/ビデオをキャプチャし、BLE経由でストリーミングします。
デスクトップ＆モバイルアプリ (Swift/macOS、電話用Flutter) は、フィードを表示し、チャットUIをホストします。
バックエンド (Python/FastAPI) は、音声テキスト変換 (Deepgram)、音声アクティビティ検出、話者分離を実行し、Firestore/Redisにデータを保存し、LLMに転送して要約とチャットを行います。

このリポジトリには、ファームウェア、アプリ、バックエンド、SDK、ドキュメントを含むフルスタックが含まれており、ローカルまたはパブリッククラウドバックエンドに対して実行できます。

🛠️ コアコンポーネント (READMEより)

コンポーネント	場所	テクノロジースタック
macOSアプリ	`desktop/macos/`	Swift、SwiftUI、Pythonデスクトップバックエンド
Windowsアプリ	`desktop/windows/`	Node.js (Electron?)
モバイルアプリ	`app/`	Flutter (iOS & Android)
バックエンドAPI	`backend/`	Python、FastAPI、Firebase、Redis
ファームウェア	`omi/`	nRF、Zephyr、C
Omi Glass	`omiGlass/`	ESP32‑S3、C
SDK	`sdks/`	Python、Swift、React‑Native、多言語BLEプロトコル
AIペルソナ (ウェブ)	`web/personas-open-source/`	Next.js

🚀 はじめに (クイックスタートコマンド)

macOS (単一コマンドデモ)

git clone https://github.com/BasedHardware/omi.git && cd omi/desktop/macos && ./run.sh --yolo

macOSアプリをビルドし、パブリックバックエンドに接続して起動します – ローカルのenvファイルは不要です。

Windows (開発モード)

git clone https://github.com/BasedHardware/omi.git
cd omi\desktop\windows
npm install
copy .env.example .env
npm run dev

パブリック設定を使用してWindowsデスクトップアプリを実行します。

完全なローカル開発 (バックエンド、ファームウェアなど)

make setup                     # gitフックをインストールし、Python環境を同期
python3 scripts/worktree_env_doctor.py --all --fix   # 不足している依存関係を修正
# その後、READMEの手順に従ってmacOSアプリをビルドするか、ファームウェアをフラッシュします

📖 ドキュメントとリソース

イントロ＆クイックスタート: https://docs.omi.me/quickstart
バックエンド詳細: https://docs.omi.me/doc/developer/backend/backend_deepdive
BLEプロトコル仕様: https://docs.omi.me/doc/developer/Protocol
SDK: sdks/python/、sdks/swift/、sdks/react-native/
ハードウェアガイド: 組み立て、購入、フラッシュ – すべてドキュメントサイトにあります。

🎯 誰がこれを使うべきか?

パワーユーザー: 会議、講義、日常の生活を記録するAI拡張メモリを求める方。
開発者: 独自のAI搭載ウェアラブルを構築したり、BLEプロトコルを自社デバイスに統合したりしたい方。
研究者: キャプチャ→STT→話者分離→LLM要約というエンドツーエンドのパイプラインに興味がある方。

⚖️ ライセンス

MIT – コードとハードウェアデザインを自由に使用、変更、再配布できます。

上記のすべての情報はリポジトリのREADMEから直接取得したものであり、外部の仮定は追加されていません。