BasedHardware/omi
AI that sees your screen, listens to your conversations and tells you what to do
📚 快速概览
Omi 是一个开源的"第二大脑"平台,能够记录你所看和所听的内容,实时转换为文本,并让AI聊天记住所有这些上下文。它支持macOS、Windows、iOS/Android手机以及专用可穿戴设备(Omi Glass)。系统分为以下几个部分:
- 设备固件(基于nRF的可穿戴设备、ESP32‑S3眼镜)捕获音频/视频并通过BLE进行流式传输。
- 桌面和移动应用(Swift/macOS、手机用Flutter)显示信息流并托管聊天界面。
- 后端(Python/FastAPI)运行语音到文本转换(Deepgram)、语音活动检测、说话人分离,将数据存储在Firestore/Redis中,并将其转发给LLM进行摘要和聊天。
该仓库包含完整的技术栈——固件、应用、后端、SDK和文档——可以在本地运行,也可以连接公共云后端运行。
🛠️ 核心组件(来自README)
| 组件 | 位置 | 技术栈 |
|---|---|---|
| macOS应用 | desktop/macos/ |
Swift、SwiftUI、Python桌面后端 |
| Windows应用 | desktop/windows/ |
Node.js(Electron?) |
| 移动应用 | app/ |
Flutter(iOS和Android) |
| 后端API | backend/ |
Python、FastAPI、Firebase、Redis |
| 固件 | omi/ |
nRF、Zephyr、C |
| Omi Glass | omiGlass/ |
ESP32‑S3、C |
| SDK | sdks/ |
Python、Swift、React‑Native、多语言BLE协议 |
| AI角色(网页) | web/personas-open-source/ |
Next.js |
🚀 开始使用(快速启动命令)
macOS(单命令演示)
git clone https://github.com/BasedHardware/omi.git && cd omi/desktop/macos && ./run.sh --yolo
构建macOS应用,连接到公共后端并启动——无需本地环境文件。
Windows(开发模式)
git clone https://github.com/BasedHardware/omi.git
cd omi\desktop\windows
npm install
copy .env.example .env
npm run dev
使用公共配置运行Windows桌面应用。
完整本地开发(后端、固件等)
make setup # 安装git钩子并同步Python环境
python3 scripts/worktree_env_doctor.py --all --fix # 修复缺失的依赖
# 然后按照README中的步骤构建macOS应用或烧录固件
📖 文档和资源
- 简介和快速入门: https://docs.omi.me/quickstart
- 后端深入分析: https://docs.omi.me/doc/developer/backend/backend_deepdive
- BLE协议规范: https://docs.omi.me/doc/developer/Protocol
- SDK:
sdks/python/、sdks/swift/、sdks/react-native/ - 硬件指南: 组装、购买、烧录——都在文档网站上。
🎯 谁适合使用?
- 高级用户:希望拥有AI增强记忆,记录会议、讲座或日常生活。
- 开发者:希望构建自定义AI驱动的可穿戴设备,或将BLE协议集成到自己的设备中。
- 研究人员:对端到端流水线感兴趣:捕获→语音转文本→说话人分离→LLM摘要。
⚖️ 许可证
MIT——您可以自由使用、修改和重新分发代码和硬件设计。
以上所有信息均直接取自仓库的README;未添加外部假设。
相关
- 项目
- 项目
- 项目
- 项目
- 项目