BasedHardware/omi

AI that sees your screen, listens to your conversations and tells you what to do

📚 快速概览

Omi 是一个开源的"第二大脑"平台,能够记录你所看和所听的内容,实时转换为文本,并让AI聊天记住所有这些上下文。它支持macOS、Windows、iOS/Android手机以及专用可穿戴设备(Omi Glass)。系统分为以下几个部分:

  • 设备固件(基于nRF的可穿戴设备、ESP32‑S3眼镜)捕获音频/视频并通过BLE进行流式传输。
  • 桌面和移动应用(Swift/macOS、手机用Flutter)显示信息流并托管聊天界面。
  • 后端(Python/FastAPI)运行语音到文本转换(Deepgram)、语音活动检测、说话人分离,将数据存储在Firestore/Redis中,并将其转发给LLM进行摘要和聊天。

该仓库包含完整的技术栈——固件、应用、后端、SDK和文档——可以在本地运行,也可以连接公共云后端运行。


🛠️ 核心组件(来自README)

组件 位置 技术栈
macOS应用 desktop/macos/ Swift、SwiftUI、Python桌面后端
Windows应用 desktop/windows/ Node.js(Electron?)
移动应用 app/ Flutter(iOS和Android)
后端API backend/ Python、FastAPI、Firebase、Redis
固件 omi/ nRF、Zephyr、C
Omi Glass omiGlass/ ESP32‑S3、C
SDK sdks/ Python、Swift、React‑Native、多语言BLE协议
AI角色(网页) web/personas-open-source/ Next.js

🚀 开始使用(快速启动命令)

macOS(单命令演示)

git clone https://github.com/BasedHardware/omi.git && cd omi/desktop/macos && ./run.sh --yolo

构建macOS应用,连接到公共后端并启动——无需本地环境文件。

Windows(开发模式)

git clone https://github.com/BasedHardware/omi.git
cd omi\desktop\windows
npm install
copy .env.example .env
npm run dev

使用公共配置运行Windows桌面应用。

完整本地开发(后端、固件等)

make setup                     # 安装git钩子并同步Python环境
python3 scripts/worktree_env_doctor.py --all --fix   # 修复缺失的依赖
# 然后按照README中的步骤构建macOS应用或烧录固件

📖 文档和资源


🎯 谁适合使用?

  • 高级用户:希望拥有AI增强记忆,记录会议、讲座或日常生活。
  • 开发者:希望构建自定义AI驱动的可穿戴设备,或将BLE协议集成到自己的设备中。
  • 研究人员:对端到端流水线感兴趣:捕获→语音转文本→说话人分离→LLM摘要。

⚖️ 许可证

MIT——您可以自由使用、修改和重新分发代码和硬件设计。


以上所有信息均直接取自仓库的README;未添加外部假设。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目