pixeltable/pixeltable

What it solves

Pixeltable 简化了多模态 AI 应用的创建，提供统一的后端。它消除了手动将 Blob 存储、向量数据库、编排器和 API 端点等分散组件粘合在一起的需求，这通常需要复杂的 ETL 脚本以及维护额外的粘合脚本。

How it works

Pixeltable 使用 Python API 来管理多模态数据（图片、视频、音频、文档）和 AI 工作流。它采用“计算列”在新数据或过期数据上增量执行，让用户能够直接在表格模式中定义 AI 处理管道（如嵌入向量或 LLM 摘要）。同时提供内置的 iterator 以“展开”媒体为多行（例如将文档切分为块或将视频拆分为帧），并集成向量搜索索引，使其与表格数据保持同步。

Who it’s for

开发多模态 AI 数据应用的开发者、从事 ML 数据清洗的工程师，以及构建 RAG 流程或需要结构化与非结构化媒体存储与检索的 AI 代理人。

Highlights

• Unified Multimodal Interface: 在单一表格中存储结构化数据和媒体（S3、GCS、Azure 等）。
• Detailed Iterators: 内置工具可切分文档、提取视频帧或分割音频。
• Declarative Orchestration: AI 模型和处理步骤以计算列声明，自动处理缓存与重试。
• Integrated Vector Search: 在单一查询中结合语义相似度搜索与元数据过滤。
• Automatic Serving: 通过 TOML 配置或 FastAPI，直接从表格模式生成 REST API 端点。
• Version Control: 内置时间旅行功能，可恢复修改或查询表格的特定快照。
• Agentic Tooling: 支持工具调用和 Model Context Protocol（MCP），用于 LLM 驱动的数据操作。