pixeltable/pixeltable

What it solves

Pixeltable 簡化了多模態 AI 應用的建立，提供統一的後端。它消除了手動將 Blob 儲存、向量資料庫、協調器與 API 端點等分散元件黏合在一起的需求，這通常需要複雜的 ETL 腳本以及維護額外的黏合腳本。

How it works

Pixeltable 使用 Python API 來管理多模態資料（圖片、影片、音訊、文件）與 AI 工作流程。它採用「計算欄位」在新資料或過期資料上增量執行，讓使用者能直接在表格結構中定義 AI 處理管線（例如嵌入向量或 LLM 摘要）。同時提供內建的 iterator 以「展開」媒體成多列（例如將文件切分成區塊或將影片切成影格），並整合向量搜尋索引，使其與表格資料保持同步。

Who it’s for

開發多模態 AI 數據應用的開發者、從事 ML 資料前處理的工程師，以及建立 RAG 流程或需要結構化與非結構化媒體儲存與檢索的 AI 代理人。

Highlights

• Unified Multimodal Interface: 在單一表格中儲存結構化資料與媒體（S3、GCS、Azure 等）。
• Detailed Iterators: 內建工具可切分文件、擷取影片影格或分割音訊。
• Declarative Orchestration: AI 模型與處理步驟以計算欄位宣告，自動處理快取與重試。
• Integrated Vector Search: 在單一查詢中結合語意相似度搜尋與中繼資料過濾。
• Automatic Serving: 透過 TOML 設定或 FastAPI，直接從表格結構產生 REST API 端點。
• Version Control: 內建時間旅行功能，可回復修改或查詢表格的特定快照。
• Agentic Tooling: 支援工具呼叫與 Model Context Protocol（MCP），用於 LLM 驅動的資料操作。