pixeltable/pixeltable

What it solves

Pixeltable は、マルチモーダル AI アプリケーションの作成を簡素化し、統一されたバックエンドを提供します。Blob ストレージ、ベクトルデータベース、オーケストレーター、API エンドポイントといった個別コンポーネントを手動で組み合わせる必要がなくなり、通常は複雑な ETL スクリプトや別途の glue スクリプトの保守が必要でした。

How it works

Pixeltable は Python API を使用して、画像、動画、音声、ドキュメントといったマルチモーダルデータと AI ワークフローを管理します。「計算列」を用いて新規または古い行に対してインクリメンタルに実行し、ユーザーはテーブルスキーマ内で AI 処理パイプライン（埋め込みや LLM 要約など）を直接定義できます。また、メディアを行に「展開」する組み込みイテレータ（例：ドキュメントをチャンクに分割、動画をフレームに分割）を提供し、テーブルデータと同期したベクトル検索インデックスを統合しています。

Who it’s for

マルチモーダル AI データアプリを構築する開発者、ML エンジニア（データ前処理担当）、RAG パイプラインや AI エージェントで構造化・非構造化メディアの保存と取得が必要な方々。

Highlights

• Unified Multimodal Interface: 構造化データとメディア（S3、GCS、Azure など）を単一テーブルに保存。
• Detailed Iterators: ドキュメント分割、動画フレーム抽出、音声セグメンテーションなどの組み込みツール。
• Declarative Orchestration: AI モデルと処理ステップは計算列として宣言され、キャッシュやリトライを自動的に処理。
• Integrated Vector Search: メタデータフィルタリングと組み合わせた意味的類似検索を単一クエリで実行。
• Automatic Serving: TOML 設定または FastAPI を通じて、テーブルスキーマから直接 REST API エンドポイントを生成。
• Version Control: 時間旅行機能が組み込まれ、変更のロールバックや特定スナップショットのクエリが可能。
• Agentic Tooling: ツール呼び出しと Model Context Protocol（MCP）をサポートし、LLM 主導のデータ操作を実現。