tensorlakeai/tensorlake
Tensorlake is a serverless runtime for sandboxes and deploying background agentic applications
解決的問題
Tensorlake 提供安全且高性能的計算基礎設施,專為 AI 代理設計。它解決了安全執行不受信任的 LLM 生成程式碼,並在不犧牲速度或安全性的情況下,大規模管理代理應用程式狀態的問題。
運作方式
Tensorlake 使用 Firecracker MicroVM 建立隔離的沙箱,作為代理的執行環境。這些沙箱由稱為 Lattice 的動態叢集排程器管理,可在不到一秒內啟動。平台包含伺服器無服務函式執行環境,用於編排,讓開發者能建構具備扇出功能的複雜代理工作流程。它也提供 Cloud Volumes 用於持久化、版本化的檔案管理,以及快照與複製沙箱狀態(包含記憶體與檔案系統)的系統,以建立代理的持久化記憶體。
適用對象
專為需要安全環境來執行工具、執行 Python 程式碼,或在會話間維持長期狀態的 AI 代理開發者設計。
主要特色
- 高效率 I/O:檔案系統操作達到接近 SSD 的速度,在 SQLite 基準測試中超越多個競爭對手。
- 即時擴展:每個專案支援最多 500 萬個沙箱,啟動時間低於一秒。
- 狀態管理:支援快照、複製與自動暫停/恢復,以保留代理的記憶體與檔案系統狀態。
- 安全隔離:使用硬體虛擬化的 MicroVM,將不受信任的程式碼與基礎設施的其他部分隔離。
- 伺服器無服務編排:提供分散式執行環境,可將代理應用程式作為可擴展的函式部署。
相關
- 專案
- 專案
- 專案
- Dispatch
- 專案