tensorlakeai/tensorlake

해결하는 문제

Tensorlake는 AI 에이전트를 위한 안전하고 고성능의 컴퓨팅 인프라를 제공합니다. 신뢰할 수 없는 LLM 생성 코드를 안전하게 실행하고, 스케일링된 에이전트 애플리케이션의 상태를 속도나 보안을 희생하지 않고 관리하는 문제를 해결합니다.

작동 방식

Tensorlake는 Firecracker MicroVM을 사용하여 에이전트의 실행 환경으로 작동하는 격리된 사전 박스를 생성합니다. 이러한 사전 박스는 Lattice라고 불리는 동적 클러스터 스케줄러에 의해 관리되며, 1초 미만의 시간에 시작할 수 있습니다. 플랫폼에는 복잡한 에이전트 워크플로우를 구축할 수 있는 서버리스 함수 런타임이 포함되어 있으며, 팬아웃 기능을 지원합니다. 또한 지속 가능한 버전 관리 파일 관리를 위한 Cloud Volumes와 메모리 및 파일 시스템을 포함한 사전 박스 상태를 스냅샷 및 클론할 수 있는 시스템을 제공하여 에이전트의 지속적 메모리를 구현합니다.

대상 사용자

도구 실행, Python 코드 실행, 또는 세션 간에 장기적인 상태를 유지해야 하는 AI 에이전트를 개발하는 개발자들을 위한 것입니다.

주요 특징

• 고성능 I/O: 파일 시스템 작업에서 SSD에 근접한 속도를 달성하며, SQLite 벤치마크에서 여러 경쟁 제품을 능가합니다.
• 즉시 확장: 프로젝트당 최대 500만 개의 사전 박스를 지원하며, 1초 미만의 시작 시간을 제공합니다.
• 상태 관리: 스냅샷, 클론, 자동 일시정지/재개를 지원하여 에이전트의 메모리와 파일 시스템 상태를 유지합니다.
• 보안 격리: 하드웨어 가상화된 MicroVM을 사용하여 신뢰할 수 없는 코드를 인프라의 나머지 부분에서 격리합니다.
• 서버리스 오케스트레이션: 분산 런타임을 제공하여 에이전트 애플리케이션을 확장 가능한 함수로 배포할 수 있습니다.