NoKV-Lab/NoKV

해결하는 문제

NoKV는 일시적인 사전에서 작동하는 AI 에이전트를 위한 내구성 있고 버전 관리된 워크스페이스를 제공합니다. 객체 스토어와 데이터베이스 사이의 "실패 창"을 해결하여, 에이전트의 실행 환경이 사라져도 입력, 코드, 출력, 로그가 유지되도록 보장합니다. 침묵적 오버라이트, 재시도 중 중복 쓰기, 아티팩트와 메타데이터 간의 라인리지 손실과 같은 일반적인 문제를 방지합니다.

작동 방식

NoKV는 트랜잭션 메타데이터 제어 플레인을 사용하여 변경 불가능하고 S3 호환 아티팩트 바이트를 관리합니다. 바이트는 먼저 스테이징된 후 단일 아토믹 메타데이터 명령을 통해 가시화됩니다. 이는 아토믹 가시성을 보장하고, 세대 펜스 업데이트(Compare-and-Swap)를 통해 오래된 쓰기자가 최신 상태를 덮어쓰는 것을 방지합니다.

주요 메커니즘은 다음과 같습니다:

• 커밋: 표준화된 실행 매니페스트와 변경 불가능한 리비전 클로저를 내구적인 결정 지점으로 봉인합니다.
• 스냅샷: 복구 또는 검사용으로 사용 가능한 레이스된 시점의 뷰를 제공합니다.
• 복원: 보존된 커밋 또는 스냅샷에서 하위 변경 불가능한 페이로드 블록을 복사하지 않고 새로운 대상으로 아토믹하게 게시합니다.
• RootId 및 AgentId: 스토리지 및 라우팅 식별자와 안전 경계를 관리합니다.

대상 사용자

• AI 에이전트 개발자: 에이전트 루프나 사전 러너를 개발하고, 작업 상태, 체크포인트, 라인리지용 내구성 있는 상태 제공자가 필요한 사람.
• AI for Science 연구자: 고비용의 고정밀 계산 결과를 재현 가능한 체크포인트(입력, 코드, 모델 상태)로 기록해야 하는 적응형 HPC 루프를 실행하는 사람.
• 시스템 엔지니어: AI 워크플로우에 내구적이고 버전 관리된 아티팩트 관리를 통합하기 위해 네이티브 Rust 또는 Python SDK가 필요한 개발자.

주요 특징

• 18개의 네이티브 CLI 명령어: 워크스페이스 생성, 편집, 검색을 위한 안정적인 JSON 기반 계약.
• 아토믹 가시성: 아티팩트는 리비전, 경로 헤드, 수령 커밋이 모두 확정된 후에만 접근 가능합니다.
• 이데포텐트 복구: 요청 식별자를 사용하여 정확한 재시도가 이전 결과를 반환하도록 보장하며, 동일한 전이를 두 번 적용하지 않습니다.
• 다국어 지원: Python 및 Rust 네이티브 SDK 제공, fsspec 및 torch Distributed Checkpoint용 Python 어댑터 포함.
• 메타데이터 엔진: 지속적이고 적응형 레디스 트리 사용하는 내장형 Rust 메타데이터 엔진인 Holt로 구동.