oceanbase/seekdb

해결하는 문제

seekdb는 지속적인 메모리 쓰기와 즉시 검색이 필요한 AI 에이전트를 위한 상태 저장소입니다. 고병렬 스트리밍 쓰기와 동시 검색을 처리할 때 기존 벡터 데이터베이스에서 발생하는 성능 저하 문제를 해결하며, 에이전트가 메인 데이터베이스를 손상시키지 않고 상태를 실험할 수 있는 메커니즘을 제공합니다.

작동 방식

• 비동기 인덱스 파이프라인: Change Stream을 사용해 데이터 수정(DML)과 인덱스 생성을 분리하여, 쓰기가 즉시 커밋되도록 하며, 비동기 프로세스가 두 단계의 HNSW 인덱스(증분 및 스냅샷)를 업데이트합니다.
• 복사-작성(COW) 사전: FORK DATABASE 명령어는 데이터를 복사하지 않고 거의 즉시 전체 데이터베이스의 스냅샷을 생성할 수 있게 해주며, 이후 병합하거나 버릴 수 있는 사전에서 변경 사항을 테스트할 수 있습니다.
• 하이브리드 검색: 벡터 유사성, 풀텍스트 검색, 스칼라 필터를 하나의 SQL 실행 계획에 통합하여 클라이언트 측 병합이 필요 없도록 합니다.
• MySQL 호환성: OceanBase SQL 엔진 기반으로 구축되어 MySQL 프로토콜과 ACID 트랜잭션을 지원하며, LangChain 및 LlamaIndex과 같은 기존 도구와 호환됩니다.

대상 사용자

• AI 에이전트 개발자: 개인 비서, 기업 자동화, 에이전트 플랫폼을 개발하며 강력한 에피소드 메모리와 상태 관리가 필요한 개발자.
• RAG 개발자: 벡터 + 텍스트의 하이브리드 검색이 필요한 지식 검색 시스템을 개발하는 엔지니어.
• 에지 AI 개발자: 자원 제약이 있는 장치나 보조 로봇용 임베디드 데이터베이스가 필요한 개발자.

주요 특징

• 고처리량: 스트리밍 쓰기+검색 워크로드에서 1,523 QPS를 달성.
• 즉시 사전 환경: 커널 수준의 COW로 데이터베이스 포크 및 병합이 빠르게 가능.
• 통합 쿼리: 하나의 SQL 쿼리에서 벡터, 풀텍스트, 스칼라 필터를 모두 처리.
• 유연한 배포: 임베디드 라이브러리, 단일 노드 서버, 분산 클러스터로 제공됩니다.