vdaas/vald

해결하는 문제

Vald는 수십억 개의 밀집 특징 벡터를 검색하는 과제를 처리하기 위해 설계된 분산형 검색 엔진입니다. 이미지, 오디오, 비디오 또는 텍스트에서 생성되는 대규모 벡터 데이터 세트에 대해 근사 최근접 이웃(ANN) 검색을 수행할 수 있는 고도로 확장 가능한 방법을 제공합니다.

작동 방식

Vald는 Kubernetes에서 구현된 클라우드 네이티브 아키텍처를 사용합니다. NGT(Neighborhood Graph Tearing) 알고리즘을 활용하여 빠른 근사 최근접 이웃 검색을 구현합니다. 시스템은 검색 로직을 위한 Agent NGT, 벡터 인덱싱 및 백업을 처리하는 Index Manager, 그리고 요청 흐름을 관리하는 다양한 Gateway(Load Balancer 및 Filter)를 포함한 여러 분산 구성 요소로 이루어져 있습니다.

대상 사용자

추천 시스템, 인식 서비스, 실시간 번역기와 같이 고성능 벡터 검색이 필요한 대규모 AI 애플리케이션을 구축하는 개발자와 조직을 대상으로 합니다.

주요 특징

• 클라우드 네이티브 설계: 수평적 확장이 가능하도록 Kubernetes를 위해 특별히 구축되었습니다.
• 대규모 확장성: 수십억 개의 특징 벡터를 검색할 수 있습니다.
• 자동 인덱싱: 자동 벡터 인덱싱 및 인덱스 백업 기능을 제공합니다.
• 다양한 데이터 지원: 벡터로 변환될 수 있다면 모든 데이터 유형(텍스트, 이미지, 오디오, 비디오)에 사용할 수 있습니다.