enjalot/latent-scope

해결하는 문제

Latent Scope는 비구조화된 텍스트 및 이미지 데이터셋을 시각화하고 탐색하기 위한 간소화된 워크플로우를 제공합니다. 고차원 임베딩을 사용자들이 패턴과 통찰을 찾을 수 있도록 인터랙티브하고 레이블이 붙은 2차원 맵으로 자동 변환함으로써, 대량의 데이터를 수동으로 분석해야 하는 문제를 해결합니다.

작동 방식

웹 인터페이스 또는 명령줄 인터페이스로 관리할 수 있는 다단계 파이프라인을 따릅니다:

1. 임베딩: 로컬 모델(HuggingFace) 또는 API(OpenAI, Cohere 등)를 사용하여 비구조화된 데이터를 벡터로 변환합니다. 밀도 임베딩과 ColBERT의 라이트 인터랙션 임베딩을 지원합니다.
2. 투영: UMAP를 사용하여 고차원 벡터를 2차원 좌표로 축소합니다.
3. 클러스터링: HDBSCAN, KMeans, 가우시안 믹스, EVoC 등의 방법으로 점들을 그룹화합니다.
4. 라벨링: LLM을 사용하여 클러스터를 요약하고 인간이 읽기 쉬운 라벨을 부여합니다.
5. 탐색: 결과로 생성된 "스코프"는 웹 UI를 통해 제공되며, 사용자는 주석이 달린 데이터를 인터랙티브하게 탐색하고, 유사성 검색을 수행하며, 다양한 투영/클러스터링 구성 설정을 비교할 수 있습니다.

대상 사용자

비구조화된 데이터셋을 탐색하여 구성 요소를 이해하거나 주제를 식별하거나 기계학습 작업을 위한 데이터를 큐레이션해야 하는 AI 연구자, 데이터 과학자, 분석가를 위한 것입니다.

주요 기능

• 다중 모달 지원: 텍스트 및 이미지 데이터셋 모두 지원하며, CLIP 스타일 임베딩을 위한 전용 이미지 맵을 제공합니다.
• GPU 가속: cuML을 통해 NVIDIA GPU를 옵션으로 사용하여 UMAP 및 클러스터링을 가속화하여 더 큰 데이터셋을 처리할 수 있습니다.
• LLM 기반 라벨링: 챗 모델을 사용하여 클러스터 설명을 자동 생성합니다.
• 플랫파일 아키텍처: 모든 중간 데이터와 메타데이터를 표준 플랫파일(Parquet, JSON, H5)에 저장하여 쉽게 이식 가능하고 재현 가능하게 합니다.
• 에이전트 친화적: AI 코드 에이전트(Claude Code, Cursor 등)가 데이터 매핑 파이프라인을 제어할 수 있도록 크로스 프로바이더 에이전트 기술을 포함합니다.