enjalot/latent-scope

解決的問題

Latent Scope 提供一條簡化的流程，用於可視化與探索非結構化文字與影像資料集。它透過將高維嵌入自動轉換為可互動且帶標籤的 2D 地圖，解決了手動分析大量資料的問題，讓使用者能探索並發現其中的模式與洞見。

工作原理

該工具遵循一個可透過 Web 界面或命令列介面管理的多階段流程：

1. 嵌入：使用本地模型（HuggingFace）或 API（OpenAI、Cohere 等）將非結構化資料轉換為向量。支援密集嵌入與 ColBERT 晚期互動嵌入。
2. 投影：使用 UMAP 將高維向量降維至 2D 坐標。
3. 聚類：使用 HDBSCAN、KMeans、高斯混合或 EVoC 等方法對點進行分組。
4. 標籤：使用 LLM 總結聚類內容，並為其分配人類可讀的標籤。
5. 探索：產生的「範圍」透過 Web UI 提供，使用者可互動式瀏覽帶註解的資料，執行相似性搜尋，並比較不同的投影／聚類設定。

適用對象

專為需要探索非結構化資料集以理解其組成、識別主題或為機器學習任務整理資料的 AI 研究人員、資料科學家與分析師設計。

特色亮點

• 多模態支援：支援文字與影像資料集，包含針對 CLIP 風格嵌入的專用影像地圖。
• GPU 加速：可選 NVIDIA GPU 支援，透過 cuML 加速 UMAP 與聚類，以處理更大規模的資料集。
• LLM 驅動標籤：使用聊天模型自動產生聚類描述。
• 扁平檔案架構：所有中間資料與元資料均以標準扁平檔案（Parquet、JSON、H5）儲存，便於移植與重現。
• Agent 友好：包含跨供應商 Agent 技能，允許 AI 編碼 Agent（如 Claude Code 或 Cursor）驅動資料映射流程。