enjalot/latent-scope

何を解決するか

Latent Scopeは、非構造化テキストおよび画像データセットを視覚化・探索するためのスムーズなワークフローを提供します。高次元の埋め込みをインタラクティブでラベル付きの2Dマップに自動変換することで、大量のデータを手動で分析する問題を解決し、ユーザーがパターンやインサイトを発見できるようにします。

動作方法

このツールは、Webインターフェースまたはコマンドラインインターフェースで管理可能な複数ステップのパイプラインに従います：

1. 埋め込み：ローカルモデル（HuggingFace）またはAPI（OpenAI、Cohereなど）を使用して、非構造化データをベクトルに変換します。密度型埋め込みとColBERTのラテントインタラクション埋め込みをサポートしています。
2. 投影：UMAPを使用して高次元ベクトルを2D座標に低次元化します。
3. クラスタリング：HDBSCAN、KMeans、ガウス混合、EVoCなどの手法で点をグループ化します。
4. ラベル付け：LLMを使用してクラスタを要約し、人間が読みやすいラベルを付与します。
5. 探索：結果の「スコープ」はWeb UIで提供され、ユーザーは注釈付きデータをインタラクティブに閲覧し、類似性検索を実行し、異なる投影／クラスタリング設定を比較できます。

対象ユーザー

AI研究者、データサイエンティスト、アナリスト向けです。非構造化データセットを探索して構成を理解したり、テーマを特定したり、機械学習タスク用のデータをキュレートする必要がある方々に最適です。

特徴

• マルチモーダル対応：テキストおよび画像データセットに対応。CLIPスタイルの埋め込み用に特別な画像マップを備えています。
• GPU加速：NVIDIA GPUをオプションで使用し、cuMLを介してUMAPおよびクラスタリングを高速化し、より大きなデータセットを処理可能にします。
• LLM駆動のラベル付け：チャットモデルを使用してクラスタの説明を自動生成します。
• フラットファイルアーキテクチャ：すべての中間データおよびメタデータを標準的なフラットファイル（Parquet、JSON、H5）に保存し、容易なポータビリティと再現性を実現します。
• エージェント対応：AIコーディングエージェント（Claude CodeやCursorなど）がデータマッピングパイプラインを制御できるように、クロスプロバイダーエージェントスキルを備えています。