tonywu71/colpali-cookbooks

Recipes for learning, fine-tuning, and adapting ColPali to your multimodal RAG use cases. 👨🏻‍🍳

何を解決するか

このプロジェクトは、ドキュメント検索に向けたColPaliシリーズの視覚言語モデル（VLM）の実装ガイドを提供します。従来の検索システムがOCRとテキスト抽出に依存するため、レイアウト、表、チャートなどの重要な視覚情報を失うという課題に対処しています。

動作方法

ColPaliやColQwen2などのモデルを使用し、ドキュメントページをテキストではなく画像として扱います。これらのモデルは視覚言語アプローチにより視覚的特徴を捉え、マルチベクトル埋め込みを生成します。その後、クエリとドキュメント画像の埋め込み間のペアワイズ後期相互作用類似度スコアを計算することで検索を実行します。

対象読者

視覚ベースのドキュメント検索の実装、VLMを用いたRAGパイプラインの構築、特定の用途向けにこれらのモデルをファインチューニングしたい開発者や研究者。

特徴

  • エンドツーエンドRAG: VRAMを節約するためのアダプターホットスイッチ機能を備えたColQwen2を用いた完全なRAGパイプラインの実装。
  • ファインチューニング: LoRAを用いたColPaliのファインチューニングガイドおよび4ビットまたは8ビット量子化のオプション。
  • 解釈可能性: モデルの予測を視覚化・解釈するための類似度マップ生成ツール。
  • ネイティブ統合: ColPaliおよびColQwen2のtransformersネイティブ実装の使用例。

関連

  • プロジェクト
    illuin-tech/colpali

    ColPali は視覚ドキュメント検索用の研究用ライブラリです。PaliGemma、Qwen‑VL などのビジョン・ランゲージモデル（VLM）を用いてドキュメント画像をマルチベクトルエンベッディングに変換し、ColBERTスタイルのラテ・インタラクション法でクエリエンベッディングとスコアリングします。元の `colpali-engine` パッケージ（現在非推奨）は、モデルクラス、プロセッサ、オプションの融合カーネル、高速Plaidインデックス、トークンプール、解釈性ツールを提供していました。新しいプロジェクトは、Sentence‑Transformers v6 の `MultiVectorEncoder` を使用すべきです。

  • プロジェクト
    OpenBMB/VisRAG

    テキスト解析による情報損失を防ぐためにドキュメントを画像として埋め込み、多画像QAに証拠に基づく推論を用いる視覚言語RAGパイプライン。

  • プロジェクト
    morphik-org/morphik-core

    PDFやチャートなどの視覚的に豊かなドキュメントを、空間的・視覚的なコンテキストを失うことなく検索・理解することを可能にするマルチモーダル検索エンジン。

  • プロジェクト
    gokayfem/ComfyUI_VLM_nodes

    ビジョン・ランゲージ・モデル向けの本番向けComfyUIノードスイート。構造化された検出・セグメンテーション・適応型動画推論をVRAM最適化で提供。

  • プロジェクト
    vespa-engine/sample-apps

    Vespa を使用して、スケーラブルにハイブリッド検索、RAG、マルチモーダルベクトル取得を実装するためのリファレンスアプリケーションとチュートリアルのコレクションです。