run-llama/llama_index

何を解決するか

LlamaIndex は、プライベートデータを拡張するためのデータフレームワークです。大規模言語モデル（LLM）を外部データソースに接続する課題を解決し、元の学習データに含まれていなかった特定のプライベート情報をモデルが推論できるようにします。

動作方法

このフレームワークは、エージェントアプリケーションおよび RAG（Retrieval-Augmented Generation）パイプラインを構築するためのオーケストレーションツールを提供します。以下の主要なコンポーネントで構成されています：

• データコネクタ：API、PDF、SQLデータベース、ドキュメントなど、さまざまなフォーマットやソースからデータをインジェストします。
• データ構造化：インジェストされたデータをインデックスやグラフに整理し、LLM対応の形式にします。
• ハーリング/クエリインターフェース：ユーザーのプロンプトを受け取り、取得したコンテキストに基づいて知識を補強した出力を返す高度なリトリーバインターフェースです。
• 統合機能：LangChain、Flask、Docker などの外部アプリケーションフレームワークと連携できます。

対象ユーザー

初心者ユーザー向けに、高レベルAPIを数行のコードで使用してデータをインジェスト・クエリできるように設計されています。また、リトリーバ、再ランクモジュール、クエリエンジンなどの低レベルモジュールをカスタマイズしたい上級ユーザーにも対応しています。

特徴

• 広範な統合エコシステム：LlamaHub経由で300以上の統合パッケージを提供し、LLM、埋め込みモデル、ベクトルストアに対応しています。
• LlamaParse：130種類以上のドキュメント形式からエージェント型OCRおよび構造化データ抽出を専門とするプラットフォームです。
• 柔軟なアーキテクチャ：迅速なセットアップを可能にする「Starter」パッケージと、モジュール構築に適した「Customized」コアパッケージを提供しています。
• 永続化：インデックスをディスクに保存し、効率的な再読み込みをサポートしています。