johnsonhk88/AI-Bank-Statement-Document-Automation-By-LLM-And-Personal-Finanical-Analysis-Prediction

What it solves

このプロジェクトは、銀行取引明細から財務データの抽出と分析を自動化します。非構造化 PDF ドキュメントを構造化された財務インサイトに変換する課題を解決し、データ保存前に個人識別情報（PII）をマスクすることでプライバシーを確保します。

How it works

システムはコンピュータビジョンと語彙モデルを組み合わせたマルチステージパイプラインを使用します：

1. Document Parsing：レイアウト検出に YOLO を使用し、PDF からテキストを抽出するために OCR を利用します。
2. Agentic Workflow：専門スキルを持つ CrewAI エージェントがパース、PII マスク、財務分析を担当します。
3. Local LLM Integration：LiteLLM を使用してローカルモデル（LM Studio または Ollama 経由）に接続し、データプライバシーを維持しコストを削減します。
4. RAG Pipeline：マスクされたデータを Qdrant や Chroma などのベクトルデータベースに埋め込み、ユーザーは自然言語で財務履歴をクエリできます。
5. Monitoring：MLflow を使用してエージェントワークフローと LLM 呼び出しをトレースおよびデバッグします。

Who it’s for

• 個人の財務管理を自動化したいユーザー。
• 敏感な文書向けのローカルファースト RAG パイプラインのリファレンス実装を探している開発者。
• 財務データをプライベートに保つためにローカルで LLM を実行したいユーザー。

Highlights

• Privacy-First：ベクトルデータベースにデータを埋め込む前に PII をマスクします。
• Local-First：LM Studio と Ollama を介したローカル LLM（9B+ パラメータ）向けに最適化。
• Local LLM Guidance：最適なパフォーマンスのためのモデルサイズとコンテキスト長に関する具体的な推奨を提供。
• Comprehensive Tooling：YOLO、OCR、CrewAI、MLflow を統合し、プロフェッショナルグレードの自動化パイプラインを実現。