johnsonhk88/AI-Bank-Statement-Document-Automation-By-LLM-And-Personal-Finanical-Analysis-Prediction

What it solves

이 프로젝트는 은행 거래 내역에서 재무 데이터의 추출 및 분석을 자동화합니다. 비구조화된 PDF 문서를 구조화된 재무 인사이트로 변환하는 문제를 해결하고, 데이터를 저장하기 전에 개인 식별 정보(PII)를 마스킹하여 프라이버시를 보장합니다.

How it works

시스템은 컴퓨터 비전과 언어 모델을 결합한 다단계 파이프라인을 사용합니다:

1. Document Parsing: 레이아웃 감지를 위해 YOLO를 사용하고, PDF에서 텍스트를 추출하기 위해 OCR을 활용합니다.
2. Agentic Workflow: 전문 기술을 가진 CrewAI 에이전트가 파싱, PII 마스킹 및 재무 분석을 담당합니다.
3. Local LLM Integration: LiteLLM을 사용해 로컬 모델(LM Studio 또는 Ollama)을 연결하여 데이터 프라이버시를 유지하고 비용을 절감합니다.
4. RAG Pipeline: 마스킹된 데이터를 Qdrant 또는 Chroma와 같은 벡터 데이터베이스에 임베딩하여 사용자가 자연어로 재무 기록을 조회할 수 있게 합니다.
5. Monitoring: MLflow를 사용해 에이전트 워크플로와 LLM 호출을 추적 및 디버깅합니다.

Who it’s for

• 개인 재무 추적을 자동화하고 싶은 개인.
• 민감한 문서를 위한 로컬 우선 RAG 파이프라인 구현 예제를 찾는 개발자.
• 재무 데이터를 비공개로 유지하기 위해 로컬에서 LLM을 실행하고자 하는 사용자.

Highlights

• Privacy-First: 벡터 데이터베이스에 데이터를 임베딩하기 전에 PII를 마스킹합니다.
• Local-First: LM Studio와 Ollama를 통한 로컬 LLM(9B+ 파라미터) 최적화.
• Local LLM Guidance: 최적 성능을 위한 모델 크기와 컨텍스트 길이에 대한 구체적인 권장 사항을 제공합니다.
• Comprehensive Tooling: YOLO, OCR, CrewAI 및 MLflow를 통합하여 전문가 수준의 자동화 파이프라인을 구현합니다.