estebanpdl/osintgpt

해결하는 문제

osintgpt는 분석가가 방대한 연구 문서 컬렉션을 검토할 때 프로젝트가 섞이거나 정보의 출처를 잃어버리지 않도록 돕습니다. 사용자는 자신의 문서를 인덱싱하고 해당 자료를 기반으로 질문하여, 명확한 인용이 포함된 근거 있는 답변을 얻을 수 있습니다.

작동 방식

이 도구는 RAG (검색 증강 생성) 방식을 사용하여 문서를 인덱싱하는 격리된 프로젝트를 생성합니다. 다양한 파일 형식 (PDF, Word, Excel, CSV, JSON 등)을 검색 가능한 형식으로 변환하고, 텍스트 임베딩 (embeddings)을 생성하여 벡터 데이터베이스 (SQLite, Qdrant, 또는 Postgres)에 저장합니다. 사용자가 질문하면 시스템은 의미론적 유사성, 정확한 텍스트 일치, 또는 그래프 관계를 활용하여 관련 자료를 찾고 설정된 LLM을 사용하여 답변을 생성합니다.

대상 사용자

엄격한 데이터 출처 관리와 완전한 로컬 처리 옵션을 유지하면서 자신의 개인 문서 컬렉션을 쿼리해야 하는 OSINT (오픈 소스 인텔리전스) 분석가 및 연구원을 위해 설계되었습니다.

주요 특징

• 다중 공급자 지원: 생성 및 임베딩을 위해 OpenAI, Gemini, Anthropic, Voyage, Ollama와 호환됩니다.
• 개인정보 보호 옵션: Ollama와 sentence-transformers를 사용하는 완전 로컬 파이프라인을 지원하여 데이터가 기기 외부로 유출되지 않습니다.
• 광범위한 파일 지원: 29개의 읽기 가능한 확장자를 포함하며, 비전 기반 전사를 통한 스캔된 PDF도 지원합니다.
• 강력한 인덱싱: 중단된 인덱싱 작업을 재개할 수 있는 체크포인트 기능과 유료 API를 위한 속도 제한/페이스 조절 기능이 내장되어 있습니다.
• 그래프 기능: 출처가 포함된 그래프 관계를 CYPHERL로 내보내 Neo4j나 Memgraph에서 사용할 수 있습니다.