groupultra/telegram-search

해결하는 문제

Telegram의 기본 검색 기능은 특히 중국어 사용자나 방대한 채팅 기록 내에서 특정 메시지를 찾기 어려운 사용자에게 한계가 있을 수 있습니다. 이 프로젝트는 개인의 Telegram 메시지를 백업하고, 벡터 검색 및 AI 기반 요약 기술을 활용하여 정보를 더 정확하고 빠르게 찾을 수 있는 방법을 제공합니다.

작동 방식

시스템은 Telegram 채팅 기록을 데이터베이스(PGlite 또는 PostgreSQL)로 내보내고 백업합니다. 메시지는 토큰화를 적용하고 벡터 임베딩을 생성합니다. 이를 통해 키워드 기반의 유사 매칭과 의미 기반 벡터 검색을 모두 수행할 수 있습니다. 또한 이미지 임베딩을 지원하여 텍스트로 이미지를 검색할 수 있으며, LLM과 통합하여 RAG(검색 증강 생성) 기반의 지능형 Q&A 및 읽지 않은 메시지의 지능형 요약을 제공합니다.

대상 사용자

고도화된 검색 기능을 갖춘 자체 호스팅형 Telegram 대화 아카이브를 원하는 사용자, 또는 AI를 활용해 채팅 기록을 요약하거나 자신의 메시지 데이터 기반으로 질문을 하고 싶은 사용자.

주요 기능

• 하이브리드 검색: 지능형 토큰화, 유사 매칭, 벡터 의미 검색을 결합하여 높은 정밀도를 제공.
• AI 기반 기능: RAG 기반의 지능형 Q&A 및 읽지 않은 메시지의 자동 요약 포함.
• 다중 모달 검색: 이미지 임베딩을 지원하여 텍스트로 이미지를 검색 가능.
• 유연한 배포: 로컬 우선 관리를 위한 TypeScript CLI, 전체 스택 배포를 위한 Docker Compose, 브라우저 기반 모드 제공.
• 자동 백업: MinIO 객체 저장소에 미디어 리소스를 자동 백업하고, 새로운 대화를 실시간으로 동기화.