MashiroSaber03/Saber-Translator

해결하는 문제

Saber-Translator는 만화 번역과 관리를 위한 종합적인 도구입니다. 외국어 만화를 독자의 모국어로 변환하는 번거로운 과정을 자동화하여 텍스트 감지, OCR, 번역, 이미지 인페인팅을 처리하고, 라이브러리 정리 및 스토리 콘텐츠 분석 도구도 제공합니다.

작동 방식

이 프로젝트는 번역을 위한 다단계 파이프라인과 콘텐츠 분석을 위한 RAG 기반 시스템을 구현합니다:

• 번역 파이프라인: 이미지/PDF 가져오기 → 텍스트 버블 감지 (DBNet, CTD, 또는 YOLO 사용) → OCR 인식 (MangaOCR, PaddleOCR 등) → AI 번역 (DeepSeek, Gemini, Ollama 등) → 원본 텍스트 제거를 위한 이미지 인페인팅 (LAMA 사용) → 번역된 텍스트를 이미지에 다시 렌더링하는 흐름입니다.
• 고품질 모드: 다중 이미지를 동시에 분석하는 멀티모달 모델을 사용하는 실험적 모드로, 더 일관성 있는 번역을 위해 더 나은 문맥 인식을 제공합니다.
• Manga Insight: 페이지 → 단락 → 장 → 책의 4단계 분석 아키텍처를 사용하는 AI 엔진으로 스토리 요약 및 등장인물 식별을 수행합니다. 벡터 검색과 리랭킹을 활용한 Retrieval-Augmented Generation (RAG)을 통해 사용자가 만화의 스토리에 대해 지능적인 질문을 할 수 있도록 합니다.
• 관리 기능: 책, 장, 태그를 정리할 수 있는 내장된 서재 시스템과 전용 리더 인터페이스를 제공합니다.

대상 사용자

만화 번역을 자동화하고 번역된 작품의 구조화된 디지털 라이브러리를 유지하고자 하는 만화 독자 및 번역가를 위한 도구입니다.

주요 특징

• 엔드투엔드 워크플로우: 원시 이미지 가져오기에서 최종 렌더링 내보내기 (PNG, ZIP, PDF, CBZ)까지 모든 과정을 통합합니다.
• 고급 인페인팅: LAMA 지능형 복구를 사용해 텍스트 버블에서 원본 텍스트를 깔끔하게 제거합니다.
• 문맥 인식 번역: 여러 페이지에 걸쳐 번역하는 멀티모달 지원으로 스토리 흐름을 유지합니다.
• 지능형 분석: RAG 기반 Q&A, 등장인물 맵핑, 자동 스토리 타임라인 생성.
• 유연한 편집: 텍스트 배치, 폰트, 색상 등을 세밀하게 조정할 수 있는 수동 편집기 제공.