microsoft/markitdown

What it solves

MarkItDown은 다양한 파일 형식을 Markdown으로 변환하도록 설계된 경량 Python 유틸리티입니다. Markdown은 문서의 필수적인 구조(제목, 목록, 표 등)를 유지하면서도 토큰 효율성이 높고 대부분의 주요 LLM이 기본적으로 이해할 수 있기 때문에, 특히 LLM 활용 및 텍스트 분석 파이프라인에 최적화되어 있습니다.

How it works

이 도구는 PDF, Word, PowerPoint, Excel, HTML, EPubs 및 텍스트 기반 형식(CSV, JSON, XML)을 포함한 광범위한한 형식의 변환을 위한 통합 인터페이스를 제공합니다. 내장된 컨버터를 사용하여 로컬에서 작동하거나, 더 높은 정확도의 추출을 위해 클라우드 기반 서비스와 통합할 수 있습니다:

• Local Conversion: Python 라이브러리를 사용하여 일반적인 문서 형식에서 콘텐츠를 추출합니다.
• Azure Integration: Azure Document Intelligence 및 Azure Content Understanding과 통합하여 고급 레이아웃 분석, OCR 및 멀티모달 추출(오디오 및 비디오 포함)을 수행합니다.
• LLM-powered OCR: 플러그인을(예: markitdown-ocr) 사용하여 LLM Vision을 통해 문서에 포함된 이미지에서 텍스트를 추출합니다.
• LLM Image Descriptions: LLM 클라이언트(예: OpenAI)를 사용하여 파일 내 이미지에 대한 설명을 생성할 수 있습니다.

Who it’s for

비구조화된 문서를 LLM이 효율적으로적으로 처리할 수 있는 깔끔하고 구조화된 텍스트 형식으로 변환해야 하는 RAG(Retrieval-Augmented Generation) 파이프라인 또는 텍스트 분석 도구를 구축하는 개발자입니다.

Highlights

• Broad Format Support: Office 문서와 PDF부터 YouTube URL 및 오디오 파일까지 모든 것을 처리합니다.
• Multimodal Capabilities: 음성 전사 및 LLM을 통한 이미지 설명을 지원합니다.
• Extensible Architecture: 새로운 변환 기능을 추가하기 위해 서드파티 플러그인을 허용합니다.
• Flexible Deployment: CLI 도구, Python API, 또는 Docker 이미지로 사용할 수 있습니다.
• Cloud-enhanced Extraction: 복잡한 表, 스캔된 PDF 및 비디오 분석을 위해 Azure 서비스를 선택적으로 통합할 수 있습니다.