magicyuan876/mineru-tianshu

解決的問題

MinerU Tianshu 是一個企業級數據預處理平台，旨在將各種格式的非結構化數據轉換為 Markdown 和 JSON 等結構化、AI 就緒的格式。它解決了從 PDF、圖像、音頻和視頻等複雜來源準備高品質訓練數據或 RAG（檢索增強生成）數據的挑戰。

運作原理

該平台採用模組化架構，結合了 Vue 3 前端、FastAPI 後端以及用於 GPU 負載平衡的 LitServe。它整合了多個專用引擎以處理不同的模態：

• 文件與圖像：使用 MinerU 和 MarkItDown 解析 PDF、Word、Excel 和 PPT，並可選使用 YOLO11x 和 LaMa 進行浮水印移除。
• 音頻與視頻：使用 SenseVoice 進行多語言語音轉文字、說話人分離和情感識別，同時使用 FFmpeg 和 OCR 進行視頻關鍵幀提取。
• 專用格式：包含用於 FASTA 和 GenBank 等生物資訊學格式的基於外掛的引擎。
• 基礎設施：實現了帶有主動拉取任務的 worker 池的任務佇列系統，支援 GPU 隔離和多 GPU 擴展。它也整合了 RustFS，用於提取圖像的 S3 相容物件儲存。

適用對象

它專為需要處理大量多模態數據以用於 AI 應用的企業和開發者而構建，特別是那些需要具有使用者驗證、稽核日誌和 API 整合的可擴展自託管解決方案的使用者。

亮點

• 多模態支援：處理文件、圖像、音頻、視頻和生物資訊學數據。
• 企業級功能：包括 JWT 驗證、基於角色的存取控制、API 金鑰管理和任務完成的 webhook 通知。
• GPU 最佳化：具備基於 LitServe 的負載平衡，並支援 NVIDIA CUDA 和 Apple Silicon (MPS/MLX)。
• AI 助手整合：支援模型上下文協議 (MCP)，允許 Claude Desktop 等 AI 代理直接觸發文件解析。
• 可擴展部署：提供一鍵 Docker 部署，支援 GPU、CPU 和完全離線環境選項。