magicyuan876/mineru-tianshu

解决的问题

MinerU Tianshu 是一个企业级数据预处理平台，旨在将各种格式的非结构化数据转换为 Markdown 和 JSON 等结构化、AI 就绪的格式。它解决了从 PDF、图像、音频和视频等复杂来源准备高质量训练数据或 RAG（检索增强生成）数据的挑战。

工作原理

该平台采用模块化架构，结合了 Vue 3 前端、FastAPI 后端以及用于 GPU 负载均衡的 LitServe。它集成了多个专用引擎以处理不同的模态：

• 文档与图像：使用 MinerU 和 MarkItDown 解析 PDF、Word、Excel 和 PPT，并可选使用 YOLO11x 和 LaMa 进行水印去除。
• 音频与视频：使用 SenseVoice 进行多语言语音转文本、说话人分离和情感识别，同时使用 FFmpeg 和 OCR 进行视频关键帧提取。
• 专用格式：包含用于 FASTA 和 GenBank 等生物信息学格式的基于插件的引擎。
• 基础设施：实现了带有主动拉取任务的 worker 池的任务队列系统，支持 GPU 隔离和多 GPU 扩展。它还集成了 RustFS，用于提取图像的 S3 兼容对象存储。

适用对象

它专为需要处理大量多模态数据以用于 AI 应用的企业和开发者而构建，特别是那些需要具有用户认证、审计日志和 API 集成的可扩展自托管解决方案的用户。

亮点

• 多模态支持：处理文档、图像、音频、视频和生物信息学数据。
• 企业级功能：包括 JWT 认证、基于角色的访问控制、API 密钥管理和任务完成的 webhook 通知。
• GPU 优化：具备基于 LitServe 的负载均衡，并支持 NVIDIA CUDA 和 Apple Silicon (MPS/MLX)。
• AI 助手集成：支持模型上下文协议 (MCP)，允许 Claude Desktop 等 AI 代理直接触发文档解析。
• 可扩展部署：提供一键 Docker 部署，支持 GPU、CPU 和完全离线环境选项。