magicyuan876/mineru-tianshu

解決する課題

MinerU Tianshuは、さまざまな形式の非構造化データをMarkdownやJSONなどの構造化されたAI対応形式に変換するために設計されたエンタープライズグレードのデータ前処理プラットフォームです。PDF、画像、音声、動画などの複雑なソースから、高品質な学習データやRAG（検索拡張生成）データを準備する課題に対応します。

動作原理

このプラットフォームは、Vue 3フロントエンド、FastAPIバックエンド、およびGPU負荷分散のためのLitServeを組み合わせたモジュール型アーキテクチャを使用しています。異なるモダリティを処理するために、いくつかの専門的なエンジンを統合しています：

• ドキュメントと画像: PDF、Word、Excel、PPTの解析にはMinerUとMarkItDownを使用し、オプションでYOLO11xとLaMaを透かし除去に使用します。
• 音声と動画: 多言語音声認識、話者分離、感情認識にはSenseVoiceを使用し、動画のキーフレーム抽出にはFFmpegとOCRを使用します。
• 専門的な形式: FASTAやGenBankなどのバイオインフォマティクス形式に対応するプラグインベースのエンジンを搭載しています。
• インフラストラクチャ: 能動的にタスクを取得するワーカープールを備えたタスクキューシステムを実装し、GPU分離とマルチGPUスケーリングをサポートしています。また、抽出された画像のS3互換オブジェクトストレージとしてRustFSを統合しています。

対象ユーザー

AIアプリケーションのために大量のマルチモーダルデータを処理する必要がある企業や開発者向けに構築されています。特に、ユーザー認証、監査ログ、API統合を備えたスケーラブルなセルフホスト型ソリューションを必要とする方々を対象としています。

ハイライト

• マルチモーダル対応: ドキュメント、画像、音声、動画、バイオインフォマティクスデータを処理します。
• エンタープライズ機能: JWT認証、ロールベースのアクセス制御、APIキー管理、タスク完了時のWebhook通知を含みます。
• GPU最適化: LitServeベースの負荷分散と、NVIDIA CUDAおよびApple Silicon (MPS/MLX) のサポートを特徴としています。
• AIアシスタント統合: Model Context Protocol (MCP) をサポートし、Claude DesktopなどのAIエージェントが直接ドキュメント解析をトリガーできるようにします。
• スケーラブルなデプロイ: GPU、CPU、完全オフライン環境のオプションを備えたワンクリックDockerデプロイを提供します。