Tencent/WeVisDoc

解決する課題

WeVisDocは、エンドツーエンドのドキュメント解析という課題に取り組み、ページ画像を構造化された機械可読な形式に変換します。特に、ドキュメント画像からテキスト、複雑なLaTeX数式、HTMLテーブルを元の構造を維持したまま正確に抽出する問題を解決します。

仕組み

WeVisDocは、Qwen3-VL（2Bおよび4Bパラメータバージョン）から微調整された視覚言語モデルです。ページ画像を入力として受け取り、直接構造化されたMarkdownを出力します。vLLMを使用して高スループットな推論サービスとしてデプロイすることも、Transformersライブラリを使用してローカルで実行することも可能です。

対象ユーザー

このツールは、ドキュメントのデジタル化、PDFや画像からのデータ抽出の自動化、または視覚的なドキュメントレイアウトを他のAIシステムで処理するために構造化されたMarkdownに変換する必要がある開発者や研究者向けに設計されています。

特徴

• 高精度: OmniDocBench v1.6およびPureDocBenchベンチマークにおいて、他のエンドツーエンドパーサーを上回る性能を発揮します。
• 構造化出力: ページ画像をMarkdownに変換し、数式にはLaTeX、テーブルにはHTMLを使用します。
• 柔軟なデプロイ: APIアクセス用のvLLMベースのサーバーや、Transformersベースのローカル推論など、複数の実行方法を提供します。
• スケーラブルなオプション: パフォーマンスと精度のバランスをとるために、2つのモデルサイズ（2Bおよび4Bパラメータ）が用意されています。