neural-maze/production-ocr-course

解決する課題

このコースは、API を呼び出してテキストを取得するだけの単純な OCR チュートリアルを超えています。テキストを読むだけでなく、チャート、表、レイアウトを含むドキュメントを真に理解する、完全な本番グレードのパイプラインを構築する方法を教えます。大規模で高価なモデルに頼る代わりに、小規模言語モデル（Qwen 3.5）を使用して、低コストで高精度の OCR を実現します。また、このコースでは、実際の環境でこのようなシステムを実行する際の難しい部分（バースト作業に対応するためのスケーリング、パイプラインのセキュリティ保護、AI エージェントが使用できるようにすること）にも取り組みます。

仕組み

Kubernetes（AKS または GKE）上にイベント駆動型 OCR システムを構築します。ファイルは高並行 Rust ゲートウェイを通じて取り込まれ、Redis に保存され、タスクがキューに入れられます。KEDA オートスケーラーがキューを監視し、必要に応じてリソースを起動します。コンシューマワーカー（T4 GPU で実行）は、レイアウト検出器（PP-DocLayoutV3）を使用して、段落、表、チャートなどの意味的領域を見つけます。次に、これらのクロップを vLLM サーバー（A100 GPU で実行）に送信し、Qwen 3.5 を使用してテキストを生成します。プロセス全体でゼロコピー共有メモリハンドオフ（/dev/shm）を使用して、ディスクボトルネックを回避します。最後に、システムは MCP サーバーにラップされ、Claude Code などの AI エージェントがネイティブに使用できるようになります。

対象読者

このコースは、OCR API の呼び出し方をすでに知っているが、本番環境で実行するために必要なことを理解したい ML/AI エンジニアとプラットフォームエンジニア向けに設計されています。GPU ノードプール、オートスケーリングの経済性、ネットワークセキュリティ、高スループットで生成モデルをサービスする背後にあるシステム設計のトレードオフをカバーしています。

ハイライト

• 実際の本番デプロイ：異なるタスク用に別々のノードプールを持つ Kubernetes 上に完全なパイプラインをデプロイします。
• SLM 駆動の OCR：Qwen 3.5（4B）を使用して、チャート、手書き、コンテキストを理解します。フラットなテキスト抽出だけではありません。
• 高スループット：vLLM の連続バッチ処理と Multi-Token Prediction により、毎秒 1.86 ページを達成。
• オートスケーリング：KEDA が T4 および A100 ノードプールをゼロからバースト負荷まで独立してスケーリングします。
• セキュリティファースト：パイプラインは内部ロードバランサーとエンタープライズ API ゲートウェイの背後にロックされ、公開露出はありません。
• エージェント対応：MCP サーバーとして公開され、AI エージェントが直接使用できます。