yakhyo/face-parsing

解決する問題

このプロジェクトは、「顔パーシング」を実行する正確な方法を提供します。これは、画像内の目、鼻、口、肌などの特定の顔の特徴を自動的に識別してセグメント化するプロセスです。この技術は、デジタルメイク、拡張現実（AR）フィルター、顔認識、感情検出などのアプリケーションに不可欠です。

仕組み

「バイラテラルセグメンテーションネットワーク」（BiSeNet）アーキテクチャを使用します。モデルは顔画像を入力として受け取り、各ピクセルを特定の顔コンポーネントにマッピングする詳細なマスクを生成します。速度または精度のニーズに応じて、ResNet18またはResNet34の2つのバックボーンアーキテクチャを選択できます。リポジトリには、独自のモデルをトレーニングし、画像で推論を実行し、モデルをONNX形式にエクスポートして他のソフトウェア環境で使用するためのツールが含まれています。

対象者

このツールは、信頼性の高い、事前トレーニング済みまたはカスタマイズ可能な顔特徴抽出モデルを必要とするコンピュータビジョンプロジェクトに取り組む開発者や研究者向けに設計されています。ARアプリケーションや自動画像編集ツールを構築する人々に特に役立ちます。

ハイライト

• 顔のランドマークとコンポーネントの高精度なセグメンテーション。
• ResNet18およびResNet34のバックボーンアーキテクチャをサポート。
• トレーニング、推論、ONNXモデル変換の完全なパイプラインを含む。
• 事前トレーニング済みの重みがすぐに利用可能。
• facefusionなどの主要なオープンソースプロジェクトで使用されており、信頼性が実証されています。