sign/translate

何を解決するか

このプロジェクトは、手話使用者と話す言語使用者の間のコミュニケーションギャップを解消し、手話と話す／書かれた言語の間でリアルタイムで双方向翻訳を提供します。

動作方法

このシステムは、2つの主要なパイプラインで動作します。

1. 手話生成（話す言語から手話へ）： 会話音声またはテキストを正規化テキストに変換し、その後SignWritingに変換し、最終的にポーズシーケンスに変換します。これらのシーケンスはスケルトンビューア、3Dアバター、またはHuman GANでレンダリングされます。
2. 手話翻訳（手話から話す言語へ）： 手話動画（アップロードまたはライブカメラから）をセグメンテーション処理し、SignWritingに変換して、話す言語のテキストと音声を生成します。

対象ユーザー

手話を使う人、話す言語を使う人向けに設計されており、デスクトップおよびモバイルプラットフォームでシームレスなコミュニケーションを可能にします。

特徴

• リアルタイム翻訳機能。
• 双方向対応（話す言語→手話、手話→話す言語）。
• 3DアバターとHuman GANを含む複数の出力形式。
• ライブカメラ映像とアップロードされた動画の両方をサポート。