sign/translate

해결하는 문제

이 프로젝트는 수어 사용자와 말하는 언어 사용자 간의 소통 격차를 해소하여, 수어와 말하는/쓰는 언어 사이에서 실시간 양방향 번역을 제공합니다.

작동 방식

이 시스템은 두 가지 주요 파이프라인을 통해 작동합니다.

1. 수어 생성 (말하는 언어 → 수어): 음성 또는 텍스트를 정규화된 텍스트로 변환한 후 SignWriting으로 변환하고, 마지막으로 자세 시퀀스로 변환합니다. 이 시퀀스는 스켈레톤 뷰어, 3D 아바타, 또는 Human GAN을 통해 렌더링됩니다.
2. 수어 번역 (수어 → 말하는 언어): 업로드된 동영상 또는 실시간 카메라를 통해 수어 영상을 처리하고, 세그멘테이션 과정과 SignWriting 변환을 거쳐 말하는 언어의 텍스트와 음성을 생성합니다.

대상 사용자

수어를 사용하는 사람과 말하는 언어를 사용하는 사람을 위한 것으로, 데스크톱 및 모바일 플랫폼에서 원활한 소통을 가능하게 합니다.

주요 특징

• 실시간 번역 기능.
• 양방향 지원 (말하는 언어 → 수어 및 수어 → 말하는 언어).
• 3D 아바타와 Human GAN을 포함한 다양한 출력 형식.
• 실시간 카메라 스트림과 업로드된 동영상 모두 지원.