Google DeepMind SL2T: Pixel 11용 수어-to-텍스트 번역

Google DeepMind는 청각장애인 및 청각이 불편한 사용자가 모바일 기기에서 수어를 주 입력 방식으로 사용할 수 있도록 해주는 수어-to-텍스트(SL2T) 번역 모델을 발표했습니다. SL2T는 Pixel 11에서 Gboard와 Live Transcribe에 새로운 수어-to-텍스트 음성 인식 기능을 제공하며, 미국 수어(ASL)에서 영어로의 변환을 시작으로 사용자가 전화기로 수어를 통해 웹 검색, 메시지 초안 작성, 또는 Gemini와 상호작용할 수 있게 합니다.

기술 아키텍처 및 개인정보 보호

SL2T는 사용자 개인정보 보호와 처리 효율성을 보장하기 위해 좌표 기반 번역 시스템을 활용합니다. 원시 카메라 영상을 처리하는 대신, 시스템은 서명자의 신체에 대한 자세 랜드마크 위치를 추적하는 온디바이스 모델인 MediaPipe Holistic을 사용합니다. 오직 이러한 기하학적 좌표만 서버로 전송되어 번역되며, 원본 영상은 즉시 삭제됩니다.

번역 품질을 향상시키기 위해 SL2T는 이전 수어 AI에서 흔히 사용되는 '글로스'(중간 주석)를 우회합니다. 좌표 시퀀스를 직접 텍스트로 변환함으로써, 공간적 구성이나 비수기 표시와 같은 수어의 비선형적 특성을 더 잘 포착할 수 있으며, 인위적인 어휘 제한을 제거합니다.

훈련 및 성능

SL2T는 50개 이상의 수어에 걸쳐 10만 시간 이상의 데이터로 훈련된 대규모 다국어 모델입니다. 이 중 약 25%는 미국 수어(ASL) 데이터입니다. 팀은 다양한 언어, 방언, 수준의 공동 훈련이 모델이 공통된 기반 구조를 학습하게 하여 단일 언어 모델보다 더 우수한 성능을 낼 수 있음을 발견했습니다.

기준 성능 측정 결과, SL2T는 ASL에서 영어로의 번역을 위한 FLEURS-ASL(sd-test) 기준에서 70의 BLEURT 점수를 기록하며, Google DeepMind에 따르면 이는 이전에 보고된 어떤 점수보다도 훨씬 높은 수준입니다.

실제 적용 및 사용성

학술적 기준 외에도, SL2T 개발은 몇 가지 실용적인 사용성 문제에 초점을 맞췄습니다:

• 스트리밍 지연: 서명과 텍스트 출력 사이의 지연을 최소화합니다.
• 입력 필터링: 사용자가 서명하지 않을 때 환각 현상을 방지합니다.
• 포용성: 약 10%의 인구가 속하는 왼손 사용자에게 공정성을 보장하고, 스마트폰을 들고 있을 때 흔한 한손 서명에 최적화합니다.

커뮤니티 협업 및 거버넌스

Google DeepMind는 청각장애인 커뮤니티의 참여를 통해 SL2T를 개발했습니다. 이는 청각장애인인 Google 직원인 Sam Sepah의 개념 제안과 함께, 전 세계 청각장애인 단체 및 전문가들로 구성된 AI 수어 자문위원회(AISLAC)의 설립을 포함합니다.

이 협업을 통해 SL2T 1.0 출시를 기념해 공동 영향 보고서를 작성했으며, 기술의 현재 능력과 한계를 투명하게 설명하고 있습니다.

현재 한계

FLEURS-ASL 기준 예시에 따르면, 모델은 여전히 특정 영역에서 간헐적인 오류를 보입니다:

• 빠른 손가락 문자: 예를 들어 "prey"를 "grey"로 번역.
• 분류자 묘사: 예를 들어 "발톱"과 같은 특정 세부 사항을 누락.
• 시제 및 수동 구문: 충분한 맥락이 없거나 수동 문장 구조에서 시제 오류가 발생하는 경우가 있음.