OpenAI Voice Engine: 합성 음성 기능 및 안전 프레임워크

Voice Engine Technical Capabilities

Voice Engine은 최소한의 데이터로 감정적이고 현실감 있는 합성 음성을 만들 수 있습니다. 모델은 단일 15초 오디오 샘플과 텍스트 입력만으로 원본 화자와 매우 유사한 음성을 생성합니다.

2022년 말에 개발된 이 기술은 이미 OpenAI의 텍스트-음성 변환 API에 사전 설정된 음성을 제공하고 있으며, ChatGPT의 Voice 및 Read Aloud 기능에도 사용되고 있습니다. 모델의 핵심 기술적 특징은 번역 과정에서 원본 화자의 고유 억양을 유지하는 능력으로, 예를 들어 프랑스어 화자의 오디오 샘플을 사용해 영어 음성을 생성하면 프랑스 억양이 섞인 영어가 나오게 됩니다.

Early Applications and Use Cases

OpenAI는 현재 소수의 파트너와 함께 Voice Engine을 테스트하며 다양한 분야에서 높은 영향을 미칠 수 있는 적용 사례를 탐색하고 있습니다:

Education and Accessibility

  • Reading Assistance: Age of Learning은 모델을 사용해 사전 스크립트된 보이스오버 콘텐츠와 실시간 맞춤형 응답을 학생들에게 제공하며, 표준 사전 설정 옵션보다 더 다양한 감정적 음성을 제공합니다.
  • Non-Verbal Communication: Livox는 Voice Engine을 보완·대체 의사소통(AAC) 기기에 통합하여 비언어적 사용자가 고유하고 로봇같지 않은 음성을 여러 언어에 걸쳐 일관되게 사용할 수 있게 합니다.

Global Reach and Translation

  • Content Translation: HeyGen은 모델을 비디오 번역에 활용하여 제작자가 자신의 음성을 여러 언어로 번역하면서도 원래의 음성 특성을 유지할 수 있게 합니다.
  • Essential Service Delivery: Dimagi는 Voice Engine과 GPT-4를 사용해 지역 보건 종사자들에게 스와힐리어와 Sheng(케냐의 코드 혼합 언어) 등 주요 언어로 인터랙티브 피드백을 제공합니다.

Medical Recovery

  • Voice Restoration: Lifespan의 Norman Prince Neurosciences Institute는 언어 장애 환자를 돕기 위해 이 기술을 파일럿하고 있습니다. 한 사례에서는 혈관성 뇌종양으로 유창한 말을 잃은 환자의 목소리를 이전 학교 프로젝트에서 사용한 15초 클립으로 복원했습니다.

Safety Framework and Deployment Guardrails

위장 및 사기의 가능성 때문에 OpenAI는 현재 프리뷰에 대해 엄격한 안전 프레임워크를 구현했습니다:

  • Consent and Policy: 파트너는 동의 없이 개인이나 조직을 사칭하는 것을 금지하는 사용 정책을 준수해야 합니다. 원본 화자의 명시적이고 충분히 이해된 동의가 필요합니다.
  • Developer Restrictions: 개발자는 개별 사용자가 자신의 음성을 만들 수 있는 도구를 구축하는 것이 금지됩니다.
  • Transparency: 모든 AI 생성 음성은 청중에게 명확히 고지되어야 합니다.
  • Technical Safeguards: OpenAI는 생성된 오디오의 출처를 추적하기 위해 워터마킹을 구현했으며, 사용을 사전에 모니터링합니다.

OpenAI는 향후 광범위한 배포 시 원본 화자를 확인하는 음성 인증과 "no-go voice list"를 포함할 것을 제안합니다.

Societal Implications and Recommendations

OpenAI는 현재 시점에서 Voice Engine을 광범위하게 공개하지 않으며, 설득력 있는 생성 모델에 대한 사회적 회복력을 강화할 필요가 있다고 밝히고 있습니다. 연구소는 다음과 같은 시스템적 변화를 권고합니다:

  • Security Updates: 은행 계좌 및 기타 민감한 데이터 접근에 사용되는 음성 기반 인증을 단계적으로 폐지합니다.
  • Policy Development: AI에서 개인의 음성 사용을 법적으로 보호하는 정책을 수립합니다.
  • Public Education: AI의 능력과 한계, 특히 기만적 콘텐츠 위험에 대한 대중 인식을 높입니다.
  • Provenance Tracking: 실제 인간과 AI를 구분하기 위해 시청각 콘텐츠의 출처를 추적하는 기술 도입을 가속화합니다.

Sources