Hugging Face 음성 클로닝과 동의

Hugging Face는 "음성 동의 게이트"를 도입했는데, 이는 말하는 사람이 명시적으로 녹음된 동의를 제공한 후에만 음성 클로닝이 발생하도록 보장하는 기술적 프레임워크입니다. 이 접근 방식은 동의라는 추상적인 윤리 원칙을 기능적 시스템 전제 조건으로 변환하여, 사용자의 활발한 허가 없이 사용자의 음성으로 합성 음성을 생성하는 모델을 방지합니다.

동의로서의 시스템 인프라

음성 동의 게이트는 특정 동의 문구의 인식을 모델 활성화의 조건으로 삼아 윤리 원칙을 AI 워크플로에 직접 내장합니다.これにより, 명확한 동의 행위가 시스템 실행의 필수 조건인 추적 가능하고 감사 가능한 상호작용이 생성됩니다. 기본적으로 자율성을 존중하도록 시스템을 설계함으로써, 투명성과 동의는 단순한 선언적 statement가 아닌 기능적 요구 사항이 됩니다.

음성 동의 게이트의 기술적 구현

음성 동의 게이트가 있는 기본 음성 클로닝 시스템은 세 가지 주요 구성 요소가 필요합니다:

1. 음성 동의 문장 생성: 화자가 읽을 수 있는 새로운 문장을 생성하는 방법으로, 현재 동의 컨텍스트를 고유하게 참조합니다.
2. 자동 음성 인식 (ASR): 발화된 문장을 인식하여 동의를 확인하는 시스템
3. 음성 클로닝 텍스트-음성 변환 (TTS): 화자의 음성 스니펫을 사용하여 새로운 오디오를 생성하는 시스템

동의 및 클로닝 프로세스

Hugging Face는 현대 음성 클로닝 시스템이 단 한 문장만으로 음성을 생성할 수 있기 때문에, 동의를 확인하는 데 사용되는 문장이 동시에 클로닝 과정의 기술적 입력으로 사용될 수 있다고 관찰합니다.

동의 메커니즘 동의가 정보에 기반하고 상황별로 구체적이도록 보장하기 위해, 시스템은 특정 동의 문구와 사용 중인 모델의 이름을 포함하는 짧은 영어 발화(약 20단어)를 생성합니다(예: "I give my consent to use the < MODEL > voice cloning model with my voice)). 조작되거나 사전에 존재하는 녹음을 사용하는 위험을 최소화하기 위해 시스템은 다음과 같이 권장합니다:

• 파일 업로드 대신 직접 마이크 입력 사용.
• 현재 세션을 색인화하기 위해 이전에 말하지 않은 새로운 문장 생성.

기술적 품질 보장 고품질 합성을 위해 입력 오디오는 음성 다양성, 중립적이거나 예의 바른 어조, 그리고 명확한 시작과 끝을 가져야 합니다. 이를 달성하기 위해 언어 모델은 각 사용자에 대해 문장 쌍을 생성합니다:

• 명시적 동의를 표현하는 문장.
• 효과적인 클로닝에 필요한 다양한 모음과 자음을 제공하기 위해 날씨, 음식, 음악과 같은 일상적인 무작위 주제에 대한 중립적인 문장.

생성된 문구의 예시는 다음과 같습니다: "I give my consent to use my voice for generating synthetic audio with the Chatterbox model today. My daily commute involves navigating through crowded streets on foot most days lately anyway."

음성 클로닝 시스템 잠금 해제

ASR 시스템이 화자의 입력이 생성된 텍스트와 일치함을 확인하면 음성 클로닝 시스템이 잠금 해제됩니다. Hugging Face는 이 워크플로에 대한 여러 구현 옵션을 제공합니다:

• 직접 활성화: 동의 오디오는 임의의 텍스트를 생성하기 위한 음성 클로닝 모델의 시드로 직접 사용됩니다.
• 외부 파일 동의: 시스템을 수정하여 화자가 온라인 녹음과 같은 다양한 기타 업로드된 음성 파일의 사용에 동의할 수 있도록 할 수 있습니다.
• 지속적 동의: 동의 오디오는 장기적인 맥락을 반영하도록 동의 문구를 조정한 경우에만 시스템 내 미래 사용을 위해 huggingface_hub 업로드 기능을 통해 저장할 수 있습니다.

도입을 용이하게 하기 위해, Hugging Face는 개발자가 자신의 프로젝트에 이러한 동의 게이트를 통합할 수 있도록 예시 Space와 동반되는 모듈형 코드를リリース했습니다.