OpenAI와 아이슬란드 정부의 아이슬란드어 보존 파트너십

OpenAI는 아이슬란드 정부, 비영리 언어 기술 센터 Almannarómur, 그리고 언어 기술 회사 Miðeind ehf와 협력하여 GPT-4를 아이슬란드어 보존 노력에 통합했습니다. 이 협업은 시민들이 일상적으로 사용하는 AI 애플리케이션 및 소프트웨어에서 아이슬란드어가 기능적이고 정확하게 유지되도록 함으로써 디지털 환경에서 아이슬란드어가 사라지는 것을 방지하는 것을 목표로 합니다.

RLHF를 활용한 저자원 언어 문제 해결

인간 피드백 강화 학습(Reinforcement Learning from Human Feedback, RLHF)은 GPT-4의 아이슬란드어 숙련도를 향상시키기 위해 사용되고 있으며, 저자원 언어에 대한 전통적인 파인튜닝의 한계를 극복하고 있습니다. GPT-4는 이전 버전보다 본질적으로 더 뛰어나지만, 초기에는 아이슬란드어에서 문법 오류와 부정확한 문화 지식을 여전히 나타냈습니다.

이를 해결하기 위해 Miðeind ehf가 이끄는 40명의 자원봉사 팀은 인간 테스트자가 다음과 같은 RLHF 프로세스를 구현했습니다:

  1. GPT-4에 프롬프트를 제공한다.
  2. 생성된 네 개의 완성을 검토한다.
  3. 가장 좋은 응답을 선택하고 편집하여 이상적인 완성을 만든다.

이 피드백 루프는 모델을 추가로 학습시키는 데 사용됩니다. 이 방법은 300,000개의 예시에도 불구하고 문법적인 아이슬란드어를 생성하지 못했던 GPT-3 파인튜닝 시도보다 훨씬 효율적입니다. 반면 RLHF는 단 100개의 예시만으로도 의미 있는 결과를 도출할 수 있어, 다른 '롱테일' 혹은 저자원 언어들이 'AI 격차'를 피할 수 있는 실현 가능한 경로가 됩니다.

언어 및 문화 정확성 향상

GPT-4는 아이슬란드어 처리에서 GPT-3 및 GPT-3.5에 비해 현저한 향상을 보여주며, 특히 문화적 뉘앙스와 정확한 번역 측면에서 개선되었습니다.

번역 정확도

이 향상의 한 예는 "Donald Duck"의 번역입니다. GPT-3와 ChatGPT(GPT-3.5)가 잘못된 답을 제시한 반면, GPT-4는 아이슬란드어 이름을 정확히 "Andrés Önd"로 식별했습니다.

문화 및 맥락 인식

GPT-4는 프롬프트의 언어에 따라 다른 응답을 보여주어 지역화된 맥락을 제공할 수 있습니다:

  • Icelandic Prompt: 의회 의원 수에 대해 물었을 때, GPT-4는 아이슬란드 의회인 Alþingi가 63명의 의원을 가지고 있다고 정확히 식별했습니다.
  • English Prompt: 같은 질문을 영어로 했을 때, 모델은 영국, 캐나다, 인도, 호주 등 여러 국가의 의원 목록을 일반적으로 제공했습니다.
  • Presidential Context: 아이슬란드어로 대통령이 누구인지 물었을 때, 모델은 Guðni Th. Jóhannesson(2021년 기준)을 정확히 식별했습니다.

실용적 적용 및 향후 목표

이 파트너십의 궁극적인 목표는 아이슬란드 기업들이 영어에 의존하지 않고 GPT-4를 인터랙티브 애플리케이션에 배포할 수 있도록 하는 것입니다. 이를 통해 모국어가 디지털 상호작용의 기본 언어로 유지됩니다.

주요 계획된 적용 사례는 다음과 같습니다:

  • Voice Assistants: Miðeind가 만든 음성 비서 앱 Embla는 백엔드로 GPT-4를 사용하여 유창한 아이슬란드어 대화와 번역을 제공할 것입니다.
  • Business Integration: 아이슬란드 기업들은 영어 기반 대안에 의존하는 대신 웹사이트에 원어 아이슬란드어 챗봇을 구현할 수 있습니다.

이러한 발전에도 불구하고, 팀은 남아 있는 문법 및 철자 오류를 제거하기 위해 모델을 지속적으로 개선하고 있으며, 아이슬란드어로 복잡하고 창의적인 애플리케이션을 구동할 수 있도록 하고 있습니다.

Sources