T5Gemma: 디코더 전용 적응을 통한 인코더-디코더 LLM

Google DeepMind은 사전 학습된 디코더 전용 모델을 인코더-디코더 아키텍처로 변환하여 만든 새로운 인코더-디코더 대형 언어 모델(LLM) 컬렉션인 T5Gemma를 도입했습니다. 이 접근 방식은 모델이 인코더-디코더 설계의 강점—추론 효율성 향상 및 풍부한 입력 표현—을 활용하면서 이미 사전 학습된 디코더 전용 모델에 포착된 지식을 활용할 수 있게 합니다.

모델 적응: 디코더 전용에서 인코더-디코더로 변환

T5Gemma는 모델 적응이라는 기술을 사용하여 개발됩니다. 처음부터 인코더-디코더 모델을 훈련하는 대신, 새로운 모델의 매개변수는 사전 학습된 디코더 전용 모델의 가중치를 사용하여 초기화됩니다. 이러한 매개변수는 UL2 또는 PrefixLM 기반 목표를 사용한 사전 훈련을 통해 추가로 적응됩니다.

이 적응 방법은 "언밸런스" 모델을 포함한 유연한 아키텍처 구성을 가능하게 합니다. 예를 들어, 9B 인코더는 2B 디코더와 짝을 이룰 수 있습니다(T5Gemma 9B-2B). 이러한 유연성은 요약과 같은 작업에서 입력(인코더)을 이해하는 것이 생성된 출력(디코더)의 복잡성보다 더 중요한 경우 품질-효율 트레이드오프를 최적화할 수 있게 합니다.

품질 및 추론 효율성

T5Gemma 모델은 디코더 전용 Gemma 모델에 비해 품질-추론 효율성 파레토 프론티어가 우수함을 보여줍니다. 이는 주어진 수준의 추론 연산에 대해 더 나은 성능을 제공한다는 의미입니다.

주요 성능 관찰 사항은 다음과 같습니다:

  • 지연 시간과 정확도: GSM8K(수학 추론) 벤치마크에서 T5Gemma 9B-9B는 유사한 지연 시간을 유지하면서 Gemma 2 9B보다 높은 정확도를 달성합니다.
  • 효율성 향상: T5Gemma 9B-2B 모델은 2B-2B 모델보다 상당한 정확도 향상을 제공하면서 훨씬 작은 Gemma 2 2B 모델과 거의 동일한 지연 시간을 유지합니다.
  • 표현 품질: T5Gemma 모델은 SuperGLUE(학습된 표현의 품질을 측정하는 벤치마크)를 포함한 여러 벤치마크에서 품질-추론 효율성 프론티어를 거의 지배합니다.

추론 및 지시 튜닝 기능

T5Gemma는 사전 학습 상태와 지시 튜닝 상태 모두에서 추론 및 일반 기능에 상당한 향상을 보입니다.

사전 학습 성능

적응을 통한 사전 학습은 복잡한 추론 작업에서의 성능 향상을 이끌어냅니다. 원래의 Gemma 2 9B 모델과 비교했을 때, T5Gemma 9B-9B는 다음과 같은 점수를 얻습니다:

  • GSM8K(수학 추론)에서 9점 이상 높음.
  • DROP(독해 이해)에서 4점 높음.

지시 튜닝(IT) 성능

지시 튜닝 후 T5Gemma와 디코더 전용 모델 간의 성능 격차가 더욱 커집니다. 예를 들어, T5Gemma 2B-2B IT는 다음과 같이 나타납니다:

  • Gemma 2 2B에 비해 MMLU 점수가 거의 12점 증가.
  • GSM8K 점수가 58.0%에서 70.7%로 증가.

사용 가능한 T5Gemma 체크포인트

Google DeepMind은 Hugging Face, Kaggle, Vertex AI 전반에 걸쳐 커뮤니티에 T5Gemma 체크포인트 세트를 출시했습니다. 출시된 모델에는 다음이 포함됩니다:

  • 다양한 크기: T5 크기의 모델들(Small, Base, Large, XL), Gemma 2 기반 모델들(2B 및 9B), 그리고 T5 Large와 T5 XL 사이에 위치한 모델.
  • 다양한 변형: 사전 학습 버전과 지시 튜닝 버전이 모두 제공됩니다.
  • 유연한 구성: 인코더-디코더 크기 트레이드오프를 탐색하기 위해 언밸런스 9B-2B 체크포인트가 제공됩니다.
  • 훈련 목표: PrefixLM 또는 UL2 목표를 사용해 훈련된 모델은 최첨단 생성 성능 또는 표현 품질을 지원하기 위해 제공됩니다.}

Sources