OFASys: 다중모달 멀티태스크 학습을 위한 프레임워크

Qwen은 다중모달 멀티태스크 학습을 간소화하도록 설계된 AI 프레임워크인 OFASys를 소개했습니다. 간단한 "Instruction" 인터페이스를 활용함으로써, 시스템은 개발자가 단 한 줄의 코드만으로 다중모달 멀티태스크 학습 작업을 구축할 수 있게 하여 데이터 전처리, 모델 구축, 학습 안정성 확보와 같은 복잡성을 제거합니다.

Instructions를 통한 간소화된 작업 정의

OFASys는 복잡한 구현 과정을 템플릿 기반 Instruction 시스템으로 대체합니다. Instruction은 특정 구문(예: input -> output)을 사용해 작업 입력과 원하는 출력을 정의하며, 시스템은 이를 자동으로 처리하여 기본 데이터 파이프라인을 관리합니다.

  • 이미지 캡션 예시: [IMAGE:img] -> cap 라는 Instruction은 데이터셋의 img 열에 바인딩된 이미지 입력이 존재하고, 출력은 cap 열에 있는 텍스트 시퀀스가 되어야 함을 시스템에 알려줍니다.
  • 자연어 추론(NLI) 예시: NLI 작업의 경우, 시스템은 인코더에 대한 다중 입력을 지원하고 no_loss와 같은 신호를 사용해 반복 입력에 대한 손실 계산을 방지하며, closed_set을 통해 폐쇄형 라벨 집합을 지정할 수 있습니다.

시스템 아키텍처 및 설계

OFASys는 Instruction을 실행 가능한 작업 계획으로 변환하는 모듈식 설계를 사용합니다. 이 아키텍처는 다양한 모달리티가 일관된 내부 인터페이스를 통해 처리될 수 있도록 보장합니다.

작업 계획 구성 요소

각 작업 계획은 다음을 포함하는 모델 계층 구조로 구성됩니다:

  • 모달리티별 구성 요소: 특정 데이터 유형의 복잡성을 처리하는 전처리기, 후처리기, 어댑터.
  • 범용 모델: 모달리티에 구애받지 않는 계산 모델로, 다중모달 입력을 융합하고 출력을 생성합니다. 입력과 출력이 표현 시퀀스로 취급되기 때문에, 범용 모델은 모달리티와 무관하게 다재다능하게 유지됩니다.

학습 및 실행

멀티태스크 학습의 규모를 관리하기 위해 OFASys는 다음을 구현합니다:

  • 파라미터 공유: 기본적으로 시스템은 어댑터와 범용 모델 간에 학습 가능한 파라미터를 공유하여 예시 전반에 걸친 최적화를 극대화합니다.
  • 작업 및 논리 스케줄러: 작업 스케줄러는 공동 최적화와 작업 선행 관계를 관리하고, 논리 스케줄러는 여러 물리적 장치에 걸친 워크플로를 처리합니다.
  • 단계별 구성 요소: 학습 및 추론을 지원하기 위해 즉시 사용할 수 있는 생성기와 기준이 제공됩니다.

성능 검증: OFA+ 모델

프레임워크의 효과를 입증하기 위해 Qwen은 텍스트, 이미지, 음성, 비디오, 모션 데이터를 동시에 처리할 수 있는 일반화 모델인 OFA+를 개발했습니다.

연구진은 세 가지 모델 버전을 비교했습니다:

  1. OFA+ (Generalist): OFA 기반의 일반화 모델.
  2. OFA+ (Generalist MoE): 모달리티 수준의 Mixture of Experts(MoE)를 활용한 개선 버전.
  3. OFA+ (Specialist): 특정 작업에 대해 미세 조정된 원본 OFA 모델로, 베이스라인 비교에 사용됩니다.

결과에 따르면 OFA+는 7개의 서로 다른 모달리티에 걸쳐 23개의 다양한 작업을 확장하면서도 전문 모델 성능의 95% 이상을 유지합니다. 이는 멀티태스크 학습이 특정 작업에 대한 최고 수준의 성능을 희생하지 않고도 일반화 모델에 폭넓은 역량을 제공할 수 있음을 시사합니다.

Sources