Inkling 오픈 웨이트 모델 출시

Inkling 오픈 웨이트 모델 출시

Inkling은 41B의 활성 가중치를 가진 975B 파라미터 Mixture-of-Experts 트랜스포머로, 1M 토큰 컨텍스트와 완전한 오픈 웨이트 출시를 통해 Thinking Machines의 Tinker 플랫폼에서 미세 조정(fine-tuning)이 가능한 최초의 대규모 멀티모달 오픈 모델입니다.

Inkling이 중요한 이유: 멀티모달, 효율적이며 커스터마이징 가능한 파운데이션 모델

Inkling은 멀티모달 추론(텍스트, 이미지, 오디오, 비디오)의 조합, 제어 가능한 사고 노력(thinking effort), 그리고 Tinker의 미세 조정 UI와의 원활한 통합을 통해 개발자들에게 도메인 특화 에이전트를 구축하기 위한 실용적인 오픈 웨이트 기반을 제공합니다. 비록 원시 벤치마크 점수에서 가장 강력한 모델은 아닐지라도 말입니다.

핵심 사양

  • Architecture: MoE 트랜스포머 (레이어당 256개의 라우팅된 전문가, 토큰당 6개 활성)로, sliding-window + global attention (5:1 비율) 및 relative positional embeddings를 사용합니다.
  • Scale: 총 975B 파라미터, 추론 시 41B 활성; 1M 토큰 컨텍스트 윈도우.
  • Training data: 텍스트, 이미지, 오디오, 비디오를 아우르는 45조(45 trillion) 토큰.
  • Multimodal inputs: 이미지는 40x40 픽셀 패치로 처리되어 4층 hMLP를 거칩니다. 오디오는 이산적(discrete) dMel 스펙트로그램으로 처리됩니다.
  • Effort control: 런타임

Sources