Granite Switch 4.1: 채팅, 의사 결정, 음성을 하나의 엔드포인트로

요약: IBM의 Granite Switch 4.1 릴리스는 채팅, 일반 및 특수 의사 결정, 음성-텍스트 변환을 단일 8B 및 30B 모델 엔드포인트에 패키징합니다. 이 릴리스는 기본 모델 이상의 GPU 메모리를 증가시키지 않으면서 이러한 기능을 추가하고, OpenASR 리더보드에서 가장 빠른 ASR 모델을 기본 LLM과 함께 제공한다는 점에서 중요합니다.

Granite Switch 4.1에 포함된 내용

Granite Switch 4.1은 Granite Switch 프로젝트에서 도입한 모듈식 모델 구성 접근 방식입니다. 4.1 릴리스는 세 가지 추가 기능으로 구성된 Granite-Switch-4.1-8B 및 Granite-Switch-4.1-30B 모델을 제공합니다: 일반 목적의 의사 결정을 위한 새로운 Decision aLoRA(예: v1/systemone), 안전 관련 의사 결정 작업을 위한 특수 Guardian aLoRA, 그리고 전사를 위한 Granite-Speech-5.0-Turbo-CTC입니다. 세 가지 기술 모두와 기본 모델이 하나의 모델로 구성됩니다.

Decision 및 Guardian 어댑터

Decision aLoRA는 일반 목적의 의사 결정을 처리합니다. Guardian aLoRA는 안전 관련 의사 결정 작업에 특화되어 있으며, 해당 작업에서 평균적으로 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 뛰어난 성능을 보입니다. 이 게시물은 이러한 어댑터를 더 넓은 의사 결정 모델 전략의 일부로 자리매김합니다: Granite Libraries는 이미 사용자 정의 Granite Switch 모델에 구성할 수 있는 특수 의사 결정 모델 어댑터 및 기타 특수 작업 어댑터의 저장소를 제공합니다. Jev 및 기타 폐쇄형 의사 결정 모델이 일반성에 초점을 맞추는 반면, 특수 granitelib 어댑터는 특수 분류 작업에서 일반 모델보다 뛰어난 성능을 발휘할 수 있습니다.

Granite-Speech-5.0-Turbo-CTC를 사용한 음성-텍스트 변환

Granite-Speech-5.0-Turbo-CTC는 OpenASR 리더보드에서 가장 빠른 ASR 모델로 설명됩니다. 이 모델은 전사 작업을 위해 Granite Switch 4.1에 내장되어 있습니다. 함께 배치된 ASR 인코더는 모델이 채팅, 의사 결정, 음성 요청 간에 전환할 수 있도록 도와줍니다. Speech-to-Decisions Hugging Face 공간은 granite-switch-4.1-8b가 오디오를 전사하고, 요약을 생성하고, 유해 콘텐츠를 선별하고, 15개의 다른 사용자 정의 플래그를 테스트하는 것을 보여주며, 이 모든 것이 단일 엔드포인트에서 실시간으로 실행됩니다.

효율성: 단일 엔드포인트, 기본 모델 VRAM, KV 캐시 재사용

Granite Switch 4.1은 기본 모델과 어댑터를 GPU에서 기본 모델이 단독으로 사용하는 것과 거의 동일한 VRAM으로 구성합니다. 이는 더 적은 GPU로 더 많은 기능을 제공함을 의미합니다. Switch 어댑터는 캐시 효율적인 활성화된 LoRA로 구축되므로, 기본 모델 생성에서 생성된 KV 캐시는 후속 어댑터 기반 의사 결정에 재사용될 수 있습니다. 이 릴리스는 또한 저순위 어댑터 추론을 가속화하기 위한 최근 vLLM 기여를 통합합니다. 어댑터가 기본 모델의 KV 캐시를 공유하므로, 일반 의사 결정 어댑터 옆에 특수 어댑터를 추가하는 데 거의 비용이 들지 않습니다. 이는 일반 모델의 광범위한 적용 범위와 중요한 작업에서 특수 모델의 더 높은 정확도를 제공합니다.

성능 비교: RAG 워크플로 및 Doom

Granite-Switch-4.1-30B(동결된 기본 Granite + 4개의 특수 aLoRA)와 Jev-27B(동결된 기본 Qwen 모델 + 1개의 일반 의사 결정 LoRA) 간의 경쟁에서 Granite-Switch-4.1-30B는 실제 5단계 RAG 워크플로를 경쟁 제품보다 훨씬 빠르게 완료했습니다. 별도의 데모에서, 사용자 정의 3B 매개변수 Granite Switch 모델은 초당 60-100회의 의사 결정으로 고전 게임 Doom을 탐색하기 위해 분할 초 결정을 내렸으며, Jev의 보고된 초당 10회의 의사 결정과 비교됩니다. Jev와 달리, 이 Granite Switch 모델은 게임을 하는 동안 해설하고 질문에 응답할 수도 있습니다.

자신만의 Granite Switch 모델 구성

Granite-Switch-4.1-8B 및 -30B는 '배터리 포함' 방식으로 유용한 어댑터의 사전 정의된 세트와 함께 릴리스됩니다. 사용자는 정확히 그 구성을 사용할 필요가 없습니다. 누구나 Granite Libraries의 어댑터를 혼합하고 매칭하여 자신만의 Granite Switch 모델을 구성할 수 있습니다. Granite 팀은 다른 튜토리얼 및 Granite Switch 지원과 함께 Mellea에서 어댑터를 훈련하기 위한 Adapter SDK를 릴리스할 계획입니다. 이러한 어댑터는 의사 결정 기반 워크플로를 강화하기 위한 특수 분류 어댑터이거나 특수 언어 작업을 위한 어댑터일 수 있습니다. 이 게시물은 사용자 정의 어댑터가 3B 매개변수 버전의 Granite가 Doom을 플레이하도록 가르칠 수도 있다고 언급합니다. Granite Switch에 대한 더 많은 세부 정보와 데이터는 앞으로 몇 주 안에 릴리스될 예정입니다.

시작을 위한 리소스

Sources