Aleph Alpha Kolibri 릴리스: 규제 산업을 위한 주권형 오픈 웨이트 모델

Aleph Alpha는 공공 행정, 항공우주, 산업 제조와 같은 규제 산업 분야의 주권적이고 미션 크리티컬한 애플리케이션을 위해 설계된 오픈 웨이트 Mixture-of-Experts (MoE) 트랜스포머인 Kolibri를 출시했습니다. 이 모델은 Apache 2.0 라이선스로 릴리스되었으며 Hugging Face에서 사용할 수 있습니다.

모델 아키텍처 및 효율성

Kolibri는 고수준의 성능과 서빙 비용 간의 균형을 최적화하도록 설계되었으며, 영어와 독일어 모두에서 품질 대 처리량(throughput) 측면의 "파레토 프론티어(Pareto frontier)"에 위치합니다.

파라미터 수: 총 78.1B 파라미터, 토큰당 약 3.46B 활성 파라미터.
컨텍스트 윈도우: 최대 100만 토큰의 컨텍스트 길이 지원 (256k까지 학습됨).
어텐션 메커니즘: 효율성을 유지하기 위해 50개 레이어 중 40개는 슬라이딩 윈도우(512 토큰)를 사용하며, 10개 레이어만 전체 컨텍스트를 처리합니다.
MoE 설계: Aleph Alpha의 내부 테스트에서 성능 향상이 확인된 바와 같이, 소수의 대형 전문가 대신 384개의 소형 전문가를 활용합니다.

이중 언어 전문화 및 토큰화

주로 영어 중심이며 나중에 다른 언어로 조정되는 모델과 달리, Kolibri는 설계 단계부터 이중 언어를 지원합니다.

독일어 중심 학습

Aleph Alpha는 기계 번역된 코퍼스와 관련된 "문화적 지문"과 번역 오류를 피하기 위해 유기적인 독일어 데이터에 집중했습니다. 독일어 데이터는 사전 학습 토큰의 21.3%(약 4.3T 토큰)를 차지합니다. 이는 다음을 통해 달성되었습니다:

맞춤형 큐레이션: 공식 기록이 실수로 삭제되는 것을 방지하기 위해 독일 행정 문체에 대한 필터링 파라미터를 재조정했습니다.
LLM 재작성: LLM을 사용하여 유기적인 독일어 문서를 다양한 스타일(예: 백과사전 항목)로 다시 작성함으로써 희소한 고품질 데이터의 활용도를 극대화했습니다.
최소한의 번역: 진정한 문화적 및 제도적 맥락을 보존하기 위해 번역은 제한적으로(전체의 6%) 사용되었습니다.

UniBPE 토크나이저

Kolibri는 BPE의 상향식 접근 방식과 Unigram 학습 목표를 결합한 UniBPE 토크나이저를 도입했습니다. 이 방법은 독일어의 형태론, 특히 복합어 구조를 더 잘 반영하여 표준 BPE나 다른 프론티어 모델 토크나이저보다 더 높은 압축률(단어당 더 적은 토큰)을 제공합니다.

근거 제시 및 환각(Hallucination) 감소

규제 산업의 요구 사항을 충족하기 위해 Kolibri는 제공된 컨텍스트에 필요한 정보가 없을 경우 답변을 거부하도록 특별히 학습되었습니다.

Merlin-Arthur 프로토콜

Aleph Alpha는 합성 부정 예제를 생성하기 위해 독점적인 Merlin-Arthur 프로토콜을 사용합니다. 이 프로세스는 세 가지 역할을 포함합니다:

Arthur: 학습 중인 모델.
Merlin: 정답 확률을 높이는 컨텍스트를 생성.
Morgana: 모델이 환각을 일으키도록 문서에서 증거를 제거.

Morgana의 편집된 컨텍스트에 대해 학습함으로써 Kolibri는 증거가 부족할 때 답변을 거부하는 것이 유일한 올바른 전략임을 배웁니다. 그 결과 AA-Omniscience 벤치마크에서 비환각률이 크게 향상되었습니다 (Kolibri 44% vs Kolibri Origin 14.8%).

"모델 팩토리" 파이프라인

Kolibri는 "Model Training as Code" 접근 방식을 사용하여 개발되었으며, 이를 통해 Aleph Alpha는 이전 버전인 Kolibri Origin에서 단 3개월 만에 반복 개선할 수 있었습니다.

자동화: 파이프라인은 GitHub Actions를 통해 완전히 자동화되어 있으며, 모든 코드 변경 시 안정성을 검증하기 위해 소규모 엔드투엔드 실행이 트리거됩니다.
견고성: 768개의 B200 GPU에서 진행된 21일간의 사전 학습 실행 동안, 파이프라인은 수동 개입 없이 38번의 계획되지 않은 하드웨어 또는 연결 중단을 자동으로 처리했습니다.
학습 규모: Kolibri는 사전 학습(16k 시퀀스 길이), 중간 학습(64k), 장기 컨텍스트 적응(256k)의 3단계 과정을 포함하여 총 24T 토큰에 가까운 학습을 수행했습니다.

성능 및 벤치마크

Kolibri는 수학, 코딩, 에이전트 작업 전반에서 경쟁력 있는 성능을 보여주며, 종종 활성 파라미터 수가 4배 더 많은 모델과 대등한 성능을 보입니다.

벤치마크	Kolibri	Kolibri Origin	Nemotron 3 Super (120B-A12B)	Mistral Small 4 (119B-A6B)
AIME 2025	96.9	81.9	91.7	79.8
GPQA (Diamond)	84.3	68.1	78.0	74.7
LiveCodeBench v6	85.9	59.2	82.0	71.2
HumanEval+	92.7	76.8	94.7	92.8

커뮤니티 통찰 및 반론

기술 보고서는 투명성 측면에서 찬사를 받았지만, 이번 릴리스는 "주권"의 정의에 관한 논의를 촉발했습니다.

"주권이라는 주제는 일반적으로 더 많은 관심이 필요합니다... 모델을 자체 호스팅하는 것은 주권의 한 부분일 뿐이며, 임베딩, 검색, 메모리 등 나머지 에이전트 스택은 어떻게 처리할 것인가요?" — @handle

다른 비평가들은 캐나다 기업인 Cohere와의 합병 보도를 지적하며, 회사가 유럽 밖에서 운영된다면 "주권" 주장이 여전히 유효한지 의문을 제기했습니다. 또한 일부 사용자는 모델이 벤치마크에서는 강력하지만 독일 관료제에서의 실제 적용은 여전히 주의가 필요하다고 지적했으며, 한 사용자는 최신 법률(Digital Services Act) 대신 구식 법률을 참조하는 오류를 보고하기도 했습니다.

배포

Kolibri는 Hugging Face에서 사용할 수 있으며 vLLM 통합을 위해 aleph-alpha-inference 패키지가 필요합니다.

권장 서빙 명령어:

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice