Falcon-H1-Arabic 릴리즈 노트

Hugging Face는 Falcon-H1-Arabic을 소개했습니다. 이 모델군은 3B, 7B, 34B 파라미터를 갖는 세 가지 고급 아랍어 언어 모델로, 하이브리드 Mamba-Transformer 아키텍처를 활용하여 아랍어 자연어 처리에서 최첨단 성능을 달성합니다. 이번 릴리즈는 컨텍스트 처리 능력을 크게 확장하고, 이전 버전 대비 방언 이해와 추론 능력을 향상시켰습니다.

하이브리드 Mamba-Transformer 아키텍처

Falcon-H1-Arabic은 Falcon-H1 하이브리드 아키텍처를 기반으로 하며, 각 블록에서 State Space Models (Mamba)와 Transformer 어텐션을 병렬로 통합합니다. 두 구성 요소의 표현은 블록 출력 투사 전에 융합됩니다.

이 설계는 긴 시퀀스에 대해 Mamba의 선형 시간 확장성을 제공하면서, 어텐션의 정밀한 장거리 모델링을 결합합니다. 아랍어의 풍부한 형태론과 유연한 문장 구조를 고려할 때, 이 아키텍처는 장문 텍스트 전반에 걸친 일관성과 추론을 개선합니다.

확장된 컨텍스트 윈도우

Falcon-H1-Arabic은 법률 기록이나 기술 문서와 같은 방대한 문서 분석을 지원하기 위해 컨텍스트 한도를 크게 늘렸습니다. 모델은 "중간 손실" 문제를 완화하도록 특별히 사후 학습되어 전체 컨텍스트 범위를 효과적으로 활용합니다.

파라미터	컨텍스트 윈도우	이상적인 사용 사례
3B	128K 토큰	빠른 에이전트, 고 QPS 시스템, 경량 분석
7B	256K 토큰	프로덕션 어시스턴트, 추론, 엔터프라이즈 채팅
34B	256K 토큰	장문 문서 분석, 연구, 고위험 작업

데이터 파이프라인 및 방언 다양성

모델은 약 3000억 토큰을 학습했으며, 아랍어, 영어, 다국어 콘텐츠가 거의 동등하게 섞여 있어 전 세계적인 추론 및 STEM 역량을 유지합니다.

데이터 파이프라인의 주요 개선 사항:

심층 언어 분석: 팀은 휴리스틱 필터링을 아랍어 철자법, 형태론, 모음 부호, 구문 패턴에 맞춘 다단계 품질 필터링 프로세스로 교체했습니다.
방언 커버리지: 데이터셋에 이집트, 레반틴, 걸프, 마그레브 방언 등 실제 사용되는 다양한 아랍어 방언을 추가하여 모델이 현대 표준 아랍어(MSA)에 과도하게 의존하는 현상을 감소시켰습니다.

사후 학습 및 정렬

Falcon-H1-Arabic은 핵심 역량을 손상시키지 않으면서 능력을 정제하기 위해 두 단계의 사후 학습 과정을 거칩니다:

지도 미세조정 (SFT): 모델에 고품질 아랍어 지시문과 장문 컨텍스트 예시를 제공하여 지시를 따르고 제공된 정보에 근거한 응답을 생성하도록 학습합니다.
직접 선호 최적화 (DPO): 이 단계에서는 정렬과 대화 품질을 개선하여 대화 중 이전 정보를 무시하거나 흐트러지는 오류를 감소시킵니다.

벤치마크 성능

Falcon-H1-Arabic은 여러 핵심 벤치마크에서 최첨단 결과를 달성했으며, 종종 훨씬 큰 규모의 모델을 능가합니다.

Open Arabic LLM Leaderboard (OALL)

3B 모델: 약 62%를 기록, Gemma-4B, Qwen3-4B, Phi-4-mini 등 소규모 모델보다 약 10포인트 앞섭니다.
7B 모델: 71.7% 점수, Fanar-9B, Qwen3-8B 등 ~10B 규모 모델을 능가합니다.
34B 모델: 약 75%에 도달, Llama-3.3-70B, AceGPT2-32B 등 더 큰 시스템보다 우수합니다.

특화 벤치마크

3LM (STEM): 34B 모델이 네이티브 분할에서 약 96%, 합성 분할에서 94%를 기록합니다.
ArabCulture: 34B 모델이 약 80% 점수를 획득합니다.
AraDice (방언): 34B 모델이 다양한 방언에서 약 53점을 달성합니다.

배포 시나리오

3B 모델: 지연 시간과 비용이 중요한 엣지 배포, 실시간 애플리케이션, 에이전트 시스템에 최적화되었습니다.
7B 모델: 프로덕션 챗봇, 요약 파이프라인, 콘텐츠 생성 등 일반 목적 작업에 적합한 다목적 워크호스입니다.
34B 모델: 의료 요약, 법률 분석 등 최대 정확도와 장거리 추론이 요구되는 고위험 분야를 목표로 합니다.