aisingapore/sealion

해결하는 문제

SEA-LION은 기존 대규모 언어 모델에서 동남아시아(SEA) 언어, 문화, 맥락의 대표성 부족을 해결하기 위해 설계되었습니다. 이 지역의 과소 대표 인구 집단과 저자원 언어를 지원하는 오픈소스 모델 제품군을 제공합니다.

작동 방식

이 프로젝트는 다양한 버전에서 여러 훈련 전략을 사용합니다:

• 지속 사전 훈련(CPT): v2, v3, v4.8 버전에서 사용되며, 기본 모델(Llama 3.1, Gemma 2, Nemotron 등)을 지역 언어에 적응시킵니다.
• 지도 미세 조정(SFT): 지시 및 추론 모델, 그리고 비전-언어 모델(VLM) 및 안전 계층의 특수 버전을 만드는 데 사용됩니다.
• 처음부터 사전 훈련: 초기 v1 모델에 사용됩니다.
• 지식 증류 및 모델 병합: v4.5에서 사용되며, 추론 및 에이전트 도구 사용을 위해 최첨단 기반 모델을 특화합니다.

또한, 생태계에는 지역 검색 및 의미적 텍스트 유사성을 위한 SEA-LION-Embedding과 문화적으로 조정된 안전 필터링을 위한 SEA-Guard가 포함됩니다.

대상 사용자

동남아시아의 개발자, 연구자, 조직 또는 지역 언어와 문화적 맥락을 다루는 사람들로, 고성능 오픈소스 LLM 및 임베딩 모델이 필요한 경우.

주요 특징

• 광범위한 언어 지원: 버마어와 말레이어를 포함한 13개 지역 언어를 지원합니다.
• 멀티모달 기능: v4 모델은 256K 네이티브 컨텍스트 창과 지역 OCR로 이미지 및 텍스트 입력을 처리할 수 있습니다.
• 전문 생태계: 지역 검색을 위한 전용 임베딩 모델과 SEA 문화 규범에 맞춘 안전 계층(SEA-Guard)을 포함합니다.
• 오픈소스 정신: 사전 훈련 및 미세 조정 데이터, 훈련 코드, 평가 벤치마크에 대한 개방적 접근을 제공합니다.
• 높은 컨텍스트 창: 최대 256K 토큰의 컨텍스트 길이를 가진 모델을 제공합니다.