OpenMOSS/MOSS

해결하는 문제

MOSS는 유창한 이중 언어(중국어 및 영어) 소통과 도구 사용이 가능한 오픈소스 대화형 언어 모델입니다. 복잡한 지시를 따르고 외부 도구와 상호작용하여 더 정확하고 사실 기반의 응답을 제공할 수 있는 고품질 오픈웨이트 모델의 필요성을 해결합니다.

작동 방식

160억 파라미터 아키텍처를 기반으로 한 moss-moon 시리즈는 약 7000억 개의 중국어, 영어, 코드 토큰으로 사전 훈련됩니다. 모델은 다단계 훈련 과정을 거칩니다: 자기지도 사전 훈련, 110만 회 이상의 대화 데이터를 활용한 지도 미세조정(SFT), 안정성, 안전성, 사실성 향상을 위한 선호도 훈련입니다. 도구 사용을 위해 특별히 플러그인 강화된 버전은 30만 회 이상의 플러그인 보강 대화 데이터로 훈련되어, 외부 API(검색 엔진, 계산기, 방정식 해결기 등)를 호출하기 위한 내부 사고와 구체적인 명령을 생성한 후 최종 응답을 생성할 수 있습니다.

대상 사용자

이 모델은 로컬에서 이중 언어 LLM을 배포하거나 특정 작업에 맞게 미세조정하고자 하는 개발자 및 연구자에게 적합합니다. 단일 A100/A800 GPU에서부터 소비자용 NVIDIA 3090(특히 INT4/INT8 양자화 버전 사용 시)까지 다양한 하드웨어 환경에서 사용 가능합니다.

주요 특징

• 이중 언어 능력: 중국어와 영어 모두에서 유창한 소통이 가능합니다.
• 도구 통합: 웹 검색, 계산기, 방정식 해결기, 텍스트에서 이미지 생성 등 플러그인의 네이티브 지원이 제공됩니다.
• uma 양자화: FP16, INT8, INT4 정밀도로 제공되어 로컬 배포의 하드웨어 장벽을 낮춥니다.
• 오픈 생태계: 모델뿐 아니라 훈련에 사용된 SFT 및 선호도 데이터셋도 함께 제공됩니다.