zai-org/GLM-4

해결하는 문제

GLM-4-0414는 대화, 추론 및 복잡한 작업 실행에서 고성능 역량을 제공하도록 설계된 일련의 오픈 소스 대규모 언어 모델입니다. 특히 엔지니어링 코드, 함수 호출 및 연구 스타일의 글쓰기와 같은 분야에서 오픈 소스 모델과 GPT-4o와 같은 독점 시스템 간의 격차를 줄이는 것을 목표로 합니다.

작동 방식

이 시리즈는 다양한 모델 크기(9B 및 32B)와 특화된 학습 경로를 활용합니다:

• GLM-4-32B-0414: 15T의 고품질 데이터로 사전 학습되었으며, 지시 이행 및 에이전트 능력을 향상시키기 위해 인간 선호도 정렬, 거절 샘플링 및 강화 학습을 사용하여 정교화되었습니다.
• GLM-Z1 (Reasoning): 수학, 코드 및 논리에 초점을 맞춘 콜드 스타트 및 확장 강화 학습을 통해 개발되어 "심층 사고"를 가능하게 합니다.
• GLM-Z1-Rumination: 엔드 투 엔드 강화 학습 스케일링을 통해 학습된 특화된 추론 모델로, 더 긴 사고 프로세스와 오픈 엔드 복잡한 문제를 해결하기 위한 검색 도구 사용이 가능합니다.
• YaRN: 기본 32K 컨텍스트 길이를 초과하는 입력을 처리하는 데 사용되는 컨텍스트 확장 기술입니다.

대상 사용자

• 로컬 배포를 위한 고성능 오픈 소스 모델을 찾는 개발자.
• 강력한 수학적 및 논리적 추론 능력을 갖춘 모델이 필요한 AI 연구자.
• 엔지니어링급 코드 생성 및 에이전트 작업을 위한 함수 호출이 가능한 모델이 필요한 소프트웨어 엔지니어.
• 경량 9B 모델을 활용할 수 있는 리소스 제한 환경의 사용자.

주요 특징

• 다양한 모델 범위: 9B 및 32B 파라미터 크기에 걸쳐 Base, Chat, Reasoning 및 Rumination 변형을 제공합니다.
• 강력한 에이전트 능력: 함수 호출, Artifact 생성 및 검색 기반 Q&A에서 높은 성능을 발휘합니다.
• 심층 추론: Z1 시리즈는 복잡한 수학적 및 논리적 작업에 대한 고급 기능을 제공합니다.
• 폭넓은 통합: vLLM, transformers 및 llama.cpp에 공식적으로 구현되었습니다.