zai-org/GLM-V

해결하는 문제

GLM-V는 기본적인 다중 모달 인식을 넘어서 복잡한 추론을 수행하도록 설계된 시각-언어 모델(VLM) 시리즈입니다. 복잡한 문제를 정확히 해결하고, 긴 컨텍스트의 시각 정보를 이해하며, 디지털 인터페이스와 상호작용할 수 있는 지능적인 다중 모달 에이전트로 작동할 수 있는 AI 시스템의 필요성을 해결합니다.

작동 방식

이 프로젝트는 고성능 GLM-4.6V (106B)와 경량형 GLM-4.6V-Flash (9B), 그리고 추론에 특화된 GLM-4.1V-9B-Thinking 등의 여러 모델 버전을 제공합니다. 이러한 모델들은 Chain-of-Thought 추론 메커니즘과 Curriculum Sampling을 활용한 강화학습(RLCS)을 사용하여 정확도와 해석 가능성을 향상시킵니다. Hugging Face Transformers 라이브러리에 통합되어 있으며, SGLang, vLLM, Transformers를 통해 배포가 가능합니다.

대상 사용자

GUI 에이전트, 데스크톱 어시스턴트, 복잡한 문서 분석 또는 시각적 지문 도구와 같은 다중 모달 애플리케이션을 개발하거나 연구하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 네이티브 다중 모달 함수 호출: 이미지나 스크린샷을 텍스트로 변환하지 않고도 도구를 직접 사용할 수 있습니다.
• 이중 이미지-텍스트 생성: 다중 모달 컨텍스트를 기반으로 텍스트와 시각 정보를 결합한 일관된 콘텐츠를 생성합니다.
• 시각적 지문: 바운딩 박스를 사용하여 이미지 내 객체를 정확히 식별하고 위치를 파악합니다.
• 다중 모달 문서 이해: 최대 128K 토큰의 다중 문서 입력을 처리하며, 레이아웃, 차트, 표를 이미지로 해석합니다.
• 프론트엔드 재현: UI 스크린샷에서 픽셀 정확도의 HTML/CSS를 재구성하고 자연어 편집을 지원합니다.