mw00/project-maya

해결하는 문제

Project Maya를 사용하면 소비자용 하드웨어에서 거대한 GLM-5.3-Flash 모델(3210억 파라미터)을 실행할 수 있습니다. 일반적으로 이 정도 규모의 모델은 수백 GB의 GPU 메모리를 갖춘 엔터프라이즈 서버가 필요하지만, Maya는 계층형 메모리 시스템을 구현하여 이를 가능하게 합니다. 모델 전문가를 VRAM, RAM, NVMe SSD에 분산시키고 대화 중에 필요에 따라 이동시킵니다.

작동 원리

이 엔진은 Mixture-of-Experts (MoE) 아키텍처를 사용하여 토큰당 전체 파라미터의 일부(약 18B)만 활성화합니다. Maya는 가장 자주 사용되는 전문가를 GPU의 VRAM에, 그다음으로 자주 사용되는 전문가를 시스템 RAM에, 나머지를 빠른 NVMe SSD에 유지하여 최적화합니다. MTP 블록을 통한 추측 디코딩을 지원하여 토큰을 미리 생성하며, 정확도와 하드웨어 요구 사항의 균형을 맞추기 위해 여러 양자화 버전(Maya-S, S24, M, M-Derisked, L)을 제공합니다.

대상 사용자

NVIDIA GPU(V100 이상) 또는 특정 AMD GPU(실험적)를 탑재하고 Linux 또는 Windows를 사용하는 AI 애호가 및 개발자를 위해 설계되었습니다. 거대한 GPU 클러스터 없이도 로컬에서 고파라미터 모델을 실행하려는 사용자에게 적합합니다.

주요 특징

• 계층형 메모리 관리: VRAM, RAM, SSD 간에 전문가를 동적으로 스왑하여 제한된 하드웨어에서 거대한 모델을 수용합니다.
• 멀티 GPU 지원: 최대 16개의 GPU로 확장 가능하며, 사용 가능한 VRAM에 따라 레이어를 분할합니다.
• OpenAI 및 Anthropic 호환: 기존 도구 및 코딩 에이전트와 작동하는 API를 제공합니다.
• 시각 기능: 멀티모달 입력을 위한 이미지 인코더가 포함되어 있습니다.
• 사용자 지정 양자화: 메모리 풀에 맞춰 조정된 다양한 모델 크기(96.5 GB ~ 156.3 GB)를 제공합니다.