magnitudedev/magnitude

해결하는 문제

Magnitude는 로컬 AI 모델을 실행할 때의 추측을 제거합니다. 사용자가 수동으로 호환 가능한 모델 크기, 양자화 수준, 성능 예측을 찾는 대신, Magnitude는 사용자의 하드웨어를 자동으로 프로파일링하여 가장 적합한 모델을 추천하고 실행합니다.

작동 방식

시스템은 머신의 칩, 메모리, 대역폭을 프로파일링하여 추정된 초당 토큰 수를 가진 모델을 제안합니다. 오픈소스 추론 서버로서 Hugging Face의 GGUF 모델을 포함한 모델을 다운로드, 튜닝, 실행합니다. 하드웨어에 맞게 특이적 디코딩과 동시성 설정을 최적화하여 성능을 극대화합니다. 리소스를 관리하기 위해 모델은 요청 시 즉시 로드되며, 시스템이 대기 상태이거나 메모리가 부족해지면 언로드됩니다.

대상 사용자

하드웨어 호환성에 대한 깊은 기술 지식 없이도 완전히 개인 정보 보호되고 오프라인, 무료로 로컬 추론 환경을 원하는 AI 에이전트 개발자 또는 사용자.

주요 특징

• 하드웨어 인식 추천: 하드웨어를 자동으로 프로파일링하여 최적의 모델과 추정 속도를 제안.
• 에이전트 최적화: 동적 모델 로드 및 언로드로 에이전트 워크로드에 특화.
• 개인정보 우선: 완전히 오프라인에서 작동; 모든 프롬프트, 파일, 모델은 로컬 머신에 유지.
• 광범위한 호환성: Pi, OpenCode, Hermes, Cline 등의 다양한 하드웨어 허브와 호환.
• 원클릭 설치: CLI를 통해 간편한 설치 및 구성.