Blaizzy/nativ

해결하는 문제

Nativ는 Apple silicon에서 로컬로 AI 모델을 실행하기 위한 통합된 네이티브 macOS 워크스페이스를 제공합니다. 별도의 Python 환경과 서버 설정을 관리하는 번거로움을 제거하고, 서버와 정교한 사용자 인터페이스를 하나의 앱에 통합하여, 사용자가 복잡한 설정 없이 모델과 대화하고, 이미지를 생성하며, 로컬 API를 제공할 수 있도록 합니다.

작동 방식

Nativ는 NativServerKit와 상호작용하는 SwiftUI 애플리케이션입니다. 이 Kit는 내장된 Python 배포판과 함께 패키지된 mlx-vlm 서버를 관리합니다. 이 서버는 MLX 런타임을 사용하여 Apple의 통합 메모리에서 모델을 직접 실행합니다. Hugging Face 캐시 내의 모델을 탐지하고, 다른 도구와의 통합을 위해 OpenAI 및 Anthropic 호환 로컬 API로 노출시킵니다.

대상 사용자

Apple silicon을 탑재한 macOS 사용자 중에서 개인적이고 로컬 기반의 AI 경험을 원하는 사용자, 그리고 코드 에이전트 및 기타 AI 통합 애플리케이션을 구동하기 위한 로컬 추론 서버가 필요한 개발자에게 적합합니다.

주요 기능

• 로컬 채팅 및 비전: 스트리밍 대화, 이미지 첨부, 추론 출력을 지원합니다.
• 이미지 생성: MLX 모델을 사용해 로컬에서 이미지를 생성하고 편집할 수 있는 전용 탭.
• 모델 관리: Hugging Face에서 모델을 탐색하고 다운로드하며 전환 가능. 메모리 사용량 경고도 제공.
• 로컬 API 서버: VS Code, Cursor, Aider와 같은 외부 도구와 호환되는 OpenAI 및 Anthropic 호환 엔드포인트 제공.
• 시스템 모니터링: CPU/GPU 부하, 통합 메모리 압박, 온도 센서 실시간 모니터링.
• 확장 플랫폼: 모듈식 기능을 지원하며, 음성 녹음용 내장 오디오 확장 기능 포함.
• MCP 통합: Model Context Protocol 서버에 연결하여 채팅 모델이 외부 도구에 접근할 수 있도록 합니다.
• 고급 추론 제어: 샘플링, 사고 예산, KV 캐시 양자화, 사전 추론 제어 기능 제공.