Trans-N-ai/swama

해결하는 문제

Swama는 macOS용으로 설계된 고성능 머신 러닝 런타임으로, 사용자가 Apple Silicon에서 대형 언어 모델(LLM), 비전 언어 모델(VLM) 및 오디오 모델(ASR/TTS)을 로컬로 실행할 수 있게 해줍니다. 최적화된 네이티브 추론 환경을 제공하여 클라우드 기반 AI의 필요성을 제거합니다.

작동 방식

Apple의 MLX 프레임워크를 기반으로 구축되고 순수 Swift로 작성된 Swama는 세 가지 주요 인터페이스를 제공합니다. 쉬운 접근을 위한 macOS 메뉴 막대 애플리케이션, 모델 관리 및 추론을 위한 명령줄 인터페이스(CLI), 그리고 OpenAI 호환 API 서버입니다. HuggingFace Hub와 직접 통합되어 간소화된 별칭(예: 전체 리포지토리 URL 대신 qwen3)을 사용하여 모델을 자동으로 다운로드, 캐시 및 관리합니다.

대상 사용자

프라이버시, 속도 또는 개발 목적으로 강력한 AI 모델을 로컬에서 실행하려는 Apple Silicon(M1/M2/M3/M4) 탑재 macOS 사용자와 자체 애플리케이션을 위한 OpenAI 호환 로컬 엔드포인트가 필요한 개발자를 위해 설계되었습니다.

주요 기능

• 멀티모달 기능: 텍스트 생성, 이미지-텍스트(VLM), 음성-텍스트(ASR) 및 텍스트-음성(TTS)을 지원합니다.
• OpenAI 호환 API: 도구 호출 지원을 포함하여 채팅 완성, 임베딩 및 오디오 처리를 위한 표준 엔드포인트를 제공합니다.
• 스마트 모델 관리: 친숙한 별칭을 통해 모델의 자동 다운로드 및 캐싱 기능을 제공합니다.
• 네이티브 macOS 통합: 전용 메뉴 막대 앱과 Apple Silicon에 최적화된 CLI 도구를 포함합니다.