Trans-N-ai/swama

High-performance MLX-based LLM inference engine for macOS with native Swift implementation

What it solves

Swama は、macOS ユーザー向けに高パフォーマンスなローカル機械学習ランタイムを提供し、クラウドベースの AI サービスへの依存を必要としなくさせます。Apple Silicon ハードウェア上で、大規模言語モデル (LLMs)、視覚言語モデル (VLMs)、およびオーディオモデル (ASR/TTS) を直接デプロイし、使用することを簡化します。

How it works

Apple の MLX フレームワークに基づいて構築され、純粋な Swift で書かれた Swama は、Apple Silicon の推論を最適化しています。主に 3 つのインターフェースを提供します：簡単にアクセスできるネイティブ macOS メニューバーアプリ、モデル管理と推論のためのコマンドラインインターフェース (CLI)、および他のアプリケーションがローカルモデルと統合できる OpenAI 互換の API サーバーです。

Who it's for

プライバシー、パフォーマンス、オフラインアクセスを重視し、Apple Silicon (M1/M2/M3/M4) を搭載した macOS ユーザー、および OpenAI 互換のローカルバックエンドが必要な開発者。

Highlights

Multimodal Capabilities: テキスト、画像 (VLM)、およびオーディオ (speech-to-text および text-to-speech) の入出力をサポートします。
OpenAI Compatible API: チャット補完、embeddings、およびオーディオ文字起こし用の標準的なエンドポイントを実装しています。
Smart Model Management: HuggingFace からの自動ダウンロード機能と、、ユーザーに優しいエイリアスシステム (例: qwen3, llama3.2) を提供し、モデルの選択を簡化します。
Native macOS Integration: シームレスなシステムレベルの体験を提供するため、専用の macOS メニューバーアプリが含まれています。