scouzi1966/maclocal-api

AFM – Apple Silicon 向けローカル AI インフラストラクチャ

概要 – AFM（Apple Silicon Foundation Models）は、Swift ベースのネイティブサーバーおよび CLI で、Apple シリコン Mac をプライベートな OpenAI 互換推論エンドポイントに変えます。オンデバイスで Apple Foundation Models、Hugging Face MLX モデル、または DwarfStar チェックポイントを実行し、チャット、補完、埋め込み、ビジョン OCR、音声認識、テキスト読み上げ、画像生成 API を提供します。

主な機能

• OpenAI 互換 HTTP API – /v1/chat/completions、/v1/completions、/v1/embeddings、ビジョン、オーディオ、画像、バッチ、メトリクスエンドポイント。OpenAI サーバーを期待する任意のクライアント（例：OpenCode、Aider、Continue）で動作します。
• ネイティブ Swift 実行 – Python ランタイム不要。サーバーと CLI はコンパイル済みの Swift バイナリで、macOS 上で直接実行されます。
• 複数のランタイム –
  • MLX コミュニティの Hugging Face モデル用（量子化、VLM、エージェント）。
  • Apple Foundation Models – ダウンロード不要のシステムモデル、LoRA アダプター対応。
  • DwarfStar – Metal アクセラレーション対応チェックポイント。
  • Gateway – 他のローカルサーバー（Ollama、LM Studio など）へのプロキシ。
• 高度な推論機能 – プレフィックスキャッシュ、投機的デコード（MTP、Eagle3）、並行デコードキュー、トークンレベルのログプロブ、構造化出力の強制、ツール呼び出し形式、推論抽出、詳細な Prometheus メトリクス。
• リッチな CLI / TUI – マークダウン、構文ハイライト付きコード、LaTeX レンダリング、セッション履歴、トランスクリプトエクスポート、インタラクティブオーバーレイを備えたフルスクリーンターミナルチャット。
• Web UI – クイックテスト用のバンドルされたブラウザベース UI。
• パッケージング – Homebrew、PyPI wheels、afm バイナリで配布。また、他の macOS アプリへの直接埋め込み用の Swift パッケージ（AFMKit*）も利用可能。

典型的なワークフロー

1. Homebrew（brew install scouzi1966/afm/afm）または pip（pip install macafm）でインストール。
2. モデルを起動します。例：afm mlx -m Qwen3-0.6B-4bit -w（Web UI）または afm --tui（ターミナルチャット）。
3. サーバーは http://127.0.0.1:9999/v1 で待ち受けます。任意の OpenAI 互換クライアントをその URL にダミー API キーで向けます。
4. CLI でビジョン、音声、埋め込みを使用します（afm vision …、afm speech transcribe …）。
5. 本番運用では、CLI フラグで並行性、キャッシュ、投機的デコードを設定します。

対象ユーザー

• 低遅延のオンデバイス推論を必要とする AI エージェントやツールを構築する開発者。
• クラウドキーなしでローカル LLM サーバーを望むプライバシー重視のユーザー。
• AFMKit Swift パッケージを介してモデルを直接埋め込みたい Swift/macOS 開発者。

詳細情報

• 公式サイト：https://maclocal.ai
• ドキュメント：https://maclocal.ai/docs（クライアントガイド、ツール呼び出し、パフォーマンスチューニング、ロードマップ）
• ソースコード：https://github.com/scouzi1966/maclocal-api（ビルドスクリプト、テスト、`AFMKit` 依存関係を含む）。

---

すべての詳細はリポジトリの README から直接取得しています。