Arthur-Ficial/apfel

apfel – Apple Silicon 向けオンデバイス LLM

何であるか – apfel は、Apple Silicon Mac に内蔵されている Apple 提供の Foundation Models LLM をラップする Swift で作られたコマンドラインツールです。ターミナルからモデルに問い合わせたり、ローカルな OpenAI 互換 HTTP サーバーを起動したりすることで、クラウドキーなしで既存の SDK（Python、Node など）がオンデバイスモデルと通信できるようになります。

主な機能

• 完全なオンデバイス推論 – SystemLanguageModel を使用；API キーもネットワークトラフィックも不要。
• 2 種類の使用モード – パイプ対応 CLI（apfel "prompt"、apfel -f file …）と、OpenAI サーバーとして即座に使えるモード（apfel --serve で http://localhost:11434/v1 で待機）。
• ツール呼び出し / MCP – ローカルまたはリモートの Model Context Protocol (MCP) ツールを呼び出し可能。組み込みの計算機例も提供。
• 豊富な出力オプション – テキスト、JSON（-o json）、スキーマ検証済み JSON、ストリーミング、終了コード信号、ファイル添付（テキスト、PDF、画像、macOS 27 での OCR/ビジョン対応）。
• チャット REPL – apfel --chat で対話セッションを開始。
• 設定不要 – すべての動作はフラグまたは環境変数で制御。オプションのラッパー apfel-run で TOML 設定サポートも可能。

一般的なワークフロー

1. インストール – brew install apfel（または Swift 6.3 でソースからビルド）。
2. プロンプト実行 – apfel "Summarise this repo" またはファイルをパイプ：cat README.md | apfel。
3. スクリプトでの利用 – 自動化用に JSON 出力：apfel -o json "Translate to German: hello" | jq .content。
4. ローカルサーバー起動 – apfel --serve で http://localhost:11434/v1 に接続可能な OpenAI クライアントを設定。
5. ツールの追加 – apfel --mcp ./mcp/calculator/server.py "What is 15×27?"。

制限事項

• macOS 26（Tahoe）以降、Apple Silicon Mac でのみ動作。モデルサイズは固定（約 3B パラメータ）。
• macOS 26 / M1–M2 ではコンテキスト窓は 4096 トークン、macOS 27 で M3+ 12GB では 8192 トークン。
• エンベッディングなし、大規模並列高速化なし。応答には数秒かかる。
• ガードレールが一部のプロンプトをブロックする可能性あり。--permissive で緩和可能。
• ビジョン機能（画像理解）は macOS 27 でのみ利用可能。

対象ユーザー

• クラウド利用料を支払わずに、ローカルスクリプト、CI パイプライン、プロトタイピングに高速かつプライベートな LLM を使いたい開発者。
• 既に OpenAI 互換 SDK を使っているチームで、Mac ワークステーションに即座に使えるローカルバックエンドを希望する人。
• シェル中心の AI アシスタントを楽しみ、MCP を通じたツール呼び出しを希望するパワーユーザー。

詳細情報

• 完全なインストールガイド：docs/install.md。
• CLI フラグリファレンス：docs/cli-reference.md。
• OpenAI 互換性の詳細：docs/openai-api-compatibility.md。
• MCP ツールの例：docs/mcp-calculator.md とバンドルされた demo/ フォルダ。
• 例題プロンプト：docs/EXAMPLES.md。

結論 – apfel は Apple が提供するオンデバイス LLM を、柔軟な UNIX ユーティリティとローカル OpenAI 互換サーバーに変換し、外部 API なしで macOS 上でプライバシー最優先の AI ワークフローを実現します。