apfel: Appleの組み込みオンデバイスLLMのためのUNIXツールおよびOpenAI互換サーバー

何を解決するか

apfelは、Apple Silicon MacでApple FoundationModelsによって提供される組み込みの大規模言語モデル（LLM）にアクセスする方法を提供します。これにより、オンデバイスAIを、使用可能なUNIXツールおよびローカルのOpenAI互換サーバーへと変換し、APIキー、クラウドへの依存、およびインターネット接続の必要性を排除します。

仕組み

このプロジェクトは、FoundationModels.SystemLanguageModelへのブリッジとして機能します。主に3つのインターフェースを提供します：

1. UNIXツール: テキストをパイプで渡し、ファイル（オンデバイスのOCR/抽出を介したPDFや画像を含む）を添付し、ターミナルで直接回答を受け取ることができるコマンドラインインターフェース（CLI）。
2. OpenAI互換サーバー: 既存のOpenAI SDKやツールが、オンデバイスのAppleモデルをバックエンドとして使用できるようにするローカルHTTPサーバー（http://localhost:11434/v1）。
3. インタラクティブREPL: プロンプトやツールをテストするためのチャットモード（--chat）。

また、Model Context Protocol (MCP) をサポートしており、ローカルまたはリモートのサーバーを介してLLMが外部ツール（計算機など）を使用できるようにします。

対象ユーザー

macOS 26 Tahoe+およびApple Silicon (M1+)を搭載したMacの、開発者やパワーユーザーで、シェルスクリプト、ワークフロー、およびローカルアプリケーションに、100%プライベートなオンデバイスAI機能を統合したいと考えている方。

ハイライト

• 100%オンデバイス: クラウドなし、APIキーなし、そして完全なプライバシー。
• OpenAI APIとの同等性: ストリーミング、JSONスキーマの強制、およびツール呼び出しをサポートする /v1/chat/completions をサポート。
• ファイル統合: テキスト抽出と分析のためのPDFおよび画像の添付に対するネイティブサポート。
• MCPサポート: Model Context Protocolサーバーと統合してモデルの機能を拡張。
• シェルファースト設計: 自然言語からシェルコマンドへの変換を行う cmd などのデモスイートと、パイプフレンドリーな出力を含みます。