Arthur-Ficial/apfel

What it solves

apfel は、Apple Silicon Macs 上で内蔵の Apple FoundationModels LLM にコマンドラインツールおよびローカルサーバーとしてアクセスする方法を提供します。すべての推論を 100% デバイス上で行うことで、クラウド API、API キー、インターネット接続の必要性を排除します。

How it works

このプロジェクトは、主に 2 つのインターフェースを通じて SystemLanguageModel を公開します：

1. UNIX Tool: パイプ入力、ファイルの添付 (デバイス上の OCR/抽出機能による PDF や画像を含む)、および構造化された JSON 出力の生成をサポートする CLI。
2. OpenAI-compatible Server: 既存の OpenAI SDKs やツールがデバイス上のモデルをバックエンドとして使用できるようにするローカル HTTP サーバー (http://localhost:11434/v1)。

また、外部ツールを接続するための Model Context Protocol (MCP) もサポートしており、ローカルまたはリモートの MCP サーバーを介して計算などのアクションを実行できます。

Who it’s for

macOS 26 Tahoe+ および Apple Silicon (M1+) を使用しており、プライベートでローカルな AI 統合を shell スクリプト、ワークフロー、または既存の AI アプリケーションに組み込みたい開発者やパワーユーザー。

Highlights

• 100% On-Device: 推論にクラウド、API キー、ネットワークは不要です。
• OpenAI Compatibility: OpenAI の chat completions API の置き換えとしてそのまま使用できます。
• MCP Tool Support: 機能拡張のための Model Context Protocol サーバーとの統合。
• File Awareness: PDF や画像への添付と、デバイス上でのテキスト抽出をネイティブサポート。
• Guided Generation: json_schema を介して、スキーマに準拠した JSON 出力の保証。
• Shell-Friendly: さまざまな組み込みデモ (例: 英語から shell コマンドへの変換を行う cmd) や、パイプセーフな出力モードが含まれています。