apfel: Apple의 내장 온디바이스 LLM을 위한 UNIX 도구 및 OpenAI 호환 서버

해결하는 문제

apfel은 Apple Silicon Mac에서 Apple FoundationModels가 제공하는 내장 대규모 언어 모델(LLM)에 접근하는 방법을 제공합니다. 이 도구는 온디바이스 AI를 사용 가능한 UNIX 도구 및 로컬 OpenAI 호환 서버로 변환하여, API 키, 클라우드 의존성 및 인터넷 연결의 필요성을 제거합니다.

작동 방식

이 프로젝트는 FoundationModels.SystemLanguageModel에 대한 브리지 역할을 합니다. 세 가지 주요 인터페이스를 제공합니다:

1. UNIX 도구: 사용자가 텍스트를 파이프(pipe)로 전달하고, 파일(온디바이스 OCR/추출을 통한 PDF 및 이미지 포함)을 첨부하며, 터미널에서 직접 답변을 받을 수 있는 명령줄 인터페이스(CLI)입니다.
2. OpenAI 호환 서버: 기존 OpenAI SDK 및 도구들이 온디바이스 Apple 모델을 백엔드로 사용할 수 있도록 하는 로컬 HTTP 서버(http://localhost:11434/v1)입니다.
3. Interactive REPL: 프롬프트와 도구를 테스트하기 위한 채팅 모드(--chat)입니다.

또한, 로컬 또는 원격 서버를 통해 LLM이 외부 도구(계산기 등)를 사용할 수 있도록 Model Context Protocol (MCP)을 지원합니다.

대상 사용자

Apple Silicon (M1+) 기반의 macOS 26 Tahoe+ 환경에서 쉘 스크립트, 워크플로우 및 로컬 애플리케이션에 100% 프라이빗한 온디바이스 AI 기능을 통합하고자 하는 개발자와 파워 유저입니다.

주요 특징

• 100% 온디바이스: 클라우드 없음, API 키 없음, 그리고 완전한 프라이버시.
• OpenAI API 호환성: 스트리밍, JSON 스키마 강제 적용, 도구 호출(tool calling)을 지원하는 /v1/chat/completions를 지원합니다.
• 파일 통합: 텍스트 추출 및 분석을 위한 PDF 및 이미지 첨부의 네이티브 지원.
• MCP 지원: 모델 기능을 확장하기 위해 Model Context Protocol 서버와 통합됩니다.
• Shell-First 디자인: 자연어를 쉘 명령어로 변환하는 cmd와 같은 데모 세트 및 파이프(pipe) 친화적인 출력을 포함합니다.