apple/python-apple-fm-sdk

解決する課題

このSDKは、AppleのFoundation Modelsフレームワークに対するPythonライクなインターフェースを提供し、macOS上のApple Intelligenceを支えるオンデバイス基盤モデルへのアクセスを可能にします。Swiftコードを書くことなく、推論の実行やモデル機能の評価を簡素化します。

仕組み

SwiftベースのFoundation ModelsフレームワークのPythonバインディングとして機能します。開発者は SystemLanguageModel を使用してオンデバイスモデルにアクセスし、 LanguageModelSession で対話を管理できます。このSDKは非同期テキスト生成と「ガイド付き生成」(guided generation) をサポートしており、Pythonデコレータ (例: @fm.generable) や制約を使用して、特定のPythonクラス構造に適合するデータをモデルに出力させることが可能です。

対象ユーザー

macOS向けに開発を行っており、Apple Intelligenceのオンデバイス機能をアプリケーションに統合したい、あるいはモデル出力の品質分析を行いたいPython開発者。

主な特徴

• オンデバイス推論: macOS上でモデルをローカル実行し、プライバシーと速度を確保します。
• ガイド付き生成: 型安全なレスポンスと構造化された出力スキーマを使用して、モデルが特定の形式でデータを返すことを保証します。
• リアルタイムストリーミング: テキスト生成レスポンスのストリーミングをサポートします。
• バッチ推論: バッチ処理を実行し、Pythonから結果を分析することで、アプリ機能の評価を可能にします。