mizorewww/laya-coreml
Local Laya typed decisions on Apple Core ML and Neural Engine. Validated ports, ~5 ms short decisions on M3 Max, reproducible speed and energy benchmarks.
解決する課題
Laya-CoreMLは、Apple Siliconデバイス上で意思決定AIモデルを効率的にローカル実行する方法を提供します。トークンを逐次生成する標準的な生成AIモデルとは異なり、このツールは単一のフォワードパスを実行して、特定の選択肢、スコア、または真偽値に対するキャリブレーションされた確率を出力します。PyTorchやTransformersのような重いフレームワークを必要としないため、パフォーマンスが向上し、消費電力が削減されます。
仕組み
Layaモデルのウェイトを、CPU、GPU、またはApple Neural Engine (ANE) 上でネイティブに動作するCore MLプログラムに変換します。プロンプトと制約(選択肢のリストやルーブリックなど)を提供すると、モデルが入力内容を分析し、構造化された意思決定結果を返します。生成モデルではないため、テキストトークンの生成やJSON解析が不要であり、自動化された意思決定ワークフローに最適です。
対象ユーザー
このプロジェクトは、macOS上で高速かつ信頼性の高い意思決定機能を必要とする、ローカルで高性能なAIエージェントを構築する開発者向けです。ゲームロジック、ルーティング、分類タスクなど、低遅延の応答が求められ、エネルギー効率とローカル実行が優先されるアプリケーションに特に役立ちます。
主な特徴
- トークン生成ゼロ:選択肢、スコア、命題に対する確率を直接返します。
- Apple Silicon向けに最適化:特定の構成ではNeural Engineを活用し、5ms未満の意思決定時間を実現します。
- 省電力:コンパイル済みのMLX代替品よりも消費電力が大幅に少なくなります。
- 柔軟な統合:CLI、HTTP、MCPサーバーモードをサポートし、LangChainやLlamaIndexなどとの統合が可能です。
- オフライン対応:モデルバンドルを固定しネットワークアクセスを禁止することで、完全にローカルでの運用が可能です。
関連
- Dispatch
- プロジェクト
- プロジェクト
- Dispatch
- プロジェクト