mizorewww/laya-mlx

Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.

解決する課題

従来の AI モデルは長いテキスト応答を生成することが多く、遅く、単純な回答を抽出するために解析が必要です。Laya-MLX は、事前定義されたオプション、ルーブリックレベル、または真/偽の判断に対して校正された確率を単一のフォワードパスで直接出力することでこれを解決します。これにより、サポートチケットのルーティング、応答のスコアリング、ステートメントのチェックなどの決定が非常に高速(ミリ秒単位)になり、トークン生成と JSON 解析のオーバーヘッドを回避します。Apple Silicon 上で完全にローカルに実行されるため、クラウド API は不要で、データはプライベートに保たれます。

仕組み

スキーマを使用して一連の質問を定義します。各質問にはタイプがあります:choice(名前付きオプションから1つ選択)、score(順序付きレベルに対して評価)、または noul(はい/いいえで回答)。また、指示と、選択肢の場合は各オプションの説明も提供します。次に、Laya-MLX は入力に対して Laya モデル(MLX 形式に変換済み)を実行し、各可能な回答の確率と信頼度スコアを返します。モデルはテキストを生成しません—エンコーダーと決定ヘッドから確率を計算するだけです。パッケージには、複数の事前変換されたチェックポイント(英語、多言語、型付き決定ワークフロー用)が含まれており、1行のコードでロードできます。また、共有質問スキーマのバッチ処理、言語ルーティング、信頼度ゲーティング、CLI、HTTP、MCP を介したサービングのためのツールなどの機能も提供します。

対象読者

高速でローカルかつ信頼性の高い決定を必要とするアプリケーションを構築する開発者—例えば、カスタマーサポートのトリアージ、自動モデレーション、エージェントルーティング、または完全な言語モデル生成のレイテンシなしで分類または判断する必要があるシステム。特に、プライベートでオフラインの推論を望む Apple Silicon ハードウェアで作業している人に適しています。このライブラリは一般的なエージェントフレームワーク(LangChain、LlamaIndex、CrewAI、Agno)とも統合されており、既存のワークフローに簡単に組み込むことができます。

ハイライト

  • Apple Silicon でネイティブに実行(M3 Max ベンチマーク:短い英語の決定で 13.4 ミリ秒、多言語で 7.4 ミリ秒)
  • PyTorch、Transformers、クラウド API は不要—完全にローカル推論
  • 校正された確率で選択、スコアリング、はい/いいえの質問をサポート
  • 複数のチェックポイント:英語、多言語、型付き決定のバリアント
  • 高スループットのためのバッチ処理と長文ドキュメントスキャン(M3 Max で最大 395 q/s)
  • 低信頼度の回答をレビュー用にフラグする信頼度ゲーティング
  • CLI、HTTP サーバー、MCP サーバー、評価/校正ツールを含む
  • LangChain、LlamaIndex、CrewAI、Agno と統合
  • Apache-2.0 ライセンス、詳細なベンチマークと来歴ドキュメント付き

関連

  • Dispatch
  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト