FluidInference/FluidUse

FluidUse – macOS向けオンデバイス意思決定モデル

概要
FluidUseは、macOSアプリがフォームを自動入力し、小型のオンデバイス機械学習モデルを使って型付きの意思決定を行えるようにするSwiftライブラリです。Accessibility APIを通じてUI要素を読み取り、Core MLモデルに各フィールドにどの値が入るかを問い合わせ、回答を入力し直します。すべてローカルで実行され、Apple Siliconではサブミリ秒のレイテンシを実現します。

主要コンポーネント

コンポーネント	目的	モデルサイズ/タイプ
AccessibilityFormDriver / WebFormDriver	ネイティブアプリまたはWKWebViewフォームのスナップショットを取得し、そのフィールドを公開します。	–
CuaS1FormsManager	ファーストパーティのフォーム入力モデル（706Kパラメータ）をCore MLに変換したもの。	~0.7Mパラメータ
LayaManager	選択肢/スコア/はい・いいえの質問にワンパスで答える意思決定モデル（322M mmBERT）。トークン生成は不要。	322Mパラメータ、複数のトークン長バケット
GLiNER2Manager	最大8ラベルに対応する小型（128トークン）分類ヘッド。	291MB（ベース）/ 385MB（多言語）
KevFastManager	複数質問応答用に0.8BパラメータのKevモデル（Qwen 3.5バックボーン）を実行します。	~3.5GB
ClefVisionManager	画像と型付き質問を評価するビジョン言語意思決定モデル（0.92B）。	合計~1.8GB
InternDecisionManager	テキストのみの型付き意思決定用のIntern-Decision 0.8Bモデル。	~3.4GB
Decision2Manager	vLLM Semantic Router「Decision 2.0」モデル（Kai 0.6B、Eos 0.8B）。	1.1〜1.4GB
Vela2Manager	ルーティング、安全性、スパン抽出モデル（0.3B）。	~640MB
ShortReplyManager	単一の短いソーシャルメディア返信（0.6B）を下書きします。	724MB

すべてのマネージャは、初回使用時にHugging Faceからチェックイン済みCore MLパッケージをダウンロードし、SHA-256チェックサムを検証して、~/Library/Application Support/FluidUse/Models/…にキャッシュします。

使用方法

import FluidUse
let model = try await CuaS1FormsManager.load()
let driver = AccessibilityFormDriver(application: safari)
let page = try await driver.snapshot()
for field in page.elements where field.isActionable {
    let ctx = FormSchema.renderContext(formTitle: page.title, element: field)
    let decision = try await model.score(context: ctx, options: …)
    // decode → driver.type / driver.click
}

同じパターンが他のマネージャ（Laya、GLiNER2、Kevなど）にも適用されます。マネージャをロードし、answer/score/classifyを呼び出して、結果に基づいてアクションを実行します。

パフォーマンスのハイライト

• フォーム入力モデル: Neural Engineで1決定あたり約0.9ms、精度はPyTorchリファレンスと同一。
• Laya: M5 Proで短い質問あたり3.6ms（GPU PyTorchより約7倍高速）。
• GLiNER2分類: Neural Engineで2択決定あたり1.6ms（FP16）。
• Kev 0.8B: M5 Proで2質問チケットあたり18ms。
• Clef-Vision: 1画像+約500トークンで260ms（ビジョン50ms、言語190ms）。
• Decision 2.0（Kai）: 約1kトークン要求で17ms、Eosはやや遅め。
• 短い返信の下書き: M5 Proで返信あたり約190ms。

すべてのタイミングはApple Silicon（M5 Pro）上のオンデバイスCore ML実行で測定されており、サーバーに送信されるものはありません。

デモとツール

• FluidUseDemo – 実行中のアプリを選択し、プロファイルをロードしてフォームに入力するCLI。
• いくつかのSwift-UIデモ（LayaTetrisDemo、GLiClass2048Demo、GuardrailDemo、FrontDoorDemo、ShortReplyDemo）。
• ベンチマーク、合成スイートでのモデル実行、簡単なゲーム（Tetris、2048）での意思決定レイテンシの紹介を行うCLIヘルパー。

対象ユーザー
macOSの自動化、オンデバイスアシスタント、またはプライバシー重視のUI自動化ツールを構築する開発者で、超高速でローカル実行される意思決定モデルが必要な方。

ライセンス
FluidUseコードはApache 2.0、CUA-S1-FORMSモデルはMITライセンスです。