FluidInference/FluidUse

FluidUse – macOS용 온디바이스 의사 결정 모델

기능
FluidUse는 macOS 앱이 작은 온디바이스 머신러닝 모델을 사용하여 양식을 자동으로 채우고 유형화된 결정을 내릴 수 있게 해주는 Swift 라이브러리입니다. Accessibility API를 통해 UI 요소를 읽고, 각 필드에 어떤 값이 들어가야 하는지 Core ML 모델에 질문한 다음, 답변을 입력합니다. 모든 작업은 로컬에서 이루어지며 Apple Silicon에서 서브 밀리초 대기 시간을 제공합니다.

주요 구성 요소

구성 요소	용도	모델 크기 / 유형
AccessibilityFormDriver / WebFormDriver	네이티브 앱 또는 WKWebView 양식의 스냅샷을 캡처하고 필드를 노출합니다.	–
CuaS1FormsManager	Core ML로 변환된 자사 양식 작성 모델(706K 매개변수).	~0.7M 매개변수
LayaManager	선택/점수/예-아니오 질문에 한 번에 답하는 결정 모델(322M mmBERT), 토큰 생성 없음.	322M 매개변수, 여러 토큰 길이 버킷
GLiNER2Manager	최대 8개 레이블을 위한 소형(128-토큰) 분류 헤드.	291MB(기본) / 385MB(다국어)
KevFastManager	다중 질문 응답을 위해 0.8B 매개변수 Kev 모델(Qwen 3.5 백본)을 실행합니다.	~3.5GB
ClefVisionManager	이미지와 유형화된 질문을 평가하는 비전-언어 결정 모델(0.92B).	~1.8GB 총
InternDecisionManager	텍스트 전용 유형화된 결정을 위한 Intern-Decision 0.8B 모델.	~3.4GB
Decision2Manager	vLLM Semantic Router "Decision 2.0" 모델(Kai 0.6B, Eos 0.8B).	1.1-1.4GB
Vela2Manager	라우팅, 안전 및 스팬 추출 모델(0.3B).	~640MB
ShortReplyManager	단일 짧은 소셜 미디어 답변(0.6B)을 초안 작성합니다.	724MB

모든 관리자는 첫 사용 시 Hugging Face에서 체크인된 Core ML 패키지를 다운로드하고, SHA-256 체크섬을 확인한 후 ~/Library/Application Support/FluidUse/Models/…에 캐시합니다.

사용 방법

import FluidUse
let model = try await CuaS1FormsManager.load()
let driver = AccessibilityFormDriver(application: safari)
let page = try await driver.snapshot()
for field in page.elements where field.isActionable {
    let ctx = FormSchema.renderContext(formTitle: page.title, element: field)
    let decision = try await model.score(context: ctx, options: …)
    // decode → driver.type / driver.click
}

동일한 패턴이 다른 관리자(Laya, GLiNER2, Kev 등)에도 적용됩니다. 관리자를 로드하고 answer/score/classify를 호출한 다음 결과에 따라 작업을 수행합니다.

성능 하이라이트

• 양식 작성 모델: Neural Engine에서 결정당 ~0.9ms, PyTorch 참조와 동일한 정확도.
• Laya: M5 Pro에서 짧은 질문당 3.6ms(GPU PyTorch보다 약 7배 빠름).
• GLiNER2 분류: Neural Engine에서 두 옵션 결정(FP16)당 1.6ms.
• Kev 0.8B: M5 Pro에서 두 질문 티켓에 18ms.
• Clef-Vision: 이미지 1개 + 약 500토큰에 260ms(비전 50ms, 언어 190ms).
• Decision 2.0(Kai): 약 1k 토큰 요청에 17ms; Eos는 약간 느림.
• 짧은 답변 초안: M5 Pro에서 답변당 ~190ms.

모든 타이밍은 Apple Silicon(M5 Pro)에서 온디바이스 Core ML 실행으로 측정되었으며, 서버로 전송되는 것은 없습니다.

데모 및 도구

• FluidUseDemo – 실행 중인 앱을 선택하고 프로필을 로드하여 양식을 채우는 CLI.
• 여러 Swift-UI 데모(LayaTetrisDemo, GLiClass2048Demo, GuardrailDemo, FrontDoorDemo, ShortReplyDemo).
• 벤치마킹, 합성 스위트에서 모델 실행, 간단한 게임(Tetris, 2048)을 플레이하여 결정 대기 시간을 보여주는 CLI 도우미.

대상 사용자
macOS 자동화, 온디바이스 어시스턴트 또는 초고속 로컬 실행 결정 모델이 필요한 개인정보 보호 우선 UI 자동화 도구를 구축하는 개발자.

라이선스
FluidUse 코드는 Apache 2.0; CUA-S1-FORMS 모델은 MIT 라이선스입니다.