hr98w/jev-visual
An educational Jev-like visual inference experiment on Apple Silicon: shared context, direct candidate scoring, and local visual demos.
해결하는 문제
비전-언어 모델이 단일 이미지에 대한 여러 질문에 답해야 할 때 자동 회귀 구조화 생성(예: JSON 생성)의 비효율성을 해결합니다. 텍스트를 생성하는 대신 직접 점수 방식을 사용하여 후보 집합에서 가장 가능성 있는 답변을 빠르게 결정합니다.
작동 방식
이 프로젝트는 MLX를 통해 Apple Silicon에서 "공유 프리필" 전략을 사용합니다. 이미지와 컨텍스트를 한 번 처리하고 캐시를 포크한 다음 여러 질문 접미사를 배치 처리합니다. 모델이 "생각"하거나 답변을 작성하게 하는 대신 모델 로짓을 읽어 후보 출력(예: A/B/C 옵션 또는 예/아니요)을 점수화하고 코드에서 결과를 조합합니다.
대상 사용자
Mac 하드웨어에서 비전-언어 모델(VLM) 추론을 최적화하는 데 관심이 있는 개발자와 연구자, 특히 분류 또는 객관식 작업을 위해 느린 텍스트 생성의 대안을 찾는 사람들.
주요 특징
- Apple Silicon에 최적화: MLX를 사용하여 M 시리즈 칩에서 로컬로 실행됩니다.
- 고효율 추론: 독립 생성 대신 공유 접두사 배치 점수를 사용하여 상당한 속도 향상(예: 64개 결정에 대해 37.30초에서 2.40초)을 보여줍니다.
- 직접 점수화: 로짓에서 직접 후보 토큰을 점수화하여 구조화된 텍스트 생성의 예측 불가능성을 피합니다.
- 대화형 데모: 단순화된 Breakout 및 AI 분류 공장과 같은 시각적 게임 데모를 포함하여 실시간 시각적 분류를 보여줍니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트