hr98w/jev-visual

An educational Jev-like visual inference experiment on Apple Silicon: shared context, direct candidate scoring, and local visual demos.

解決する問題

視覚言語モデルが単一の画像に関する複数の質問に回答する必要がある場合に、自己回帰構造化生成（JSON 生成など）の非効率性に対処します。テキストを生成する代わりに、直接スコアリング方式を使用して、候補セットから最も可能性の高い回答を迅速に決定します。

仕組み

このプロジェクトは、MLX を介して Apple Silicon 上で「共有プリフィル」戦略を使用します。画像とコンテキストを一度処理し、キャッシュをフォークして、複数の質問サフィックスをバッチ処理します。モデルに「考えさせたり」回答を書き出させたりする代わりに、モデルのロジットを読み取って候補出力（A/B/C オプションやはい/いいえなど）をスコアリングし、コードで結果を組み立てます。

対象読者

Mac ハードウェア上で視覚言語モデル（VLM）の推論を最適化することに興味がある開発者や研究者、特に分類や多肢選択タスクのために遅いテキスト生成の代替を探している人々。

ハイライト

  • Apple Silicon 向けに最適化：MLX を使用して M シリーズチップ上でローカルに実行。
  • 高効率推論：独立生成の代わりに共有プレフィックスバッチスコアリングを使用することで、大幅な高速化（例：64 の決定で 37.30 秒から 2.40 秒）を示します。
  • 直接スコアリング：ロジットから直接候補トークンをスコアリングすることで、構造化テキスト生成の予測不可能性を回避します。
  • インタラクティブデモ：簡略化された Breakout や AI 仕分け工場などのビジュアルゲームデモを含み、リアルタイムの視覚分類を紹介します。

関連

  • プロジェクト
    atopos31/llmio

    LLMIOは、複数のAIモデルプロバイダーを管理するための統一API、加重負荷分散、および包括的な可観測性を提供するGoベースのLLMゲートウェイです。

  • プロジェクト
    sybil-solutions/glm-flash-lite

    A serving stack that runs GLM-5.3-Flash (125 GB) on a single RTX 3090 24 GB by splitting its 12,096 routed experts across VRAM, RAM, and NVMe, delivering up to ~28 tok/s decode with near-exact output.

  • プロジェクト
    mattn/go-tflite

    go-tflite は TensorFlow Lite C API の Go 言語バインディングであり、Go プログラムから *.tflite* モデルの読み込み、推論の実行、および XNNPACK や Edge-TPU などのハードウェアデリゲートの利用を可能にします。主要プラットフォーム向けの事前ビルド済み TensorFlow Lite ライブラリ、明確なビルド手順、および Binder ノートブックのデモを提供しています。

  • プロジェクト
    flagos-ai/awesome-LLM-driven-kernel-generation

    A curated list of papers, datasets, and tools exploring how large language models and agentic systems can automate the generation and optimization of high-performance computing kernels, organized by research stream and technique.