hr98w/jev-visual
An educational Jev-like visual inference experiment on Apple Silicon: shared context, direct candidate scoring, and local visual demos.
它解决了什么
它解决了自回归结构化生成（例如生成 JSON）在视觉语言模型需要回答单个图像的多个问题时效率低下的问题。它不使用文本生成，而是使用直接评分方法，从候选项中快速确定最可能的答案。
它的运作方式
此项目通过 MLX 在 Apple Silicon 上使用“共享预填充”策略。它处理图像和上下文一次，分叉缓存，然后批量处理多个问题后缀。它不是让模型“思考”或写出答案，而是读取模型 logits 来评分候选输出（例如 A/B/C 选项或是/否），并在代码中组装结果。
适合谁使用
有兴趣在 Mac 硬件上优化视觉语言模型（VLM）推理的开发人员和研究人员，特别是那些寻找慢速文本生成的替代方案来进行分类或多项选择任务的人。
重点
- 针对 Apple Silicon 优化：使用 MLX 在 M 系列芯片上本地执行。
- 高效能推理：通过使用共享前缀批量评分而非独立生成，展示了显著的加速（例如，64 个决策从 37.30 秒降至 2.40 秒）。
- 直接评分：通过直接从 logits 评分候选 token，避免结构化文本生成的不可预测性。
- 互动演示：包含视觉游戏演示，例如简化的 Breakout 和 AI 分类工厂，以展示实时视觉分类。
相关
- 项目
atopos31/llmioLLMIO 是一个基于 Go 的 LLM 网关，提供统一 API、加权负载均衡和全面的可观测性，用于管理多个 AI 模型提供商。
- 项目
sybil-solutions/glm-flash-liteA serving stack that runs GLM-5.3-Flash (125 GB) on a single RTX 3090 24 GB by splitting its 12,096 routed experts across VRAM, RAM, and NVMe, delivering up to ~28 tok/s decode with near-exact output.
- 项目
mattn/go-tflitego-tflite 是 TensorFlow Lite C API 的 Go 语言绑定，使 Go 程序能够加载 *.tflite* 模型、运行推理，并可选择使用 XNNPACK 或 Edge-TPU 等硬件委托。该项目为主要平台提供预编译的 TensorFlow Lite 库、清晰的构建说明以及 Binder 笔记本演示。
- 项目
flagos-ai/awesome-LLM-driven-kernel-generationA curated list of papers, datasets, and tools exploring how large language models and agentic systems can automate the generation and optimization of high-performance computing kernels, organized by research stream and technique.