mohit67890/imajev

Open Jev-style typed-decision model that also takes images: photo + app state + typed questions in, calibrated probabilities out, locally.

📸 imajev – 读取照片和业务记录的决策模型

它是什么 – 一系列小型开源多模态模型（2B、4B、9B 参数），接收一张（或两张）照片加上结构化文本数据（例如产品列表、支持工单、发票），并返回类型化答案（选择、是/否、评分）以及校准概率和明确的无法判断标志。这些模型基于 Qwen-3.5 系列、冻结的视觉塔和 LoRA 适配器构建，该适配器学习以 TypeSafe 的 Jev 系统使用的相同 JSON 契约输出决策。

🎯 核心思想

业务级决策 – 自动化高容量、定义明确的行动（例如“照片是否与列表匹配？”），同时将不确定的情况交由人工处理。
概率性、弃权输出 – 每个答案都包含您提供的每个选项的概率以及 unknown_probability。如果模型不够自信，您可以设置阈值并让人处理请求。
本地运行 – 权重采用 Apache-2.0 许可证，可在单个 GPU 或 Apple 芯片 Mac（MLX）上运行。数据不会离开您的网络。

🚀 亮点（来自 README）

功能	重要性
照片 + 记录 – 每个请求最多两张图像（参考 + 目标）和最多约 32 KB 的结构化数据。	让您可以根据目录验证发货，根据已知良好参考检查零件等。
类型化 JSON 契约 – 与 Jev 相同的请求/响应格式（选择、`noul` 评分、`unknown_probability`）。	易于替换现有的纯文本决策管道。
训练了“无法判断” – 模型学会何时真正不知道（在 ImajevBench 上 18/21 个未知项）。	减少幻觉，避免代价高昂的错误行动。
小巧、本地 – 2B-9B 参数，在 H100 上原始推理约 0.1 秒，使用随附校准约 0.35 秒。	适合单个 GPU 或现代 Mac；实时工作流延迟低。
最先进的基准分数 – 在 JevBench、Image JevBench 上排名第一，在 DecisionBench 上排名第三，击败了许多数百亿参数的系统。	尽管规模不大，但展示了有竞争力的质量。

📊 性能快照（官方排行榜，2026 年 9 月）

JevBench v1.4.2.2 – 1️⃣ / 91 个模型，得分 67.4（4B）。
Image JevBench v0.1.3 – 1️⃣ / 49 个模型，得分 76.4（4B）。
DecisionBench（英语） – 3️⃣ / 56 个模型，得分 79.65，领先于 GPT-5.6 Luna。
ImajevBench（图像-文本决策基准） – 83.9% 准确率（4B），18/21 个未知正确标记。

🛠️ 如何尝试

克隆并安装

git clone https://github.com/mohit67890/imajev && cd imajev
python3.11 -m venv .venv && source .venv/bin/activate
pip install -e "[serve,mlx]"   # 在非 Apple 硬件上使用 "torch" 额外项

下载模型（例如 4B 版本）

python scripts/download_model.py --model 4b   # 拉取 Qwen-3.5-4B 和 LoRA 适配器
hf download mohit67890/imajev-4b --local-dir adapters/imajev-4b

运行本地服务器

PYTHONPATH=src:scripts python scripts/playground/server.py \
  --model-bundle artifacts/model-qwen4b.json \
  --adapter adapters/imajev-4b/mlx \
  --calibration adapters/imajev-4b/calibration.json \
  --model-name imajev-4b --port 8765

调用 API（使用产品列表和照片的示例）

curl -s http://127.0.0.1:8765/v1/systemone \
  -F 'request={"state":{"listing":{"title":"Blue mug","color":"blue"}},
            "questions":{"matches":{"type":"noul","instructions":"Does the photo show the listed item?"}}}' \
  -F image=@photo.jpg

响应包含所选选项、每个选项的概率、confidence 和 unknown_probability。

实时演示托管在 Hugging Face Spaces 上：https://huggingface.co/spaces/mohit67890/imajev。

📂 仓库布局（高级）

src/ – 核心库，解析请求、运行模型并格式化 JSON 响应。
scripts/ – 用于下载权重、启动演示服务器以及展示真实场景（业务检查、纯文本、衣柜、造型师、描图板）的 playground 应用程序的实用程序。
docs/ – 资产、基准截图和技术报告。
artifacts/ – 模型包 JSON，告诉服务器加载哪个基础模型和 LoRA。

🏷️ 许可证

Apache-2.0 – 代码和模型权重均为开源，允许商业使用和修改。

🤝 谁构建的？

由 Mohit Garg 创建，他是一位专注于运营、支持和后台团队决策自动化的 AI 顾问。更多信息：https://mohitgarg.ai。

📌 何时使用 imajev？

零售/市场 – 验证产品照片是否与目录条目匹配，自动化退货验证。
制造/现场服务 – 将发货零件与参考图像进行比较以检测损坏。
客户支持 – 路由工单、标记紧急程度或根据附加截图验证退款资格。
信任与安全 – 快速拒绝违反政策的內容，不确定时要求用户提供更清晰的图像。
任何高容量、低风险的决策，其中可以定义清晰的答案选项，并且您希望模型在不确定时弃权。

📈 底线

imajev 提供了一个实用的、可本地运行的多模态决策引擎，弥合了纯文本 LLM（如 Jev）和重型视觉 API 之间的差距。其小巧的体积、校准的无法判断行为以及强大的基准排名使其成为需要在自己的硬件上进行快速、可信自动化的企业的可靠选择。