InternLM/Intern-Decision

解决的问题

Intern-Decision 旨在将给定状态（可包含可选图像）和多个类型化问题转换为带有相关概率的具体决策。它解决了在多种格式（如多选题、评分题和是/否问题）下，模型需要提供校准置信度的需求。

工作原理

该项目对 Qwen3.5 的语言主干进行微调，同时保持视觉塔和投影器冻结。使用自回归掩码语言建模目标，助手的输入为 JSON 模板。模型在单次因果前向传播中预测每个字段的答案符号。推理时，模型将 logits 限制在合法答案符号范围内，并应用 softmax 以推导出概率。此外，还包含温度校准过程，以提高概率的准确性（Brier 和 ECE 指标）。

适用人群

适用于需要决策模型不仅能输出标签，还能为多种任务（如浏览器操作、游戏（如 Mario、Doom）以及通用决策基准）提供校准正确性概率的 AI 研究人员和开发者。

主要亮点

多类型决策支持：支持 choice、score 和 noul（是/否）问题类型。
高精度：4B 模型在七个评估套件上达到平均 90.02% 的准确率。
低延迟：在 RTX 4090 上，4B 模型的平均本地请求延迟为 44.16 ms。
校准置信度：包含分布校准基准和工具，用于拟合温度标量以提升概率可靠性。
灵活推理：提供两种推理后端：原生 Hugging Face 和 XTuner。