Valen-Team/Valen

Open, lightweight multimodal decision models for text, images, and video. Train and run them yourself.

解决的问题

Valen 解决了如何让软件从混合输入(文本、图像或视频)中做出清晰、结构化决策的问题。它不会生成自由文本,而是根据任务指令评估输入,并为每个候选答案返回概率,从而轻松集成到自动化决策流水线、智能体或游戏中。

工作原理

Valen 是一个“系统一”决策模型:它接收输入(如句子、图像或视频)以及一组问题(每个问题包含可能的答案),并输出每个答案的概率。它支持三种问题类型:谓词(真/假)、选择(在选项中挑选)和评分(在有序量表上评分)。在内部,它使用语言主干(Qwen3.5)结合“Mixer”组件和共享状态推理,并通过监督微调和强化学习(RLCD)进行训练。它有三种尺寸(0.8B, 2B, 4B)可供选择,可以通过免费托管 API、本地 Docker 镜像(SGLang 或 vLLM)或直接在 Python 中使用 Transformers 进行部署。该仓库还包含训练和微调脚本,以便您可以根据自己的数据进行适配。

适用人群

Valen 适用于需要轻量级、多模态决策模型并将其插入大型系统的开发者和研究人员——例如,验证用户请求、分类意图、评估游戏状态或根据视觉输入做出选择。它也适合希望在不从零开始的情况下训练或微调自己的决策模型的团队。

亮点

  • 接受文本、图像和视频作为输入,并返回结构化的概率输出。
  • 三种模型尺寸(0.8B, 2B, 4B),以平衡速度和准确性。
  • 免费托管 API 可在 api.valen-team.workers.dev/v1/decisions 访问,基础使用无需密钥。
  • 支持通过 SGLang、vLLM 或 Transformers 进行本地部署,并提供详细指南。
  • 包含训练和微调方案,以及用于 VisualDecisionBench 基准测试的评估脚本。
  • 采用 Apache 2.0 许可证并在 Hugging Face 上开源,并附带评估工具包 (JevalKit)。

相关

  • 项目
  • 项目
  • 项目
  • 项目