Valen-Team/Valen
Open, lightweight multimodal decision models for text, images, and video. Train and run them yourself.
解決する課題
Valenは、混合入力(テキスト、画像、または動画)から明確で構造化された方法でソフトウェアが意思決定を行うという問題を解決します。自由形式のテキストを生成するのではなく、タスクの指示に基づいて入力を評価し、各候補回答の確率を返すため、自動化された意思決定パイプライン、エージェント、またはゲームへの統合が容易になります。
仕組み
Valenは「システム1」意思決定モデルです。入力(文章、画像、動画など)と一連の質問(それぞれ回答の選択肢付き)を受け取り、各回答の確率を出力します。3つの質問タイプ(述語(真/偽)、選択(オプションから選択)、スコア(順序尺度で評価))をサポートしています。内部的には、言語バックボーン(Qwen3.5)と「Mixer」コンポーネントおよび共有状態推論を組み合わせ、教師あり微調整と強化学習(RLCD)でトレーニングされています。3つのサイズ(0.8B, 2B, 4B)があり、無料のホスト型API、ローカルDockerイメージ(SGLangまたはvLLM)、またはPythonのTransformersで直接デプロイ可能です。リポジトリにはトレーニングおよび微調整スクリプトも含まれており、独自のデータに合わせて適応させることができます。
対象ユーザー
Valenは、より大きなシステムに組み込める軽量なマルチモーダル意思決定モデルを必要とする開発者や研究者に適しています。例えば、ユーザーリクエストの検証、意図の分類、ゲーム状態の評価、視覚入力に基づいた選択などです。また、ゼロから構築することなく独自の意思決定モデルをトレーニングまたは微調整したいチームにも適しています。
ハイライト
- テキスト、画像、動画を入力として受け取り、構造化された確率出力を返します。
- 速度と精度のバランスをとるための3つのモデルサイズ(0.8B, 2B, 4B)。
- 無料のホスト型APIが api.valen-team.workers.dev/v1/decisions で利用可能で、基本的な使用にはキーは不要です。
- SGLang、vLLM、またはTransformersを介したローカルデプロイをサポートし、詳細なガイドも提供しています。
- トレーニングおよび微調整レシピに加え、VisualDecisionBenchベンチマーク用の評価スクリプトが含まれています。
- Apache 2.0ライセンスでHugging Faceでオープンソース化されており、評価ツールキット (JevalKit) も付属しています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト