wisent-ai/ster

解決する課題

Sterは、オープンウェイト言語モデルの内部動作を理解し、影響を与えるための手段を提供します。特定の特性に対応する内部信号(隠れ状態)を特定し、生成中にそれらの信号を調整することでモデルの出力を「制御」できるようにします。

仕組み

Sterは、Transformer層から隠れ状態を読み取るネイティブRustツールキットとして動作します。対照的な例を使用して、モデルの内部表現内における特定の特性の方向を学習します。一度特定されると、これらの方向を使用してモデルの生成を制御できます。さらに、教師あり微調整、選好最適化、報酬モデリングなどのさまざまな手法を用いたLoRAアダプターのトレーニングをサポートしており、これらの結果をマージおよび検査するためのツールも提供します。

対象ユーザー

外部のホスト型APIやブラックボックスサービスに依存することなく、モデルの動作、解釈可能性、微調整を細かく制御する必要がある、ローカルのオープンウェイト言語モデルを扱う開発者や研究者向けに設計されています。

ハイライト

  • 幅広いオープンウェイトのTransformerアーキテクチャをサポート。
  • 特性固有の方向を特定および適用することで、アクティベーション制御を実現。
  • 選好最適化や報酬モデリングを含む、LoRAアダプターのトレーニングツールを提供。
  • テキストを生成することなく、モデルの内部状態から直接質問への回答を抽出する「決定」モードを提供。
  • MetalおよびCUDAバックエンドをサポートし、マシン上で完全にローカルに実行可能。

関連