google-deepmind/regress-lm

何を解決するか

RegressLM は、シーケンスからシーケンスへの数値予測を簡素化します。テキストや画像などのトークン化可能な入力から浮動小数点値（回帰）を予測できるようにし、モデルが非構造化データを扱って特定のパフォーマンス指標や結果を予測できるようにします。

動作方法

このライブラリは、入力シーケンスから数値予測をデコードできるモデルの事前学習および微調整のフレームワークを提供します。T5Gemma、Mamba、Performer などのさまざまなエンコーダアーキテクチャをサポートしており、長文脈対応（100K+トークン）が可能です。ユーザーはゼロから始めるか、第三者の事前学習済みモデルを使用できます。また、複数の数値値を同時に予測するマルチオブジェクティブ予測もサポートしています。

対象ユーザー

非構造化でトークン化可能なデータを正確な数値にマッピングする必要がある開発者や研究者向けです。たとえば、テキストベースのシステム状態から GPU カーネルのレイテンシーやシステムパフォーマンス指標を予測する場合に適しています。

特徴

• 柔軟な入力対応: 文字列や画像などのトークン化可能な入力を扱えます。
• マルチオブジェクティブ予測: 複数の数値ターゲットを連結されたトークンシーケンスとしてデコードできる機能。
• 長文脈対応: Mamba および Performer エンコーダとの統合により、10万トークン以上の入力に対応可能。
• 転移学習: 大規模データセットでの事前学習と、特定タスクへの微調整をサポート。
• アーキテクチャの選択肢: T5Gemma エンコーダおよびカスタムデコーダと互換性あり。