hamishivi/tmax

何を解決するか

Tmaxは、コンピュータ端末を使用できる強力なAIエージェントを構築するための包括的なフレームワークを提供します。合成学習データの生成、モデルの訓練、複雑な端末タスクにおけるパフォーマンスの評価を含む、エージェント開発の全ライフサイクルを簡素化します。

動作方法

このプロジェクトは4つの主要な段階に分かれています：

1. データ生成：スケーラブルなパイプラインを使用して、多様で難易度を考慮した端末タスクを合成します。これらのタスクは、プログラムによる検証が可能な自己完結型のDockerまたはApptainer環境としてパッケージ化されています。
2. エージェント実装：LiteLLMベースの「Vanillux2Agent」を使用し、特定のプロンプトハarness、bashツールスキーマ、フォーマットエラー回復機能を活用して、アクティブな環境でコマンドを実行します。
3. 訓練：open-instructのフォークを使用して、Supervised Fine-Tuning (SFT) および Direct Preference Optimization (DPPO) Reinforcement Learning (RL) を実行し、モデルを最適化します。
4. 評価：vLLMをモデル配信に使用し、Beakerパイプラインを用いてTerminal-BenchやSWE-benchなどのデータセットに対してモデルをテストします。

対象ユーザー

オペレーティングシステムと対話し、ファイルを管理し、シェルコマンドを実行して技術的課題を解決できる自律型エージェントの開発に注力するAI研究者および開発者。

主な特徴

• エンドツーエンドのパイプライン：合成データ生成から最終評価までをカバー。
• 大規模なタスクコーパス：Harbor形式で公開された15kタスクのコーパスを含み、自己完結型タスクと複雑なマルチモーダルタスクを含む。
• プログラムによる検証：各タスクには成功を客観的に測定する検証器が付属。
• 柔軟なサンドボックス：ローカルのDockerとDaytonaクラウドサンドボックスを含む、さまざまな実行環境をサポート。