hamishivi/tmax

해결하는 문제

Tmax는 컴퓨터 터미널을 사용할 수 있는 강력한 AI 에이전트를 만들기 위한 포괄적인 프레임워크를 제공합니다. 합성 학습 데이터 생성, 모델 훈련, 복잡한 터미널 작업에서의 성능 평가를 포함한 에이전트 개발의 전 생애 주기를 간소화합니다.

작동 방식

이 프로젝트는 네 가지 주요 단계로 구성되어 있습니다:

1. 데이터 생성: 확장 가능한 파이프라인을 사용하여 다양한 난이도 인식 터미널 작업을 합성합니다. 이러한 작업은 프로그래밍 가능한 검증기로 에이전트가 작업을 해결했는지 확인할 수 있는 자체 포함형 Docker 또는 Apptainer 환경으로 패키지화됩니다.
2. 에이전트 구현: LiteLLM 기반의 "Vanillux2Agent"를 사용하여 특정 프롬프트 허니스, bash 도구 스키마, 포맷 오류 복구 기능을 활용해 활성 환경에서 명령을 실행합니다.
3. 훈련: open-instruct의 파생 버전을 사용하여 Supervised Fine-Tuning (SFT) 및 Direct Preference Optimization (DPPO) 강화 학습(RL)을 수행하여 모델을 최적화합니다.
4. 평가: vLLM을 모델 서빙에 사용하고, Beaker 파이프라인을 통해 Terminal-Bench 및 SWE-bench와 같은 데이터셋에 대해 모델을 테스트합니다.

대상 사용자

운영 체제와 상호작용하고, 파일을 관리하며, 쉘 명령을 실행하여 기술적 문제를 해결할 수 있는 자율 에이전트를 개발하는 데 집중하는 AI 연구자 및 개발자입니다.

주요 특징

• 엔드투엔드 파이프라인: 합성 데이터 생성에서 최종 평가에 이르기까지 모든 과정을 커버합니다.
• 대규모 작업 코퍼스: 자체 포함형 작업과 복잡한 멀티모달 작업을 포함한 Harbor 형식으로 공개된 15k 작업 코퍼스를 포함합니다.
• 프로그래밍 기반 검증: 각 작업에는 성공 여부를 객관적으로 측정할 수 있는 검증기가 포함되어 있습니다.
• 유연한 사전 환경: 로컬 Docker 및 Daytona 클라우드 사전 환경을 포함한 다양한 실행 환경을 지원합니다.