Creating realistic RL environments requires collaboration between researchers, engineers, and domain experts across many dimensions: artifacts, environments tools, dynamism of the environment, reproducibility, and more. There is no open source framework for building these environments effectively. Until now.

AgentEnv Framework – 빠른 개요

개요 – AgentEnv Framework는 에이전트 환경(agentenv-framework-protocol을 사용하는 컨테이너화된 서비스)을 생성, 배포, 평가하기 위한 Python SDK 및 명령줄 도구(agent-env)입니다. 환경을 Docker 이미지로 패키징하고, 게이트웨이 뒤에서 실행하고, LLM 스타일 에이전트를 연결하고, 에이전트의 행동을 자동으로 점수를 매길 수 있습니다.

주요 구성 요소

환경 – 표준 프로토콜을 노출하는 컨테이너화된 서버(로컬 Docker, Vercel 샌드박스 또는 사용자 지정 마이크로 VM).
에이전트 – 프로토콜을 통해 해당 환경과 상호 작용하는 자체 LLM 지향 코드(또는 외부 서비스).
작업/에피소드 – 에이전트와 환경 간의 턴을 조정하고 시간 초과, 도구 호출 및 점수 매기기를 처리하는 정의된 시나리오.
백엔드 – 로컬 Docker, Vercel 샌드박스, smol_vm 마이크로 VM 및 아티팩트용 선택적 클라우드 스토어(AWS, GCP, TensorLake, Tenki).
플러그인 – 새로운 환경 유형, 공급자, 작업 단계 또는 스토리지 백엔드를 위한 확장 지점.

일반적인 워크플로

환경 정의 (Dockerfile + agentenv-framework-protocol 서버).
빌드 및 등록 agent-env로 (버전이 지정된 이미지 생성).
작업 생성 에피소드를 설명하는 (턴 순서, 프롬프트, 점수 매기기).

작업 실행 agent-env run <task> 또는 Python SDK 사용:

spec = EpisodeSpec.from_task(Task.get("my-task"), turn_timeout=900)
episode = await spec.start()
while (turn := await episode.next_turn()) is not None:
    async with turn.tools() as tools:
        ...  # 도구 호출, 프롬프트 읽기, 응답 생성
    await turn.end(response="완료")
scores = await episode.result()

점수 수집 – CLI에 표시된 것과 동일한 숫자가 강화 학습 또는 평가를 위해 반환됩니다.

설치 – PyPI에서 agentenv-framework로 사용 가능. Python ≥ 3.11.4 및 로컬 백엔드용 Docker 필요. CLI는 uv tool install agentenv-framework(또는 pip)로 설치하고 특정 공급자([vercel], [smol], [aws] 등)에 대한 추가 기능을 추가합니다.

중요한 이유 – 격리된 서비스를 시작하고 LLM 에이전트에 점수를 매기는 복잡한 작업을 추상화하여 외부 도구, API 또는 사용자 지정 코드를 호출해야 하는 에이전트를 벤치마킹하거나 훈련하기 쉽게 합니다.

리소스

문서: https://www.agentenvframework.com/docs
GitHub: https://github.com/scaleapi/agentenv-framework
라이선스: Apache-2.0

scaleapi/agentenv-framework

AgentEnv Framework – 빠른 개요

관련