OpenEnv: 실제 환경에서 도구를 사용하는 에이전트 평가

Hugging Face와 Meta는 OpenEnv를 도입했습니다. 이는 실제 시스템과 상호작용하는 AI 에이전트의 평가를 표준화하도록 설계된 오픈소스 프레임워크입니다. 평가를 제어된 시뮬레이션에서 실제 도구와 API로 전환함으로써, OpenEnv는 연구 성공과 프로덕션 신뢰성 사이의 지속적인 격차를 메우는 것을 목표로 합니다.

OpenEnv 프레임워크 개요

OpenEnv는 AI 에이전트를 실제 워크플로와 도구에 연결하면서 일관된 평가 구조를 유지하는 표준화된 방법을 제공합니다. OpenAI의 Gymnasium과 유사한 gym 지향 API를 활용하며, reset, step, action, observations와 같은 기능을 포함합니다.

다양한 도메인 및 환경 전반에 걸쳐 일관성을 보장하기 위해 OpenEnv는 표준 Model Context Protocol (MCP) 도구 호출 인터페이스를 사용합니다. 프레임워크의 주요 특징은 다음과 같습니다:

  • Real-System Interaction: 실제 시스템을 대상으로 에이전트를 평가합니다.
  • State Maintenance: 환경은 여러 행동에 걸쳐 상태를 유지하며, 이를 통해 장기 추론을 평가할 수 있습니다.
  • Direct API Connectivity: 에이전트는 코드 저장소, 브라우저, 캘린더와 같은 실제 도구에 직접 연결할 수 있습니다.

Calendar Gym 벤치마크

OpenEnv의 유용성을 보여주기 위해 Turing은 캘린더 관리 전용의 프로덕션 급 환경인 Calendar Gym을 제공했습니다. 캘린더 시스템은 복잡한 실제 제약을 처리해야 하므로 벤치마크로 사용됩니다. 포함되는 제약 사항은 다음과 같습니다:

  • Access Control Lists (ACLs): 다양한 사용자와 캘린더에 대한 권한을 관리합니다.
  • Partial Observability: 다른 사용자의 상태에 대한 제한된 가시성을 다룹니다.
  • al-Step Workflows: 여러 종속 작업을 올바른 순서로 연결합니다.
  • Temporal Reasoning: 시간에 대한 추론 및 날짜/시간 형식 처리.

Calendar Gym의 에이전트는 캘린더 목록 조회 및 이벤트 삽입과 같은 다양한 작업과 상호작용하며, 격리된 환경에서 실행되어 서로 다른 실행 간에 신뢰할 수 있는 비교를 보장합니다.

에이전트 신뢰성에 대한 주요 발견

Calendar Gym 내에서 에이전트를 평가한 결과, 작업이 더 모호하고 기간이 길어질수록 신뢰성이 감소함을 확인했습니다. 주요 병목 현상은 다음과 같습니다:

다단계 추론

에이전트는 긴 워크플로에서 행동을 올바르게 연결하는 데 어려움을 겪으며, 이는 벤치마크가 단일 도구 호출 테스트를 넘어 여러 종속 단계에 걸친 지속적인 추론을 평가해야 함을 시사합니다.

모호성 해결

자연어 설명은 성능에 크게 방해가 됩니다. 에이전트는 명시적인 캘린더 식별자가 있는 작업에서 거의 90% 성공률을 달성했지만, 작업이 자연어로 표현될 경우 약 **40%**로 감소했습니다.

실행 품질

올바른 도구를 선택하는 것만으로는 신뢰성을 확보하기에 충분하지 않습니다. 실패한 상호작용 오류의 절반 이상은 올바른 도구를 선택했음에도 불구하고 잘못된 도구 인수나 순서 오류로 인해 발생했습니다.

일반적인 도구 사용 실패 유형

프로덕션 도구 통합 분석 결과, 에이전트가 실제 API와 상호작용할 때 겪는 세 가지 반복적인 실패 유형이 밝혀졌습니다:

1. 스키마 검증 오류

이는 에이전트가 유효한 도구를 호출했지만 JSON 스키마와 일치하지 않는 인수를 제공할 때 발생합니다. 예를 들어 필수 필드(calendarId)가 누락되었거나 데이터 유형이 잘못된 경우(예: 객체가 기대되는 곳에 문자열을 전달) 등이 있습니다.

2. 권한 및 인증 오류

이는 구문적으로는 올바른 호출이지만 권한이 부족하여 API에 의해 거부되는 경우입니다. 예를 들어 만료된 액세스 토큰이나 누락된 OAuth 스코프 등이 있습니다. 연구자들은 에이전트가 동일한 실패 호출을 재시도하기보다 사용자를 안내할 수 있도록 구조화된 실행 가능한 해결 단계를 제공할 것을 제안합니다.

3. 날짜·시간 및 형식 오류

실패는 종종 RFC3339가 아닌 날짜·시간 형식이나 시간대 오프셋 누락으로 발생합니다. 권장 해결책은 명시적인 시간대 오프셋을 포함한 RFC3339 형식으로 표준화하고, 문서에 올바른 예시를 제공하여 모델 동작을 고정하는 것입니다.

Sources