stevibe/BenchLocal

해결하는 문제

BenchLocal은 실제 작업에서 대규모 언어 모델(LLM)을 테스트하고 비교할 수 있는 로컬 우선 데스크톱 환경을 제공합니다. 사용자가 여러 로컬 또는 원격 모델에 대해 표준화된 "Bench Packs"(벤치마크 세트)을 동시에 실행할 수 있도록 하여, 수동으로 모델을 테스트하는 번거로움을 제거합니다.

작동 방식

이 소프트웨어는 제공자 설정, 모델 레지스트리, 벤치마크 실행을 관리하는 공유 데스크톱 런타임 역할을 합니다. 사용자는 시나리오 정의, 프롬프트, 점수 산정 로직을 포함한 Bench Packs를 설치하고 앱을 통해 실행합니다. 시스템은 탭 단위의 샘플링 오버라이드를 지원하며, 실행 결과의 기록을 유지합니다.

또한 HTTP API와 Model Context Protocol(MCP)를 통해 "에이전트 액세스" 기능을 제공하여, AI 에이전트와 자동화 도구가 UI가 활성화된 상태에서도 벤치마크 워크플로우를 프로그래밍 방식으로 제어할 수 있습니다.

대상 사용자

도구 호출, 버그 탐지, 데이터 추출과 같은 특정 작업에서 다양한 모델 간에 일관된 프레임워크로 LLM 성능을 평가해야 하는 개발자 및 AI 연구자에게 적합합니다.

주요 특징

• 로컬 우선 데스크톱 앱: LLM 벤치마크를 관리하고 실행하기 위한 전용 환경.
• Bench Pack 시스템: 설치 가능하고 모듈화된 벤치마크 세트를 지원하며, 자체 점수 산정 및 검증 로직을 갖춤.
• 에이전트 제어: MCP 및 OpenAPI 통합을 통해 외부 AI 에이전트가 실행 및 모델을 관리 가능.
• 병렬 비교: 동일한 작업에 대해 여러 모델의 출력을 동시에 비교 가능.