miuuyy/Astra-Ares

해결하는 문제

Astra-Ares는 현재 작업 단계의 복잡성에 따라 "추론 강도"를 동적으로 조정하여 고추론 모델(GPT-6 Astra, Sol, Luna 등)을 사용할 때 토큰 사용량과 비용을 줄입니다. 일정한 높은 강도로 실행하는 대신, 다음 생성의 특정 요구에 사고 깊이를 맞춥니다.

작동 방식

패치된 Codex CLI 버전과 통합하여 적응형 루프를 구현합니다. "Jev"라는 결정 모델이 현재 작업 컨텍스트(목표, 공개 진행 상황, 최근 도구 결과 포함)를 분석하여 적절한 추론 강도(예: LOW에서 HIGH)와 해당 설정이 유지되어야 하는 후속 생성 횟수("임대")를 결정합니다.

GPT-6 모델은 캐싱에 사용되는 프롬프트 접두사를 무효화하지 않고 추론 강도를 변경할 수 있으므로, Astra-Ares는 캐시 효율성을 유지하면서 대화 중간에 이러한 설정을 업데이트할 수 있습니다. 시스템은 OpenAI와 직접 통신하며, Jev는 특정 체크포인트에서 업데이트를 트리거하는 외부 평가자 역할을 합니다.

대상 사용자

Codex 및 GPT-6 모델을 에이전트 작업에 사용하고 적응형 추론을 통해 토큰 소비와 성능을 최적화하려는 기술 사용자 및 개발자.

주요 기능

• 동적 강도 스케일링: 작업의 즉각적인 요구 사항에 따라 추론 깊이를 자동으로 전환합니다.
• 임대 시스템: 재평가 전에 추론 선택을 일정 횟수(1, 2, 5 또는 10회) 적용하여 API 오버헤드를 줄입니다.
• 캐시 보존: GPT-6의 네이티브 기능을 활용하여 프롬프트 캐시 재사용을 깨지 않고 강도를 변경합니다.
• 제한된 컨텍스트: 평가자에게 작업 데이터의 선별된 하위 집합(최대 28,000 토큰)을 전송하여 의사 결정 효율성을 유지합니다.