stevesolun/ctx

해결하는 문제

CTX Fit는 개발자가 특정 코드베이스에 대해 신뢰성 있고 비용 효율적인 AI 코딩 설정을 찾는 데 도움을 줍니다. 리포지토리의 기록에서 추출한 실제 작업에 대해 다양한 설정을 테스트하고, 프로젝트 자체의 테스트 스위트를 사용하여 결과를 검증함으로써 모델과 지침을 선택하는 추측의 여지를 제거합니다.

작동 방식

이 도구는 리포지토리를 분석하여 언어와 검증 명령어(예: pytest 또는 ruff)를 식별합니다. 그런 다음 대표적인 작업에 대해 후보 AI 설정을 테스트하는 '캠페인'을 생성합니다.

승자로 선정된 설정은 엄격한 계층 기준에 따라 결정됩니다: 첫째, 후보는 신뢰성 하한선을 충족해야 하며, 둘째, 가장 저렴한 옵션이 선택되며, 셋째, 동점일 경우 더 단순한 설정이 우선됩니다. 최종 결과는 .ctx/fit-configuration.json이라는 사이드카 파일로 저장되며, 작업 트리에 직접 적용하거나 풀 리퀘스트로 제출할 수 있습니다.

대상 사용자

AI 코딩 에이전트를 사용하고 있으며, 모델이나 프롬프트를 수동으로 시도해보지 않고도 신뢰성과 비용 측면에서 설정을 최적화하고자 하는 소프트웨어 엔지니어 및 유지보수자입니다.

주요 특징

• 자동 벤치마킹: 리포지토리의 실제 작업에 대해 AI 설정을 테스트하고, 네이티브 테스트 러너(파이썬, JS/TS, Go, 루스트, Make)를 사용하여 검증합니다.
• 비용 최적화: 신뢰성 기준을 충족하는 가장 저렴한 설정을 찾습니다.
• 안전한 실행: 리눅스에서는 네트워크 비활성화된 격리된 네임스페이스에서 검증 명령어를 Bubblewrap로 실행합니다.
• 비파괴적: --dry-run을 통해 계획을 세우거나, --pr을 사용해 코드를 직접 수정하지 않고 GitHub 풀 리퀘스트로 변경을 제안할 수 있습니다.