stevesolun/ctx

解決する課題

CTX Fitは、開発者が特定のコードベースに信頼性があり、最もコスト効率の良いAIコーディング設定を見つけるのを支援します。モデルや指示の選択に迷う必要がなくなり、リポジトリの履歴から抽出された実際のタスクに対してさまざまな設定をテストし、プロジェクト独自のテストスイートで結果を検証することで、信頼性を確認します。

動作方法

このツールはリポジトリを分析し、使用言語と検証コマンド（pytest や ruff など）を特定します。その後、「キャンペーン」として、代表的なタスクに対して候補となるAI設定をテストします。

勝者となる設定は厳格な優先順位に基づいて選ばれます：1. 候補は信頼性の下限を満たしている必要がある；2. 最も安価な選択肢が選ばれる；3. 同じコストの場合、より単純な設定が優先されます。最終的な結果は .ctx/fit-configuration.json というサイドカー形式のファイルとして保存され、作業ツリーに直接適用したり、GitHubのプルリクエストとして提出したりできます。

対象ユーザー

AIコーディングエージェントを使用し、モデルやプロンプトを手動で試行錯誤せずに、信頼性とコストの最適化を図りたいソフトウェアエンジニアやメンテナーアンです。

特徴

• 自動ベンチマーク: 実際のリポジトリタスクに対してAI設定をテストし、ネイティブなテストランナー（Python、JS/TS、Go、Rust、Make）で検証します。
• コスト最適化: 信頼性の閾値を満たす最も安価な設定を特定します。
• 安全な実行: LinuxではBubblewrapを使用して、ネットワーク無効化・隔離された名前空間で検証コマンドを実行します。
• 非破壊的: --dry-run で計画を立てられ、--pr を使用してコードを直接変更せずにGitHubのプルリクエストとして変更を提案できます。