FrontierCS/Frontier-CS

解決する課題

Frontier-CS は、現在の AI コーディングベンチマークの飽和に対処します。モデルは、既知の解決策がある教科書的な問題では高いスコアを獲得することが多い一方で、実際のエンジニアリングや研究の課題ではしばしば苦戦します。このプロジェクトは、深い専門知識を必要とし、最適な解決策がなく、モデルの進化に伴って AI 評価が挑戦的であり続けることを保証する、未解決で、オープンエンドで、多様なコンピュータサイエンスの問題を提供します。

仕組み

Frontier-CS は、AI のための厳格な「試験」として機能し、研究問題、アルゴリズム問題、エージェントネイティブ 2.0 問題の 3 つの主要なトラックを提供します。ソリューションを評価するための CLI と Python API を提供し、Docker によるローカル実行と SkyPilot によるクラウド実行の両方をサポートします。反復型 AI エージェントをサポートするために、Harbor と統合し、エージェントが submit.sh スクリプトを通じてフィードバックを受け取り、最終的な検証可能なスコアを受け取れるようにします。

対象読者

このツールは、コーディング、問題解決、コンピュータサイエンス研究に焦点を当てた LLM または AI エージェントを構築する AI 研究者や開発者、および真に困難で自明でないタスクに対してモデルをベンチマークしたい人向けに設計されています。

ハイライト

• 未解決の課題: 完全なスコアを達成した解決策がまだない問題に焦点を当てています。
• 検証可能なスコアリング: バイナリの合格/不合格ではなく継続的なスコアリングを使用し、段階的な改善の追跡を可能にします。
• 多様な範囲: システム、機械学習、アルゴリズム、セキュリティなど、複数のドメインをカバーしています。
• エージェントネイティブ統合: Harbor アダプターを介してエージェントワークフロー用に特別に設計されており、反復的なフィードバックと試行をサポートします。
• 柔軟な実行: バッチ評価と複数のバックエンド（Docker、SkyPilot）をサポートし、スケーラブルなテストを実現します。