OpSafari/hypoarena

何を解決するか

AI共同研究者パイプラインの下層メカニズムをテスト・開発する完全オフラインのワークベンチを提供します。リアルタイムのLLMに依存せず、研究者が仮説生成、証拠検証、ランク付けといった特定のコンポーネントを分離してテストできるように、合成データを用いてシステムの論理が妥当であることを確認できます。実世界の科学的発見に展開する前に。

動作方法

このプロジェクトは科学的発見プロセスをテスト可能な段階に分解します：

• 合成文献: 因果関係の埋め込みとノイズを含む決定論的コーパスを生成し、回復率をテストします。
• 生成・議論・進化ループ: プラグイン可能なエージェントアダプタを使用して、メカニズムのクロスオーバーや主張の分解といった進化演算子を通じて、仮説を提示・批判・修正します。
• 検証・重複除去: スパンレベルの根拠確認（引用・エンティティの重複）を実施し、TF-IDFまたはMinHash LSHを用いて重複する仮説を削除します。
• ランク付け・蓄積: Bradley-Terry/Eloトーナメントで評価基準に基づいて仮説をランク付けし、ベイズ更新を用いて証拠を蓄積します。
• レポート生成: ネットワークアクセスを必要とせず、バイト単位で同一のMarkdownおよびHTMLレポートを出力します。

対象ユーザー

科学的発見用AIエージェントを開発する研究者や開発者で、仮説発見パイプラインの論理とパフォーマンスを検証するための制御されたオフライン環境を必要とする人。

特徴

• 完全オフライン: ネットワークアクセス、実際のモデル、重みのダウンロードなしで動作。主にNumPyに依存。
• 決定論的アーティファクト: カノニカルシリアライザにより、プラットフォーム間でバイト単位で同一の出力を保証。
• 包括的なツールキット: 合成コーパス生成からベイズ証拠蓄積まで、一連のコンポーネントを提供。
• 根拠検証: 脆弱な引用や数値のずれを検出するため、敵対的固定値を用いて検証を実施。