superwesleyhys-ux/factcircuit

FactCircuit: an auditable claim-and-evidence verification loop with immutable provenance, staged checks, bounded retrieval, and reproducible evaluation.

解決する問題

FactCircuit は、システムが透明で監査可能な証拠の軌跡を提供せずに単に true/false ラベルを返す「ワンショット」事実確認の問題に対処します。ソースの改訂を無視したり、シンジケートされた記事を独立したソースと混同したり、特定の検索が実行された理由を追跡できないといった、一般的な検証の失敗を防ぎます。

仕組み

このプロジェクトは、検証を単一のプロンプトではなく多段階のループとして扱う、再現可能な「証拠回路」を実装しています。アダプタ駆動の Python ハーネスを使用して、以下のプロセスを管理します：

  1. 不変スナップショット：すべての証拠はバージョン管理されハッシュ化されるため、URL の改訂が以前のデータを上書きすることはありません。
  2. 分解：取得されたドキュメントは原子的な主張（atoms）に分解され、証拠グラフに認められる前に系譜が分析されます。
  3. 関心の分離：システムは、スナップショットが主張を支持するかどうか（証拠クリティック）と、その出来事が実際に現実世界で起こったかどうか（世界クリティック）を区別します。
  4. 有界ループ：プロセスはラウンド、時間、トークン予算によって制限されます。情報が不足している場合、データを取得または再分析するための特定のタスクを発行し、それがループに再び入ります。
  5. モデルトンネル：ローカルの Codex CLI デフォルト、OpenAI API、Anthropic API など、複数の推論経路をサポートします。

対象者

監査可能な AI 検証システムを構築する研究者や開発者、特に変化するニュース証拠を扱い、高い来歴を持つ事実確認を必要とする人々。

ハイライト

  • 監査可能なトレース：ソーススパン、タイムスタンプ、リソース使用量を含む、検証の正確な経路を保持します。
  • バージョン管理された証拠：同じ URL の改訂を別個のアイデンティティとして扱い、検証中のデータ損失を防ぎます。
  • 重点評価ツールキット：精度、再現率、確率品質を測定するための包括的なメトリクススイート（VP、FR、TR、SR、EN、CA、HFAR）を含みます。
  • オフライン機能：コア標準ライブラリハーネスは、証拠ループをテストするために手書きの注釈を使用して完全にオフラインで実行できます。
  • 二重ループランナー：モデルが後続の取得タスクを選択し、以前の調査結果の再分析を要求する高度なモード。

関連

  • プロジェクト
    truecourse-ai/truecourse

    TrueCourseは、プロジェクトドキュメントを自動的にエンドツーエンドテストに変換し、製品の実際の動作が書面上の仕様と常に一致することを保証するAI駆動型プラットフォームです。

  • プロジェクト
    lotus-data/lotus

    LOTUSは、大規模なLLM駆動型データ処理のためのPythonライブラリです。「セマンティック演算子」（LLMベースのmap、filter、reduce、joinなど）と、モデル呼び出しをバッチ処理およびカスケードして精度を向上させつつAPIコストを削減するオプティマイザーを導入しています。このライブラリは、純粋なLLM演算子だけでなく、各データシャード上でツールを使用するエージェント（サンドボックス化されたPython REPLなど）を実行する「エージェント演算子」もサポートしており、コードベース分析、研究の統合、障害モードのマイニング、ドキュメント抽出、LLM-as-a-judge評価、RAGなどの複雑なタスクを可能にします。インストールは `pip install lotus-ai` から行い、`Corpus` の作成、タスクの指定、`agent` またはセマンティック演算子の呼び出しという手順で使用します。スタンフォード大学およびカリフォルニア大学バークレー校の研究者によって支援されており、ReadTheDocsでドキュメントが公開されているほか、コミュニティDiscordやサンプルノートブックも用意されています。

  • プロジェクト
    getsentry/vitest-evals

    vitest‑evals は、Vitest に AI 対応の評価機能を追加するモノレポです。さまざまなモデル SDK 用のハーネスアダプタ、再利用可能なジャッジ（例：事実性）、詳細な JSON 出力レポーター、ローカルの React UI、および PR マージをパス率やスコアに基づいてブロックできる GitHub Action を提供します。

  • プロジェクト
    pgalko/BambooAI

    BambooAIは、調査中に行われたすべての計算ステップの検査可能かつ実行可能な記録を保持することで、透明性と再現性を優先するLLM駆動型データ分析プラットフォームです。

  • プロジェクト
    cmusphinx/pocketsphinx

    PocketSphinx は、低リソースデバイスで効率的に動作するオープンソースでオフラインの音声認識エンジン（CライブラリとPythonバインディング付き）です。音声の認識またはアライメントを実行し、結果をJSON形式で出力するコマンドラインツールとAPIを提供しています。