superwesleyhys-ux/factcircuit

FactCircuit: an auditable claim-and-evidence verification loop with immutable provenance, staged checks, bounded retrieval, and reproducible evaluation.

它解决了什么问题

FactCircuit 解决了“一次性”事实核查的问题，即系统仅返回真/假标签，而未提供透明、可审计的证据轨迹。它防止常见的核查失败，例如忽略来源修订、将联合供稿报道误认为独立来源，以及未能追踪为何执行特定搜索。

它如何运作

该项目实现了一个可重放的“证据回路”，将核查视为多阶段循环，而非单一提示。它使用适配器驱动的 Python 工具框架来管理以下流程：

  1. 不可变快照：每一份证据都经过版本化与哈希处理，确保 URL 的修订不会覆盖先前的数据。
  2. 分解：检索到的文档被拆解为原子主张（atoms），并在纳入证据图之前分析其血统。
  3. 关注点分离：系统区分快照是否支持某项主张（证据批判者）以及该事件是否确实发生在现实世界中（世界批判者）。
  4. 有界循环：流程受回合数、时间与令牌预算限制。若信息缺失，它会发出特定任务以获取或重新分析数据，然后重新进入循环。
  5. 模型隧道：它支持多种推理路径，包括本地 Codex CLI 默认、OpenAI API 和 Anthropic API。

它适合谁

研究人员和开发人员构建可审计的 AI 核查系统，特别是那些处理不断变化的新闻证据以及需要高溯源事实核查的人。

亮点

  • 可审计轨迹：保留核查的精确路径，包括来源范围、时间戳和资源使用量。
  • 版本化证据：将相同 URL 的修订视为不同身份，以防止核查期间的数据丢失。
  • 重点评估工具包：包含一套全面的指标（VP、FR、TR、SR、EN、CA、HFAR），用于衡量精确度、召回率和概率质量。
  • 离线能力：核心标准库工具框架可以完全离线运行，使用手写注释来测试证据回路。
  • 双循环执行器：一种高级模式，模型可选择后续检索任务并请求重新分析先前的发现。

相关

  • 项目
    truecourse-ai/truecourse

    TrueCourse 是一个人工智能驱动的平台，可自动将项目文档转换为端到端测试，确保产品的实际行为始终与其书面规范相符。

  • 项目
    lotus-data/lotus

    LOTUS 是一个用于大规模、LLM 驱动的数据处理 Python 库。它引入了“语义算子”（基于 LLM 的 map、filter、reduce、join 等）以及一个优化器，通过批处理和级联模型调用来提高准确性并降低 API 成本。该库支持纯 LLM 算子以及在每个数据分片上运行工具使用代理（例如沙盒 Python REPL）的“代理算子”，从而实现代码库分析、研究综合、故障模式挖掘、文档提取、LLM 作为评委的评估以及 RAG 等复杂任务。可通过 `pip install lotus-ai` 安装；使用方式围绕着创建 `Corpus`、指定任务并调用 `agent` 或语义算子。该项目由斯坦福大学/加州大学伯克利分校的研究人员支持，并在 ReadTheDocs 上提供文档，同时设有社区 Discord 和示例笔记本。

  • 项目
    getsentry/vitest-evals

    vitest‑evals 是一个单体仓库，为 Vitest 添加 AI 友好的评估功能。它提供多种模型 SDK 的适配器、可重用的判断器（如事实性）、自定义 JSON 报告器、本地 React UI，以及可基于通过率或分数阻止 PR 合并的 GitHub Action。

  • 项目
    pgalko/BambooAI

    BambooAI 是一个由 LLM 驱动的数据分析平台，通过维护调查过程中每一步计算的可检查、可执行记录，优先考虑透明度和可重复性。

  • 项目
    cmusphinx/pocketsphinx

    PocketSphinx 是一个开源、离线的语音转文本引擎（C 库，带 Python 绑定），可在低资源设备上高效运行。它提供命令行工具和 API，用于识别或对齐音频，并将结果输出为 JSON 格式。