Enron Brain:this+that 从 45,047 封安然电子邮件生成的 AI 维基,每条事实均有引用

this+that 使用 AI 流水线将 45,047 封安然电子邮件转化为一个包含 49,401 条事实的 214 页公司维基,每条事实都引用了其来源的特定电子邮件。没有人编辑过页面或事实。由第二个 AI 进行的保留审计发现,抽样事实中有 93% 完全得到来源电子邮件的支持,500 条抽样事实中没有一条在核心上是错误的。

这是该项目的主要声明,发布于 thisandthat.chat/enron。值得注意的不是模型能够大规模总结电子邮件,而是作者为每条声明附加了来源和有效期,并邀请任何人对照他们也可以阅读的语料库检查输出。

Enron Brain 实际上是什么

Enron Brain 是一组关于安然所打交道的组织的维基页面,由安然的内部电子邮件生成。语料库包含来自八个邮箱的 45,047 封电子邮件。输出为 214 个页面和 49,401 条事实。

两个设计选择将其与摘要演示区分开来:

  1. 每条事实都是带有来源的句子。 事实引用其来源电子邮件中的句子,而不是被拉入模式中的数字。
  2. 每条事实都有过期条件。 当邮件显示事实不再成立时,页面会在该日期将其过期。每个实体页面都有一个滑块:拖动它,页面会显示该日期已知的信息,仅在一段时间内成立的事实会在你面前过期。

事实作为句子的明确理由是,像员工人数或收入这样的字段属于 CRM 或其他记录系统。在这种框架下,公司大脑位于记录系统旁边,保存那些变化太频繁或不适合放入字段的信息。

准确性声明,精确表述

项目报告了由第二个 AI 进行的保留检查的两个审计数字:

  • 抽样事实中有 93% 完全得到其电子邮件的支持。
  • 500 条抽样事实中有 0 条在核心上是错误的。

这些是不同的标准。“完全支持”比“核心上不错”更严格,这两个数字不应被视为相同的质量度量。项目网站链接的方法页面描述了检查是如何进行的。

诚实的警告内置在声明本身中:审计是由第二个 AI 而不是人类审查者进行的,并且它抽样了事实,而不是验证了全部 49,401 条。

流水线如何工作

已发布的流水线有四个命名阶段,按以下顺序:

  1. 查找类型
  2. 查找实体
  3. 构建页面
  4. 验证

流水线提出了 57 种狭窄的实体类型,一个人保留了其中 54 种。几乎所有幸存的类型都是组织种类,因此网站按更粗略的类别对其列表进行分组,并将流水线自己的类型作为每个实体的标签。

网站上的工作示例:一封于 2001 年 11 月 8 日从 chairman.ken@enron.com 发送的电子邮件,宣布安然和 Dynegy 正在就可能的合并进行讨论,纽约证券交易所已短暂暂停了两家公司的交易。在生成的 Dynegy 页面上,该消息成为一条带引用的关系条目:Dynegy 被描述为竞争对手和交易对手,当时的关系被标记为“救援谈判”,日期为 2001 年 11 月 8 日,并标记为已对照电子邮件检查。

哪些实体获得了页面,以及为什么规则是任意的

流水线在安然的邮件中发现了许多类型的命名事物。只有一些获得了页面:

  • 214 个实体页面,主要是组织。
  • 78 个产品和平台,列出但没有页面。
  • 76 个设施和市场点,列出但没有页面。
  • 49 个事件,列出但没有页面。

包含规则是消息计数阈值:在至少 25 条消息中命名的组织获得页面,加上安然本身讨论最多的五个部分,即三个业务部门、一个交易平台和一个交易系统。

项目明确表示,这个截止点是人类判断的代理,而不是原则。真正的公司大脑不会按计数过滤,因为今天签约的客户可能只发送了一两封电子邮件,但仍然需要其页面。作者将实体类型选择描述为配置公司大脑时人类所做的设置工作,他们在构建任何页面之前做出了这个选择。

未过滤的列表也显示了实体提取在真实公司邮件上的噪声有多大。安然的设施包括交易中心、安然球场、一个停车场和两艘油轮。其事件将商业会议与慈善自行车骑行和太阳马戏团混合在一起。其产品将软件与交易所、法规和行业协会混合在一起。网站自身的框架:每家公司的邮件都会命名它不需要跟踪的事物,类别有点混乱,安然的邮件也不例外。

最难的失败模式:模型已经知道故事

在 Hacker News 线程中,联合创始人 Jeff(jreynar)指出了核心技术难点:

最难的部分是模型已经知道安然。它不断添加电子邮件中不包含的公开记录细节。

这是任何模型撰写关于有充分记录的历史主题时的一般问题。模型对安然崩溃的预训练知识是一个污染源:它可能产生看似合理、听起来真实但从未出现在来源电子邮件中的事实,这破坏了基于语料库的维基的目的。Jeff 表示,方法页面记录了这些添加是如何被捕获的、系统仍然出错的地方以及成本。

成本

根据创始人的说法,该项目按标价花费约 11,000 美元,尽管团队使用了订阅而不是支付标价。没有尝试降低成本。

为什么选择安然作为测试语料库

安然的电子邮件是少数可用的大型、免费、真实的公司邮件档案之一。FERC 在调查期间发布了它,卡内基梅隆大学自 2003 年以来一直维护它。这使得外部读者可以对照主要来源检查任何生成的页面。

第二个原因是安然的企业历史已经定论。例如,声称 Dynegy 于 2001 年 11 月同意收购安然的页面可以对照历史记录进行检查,而不是凭信任接受。网站推荐 Bethany McLean 和 Peter Elkind 的《房间里最聪明的人》以获取完整叙述,并指出邮件只展示了故事的片段。

讨论最多的实体揭示了语料库的什么

语料库中消息最多的十个组织是:

实体 在语料库中的角色 消息数
FERC 监管安然大部分业务的联邦监管机构,安然在此推动 RTO 和开放输电接入,反对加州价格上限,并寻求缩小退款。 1,501
通用电气 安然的涡轮机供应商,其同意管理涡轮机合同转让,Dabhol 的共同投资者,在 2001 年底是传闻中的救援者,然后是破产债权人。 1,499
太平洋天然气和电力公司 加州最大的公用事业公司:天然气和电力交易对手和零售市场现有者,其 2001 年 Chapter 11 破产使安然在其无担保债权人委员会中成为 4.04 亿美元的债权人。 773
Dynegy 休斯顿竞争对手和安然最大的交易对手之一,于 2001 年 11 月同意收购安然,然后终止了合并并声称拥有其 Northern Natural Gas 管道。 593
El Paso 公司 休斯顿竞争对手和安然前十交易对手,购买了安然的 Cogen 权益,竞标其他安然资产,并于 2001 年 11 月限制了与安然的交易。 478
加州公用事业委员会 加州电力和天然气监管机构,从 2000 年起传唤安然的记录,收到其 PX 信用投诉,并于 2001 年 9 月在安然反对的情况下暂停了直接接入。 477
杜克能源 安然的竞争对手和其最大的交易对手之一,加州价格操纵诉讼的共同被告,安然资产的买家,以及其破产中的债权人。 471
加州 ISO 加州的电网和现货市场运营商:安然的交易场所和对手方,然后是其在价格上限和退款索赔方面的对手,以及欠安然数千万美元的债务人。 460
道琼斯 为安然提供定制新闻剪报服务,与其合作制定电力指数,并通过《华尔街日报》发表了 2001 年 10 月 Fastow 合伙关系的报道。 418
Reliant Energy 休斯顿竞争对手和前十交易对手,与安然在加州传票上协调,并与其一起面临藐视法庭,然后在 2001 年底限制并减缓了与安然的交易。 400

这种分布本身就是关于语料库的一个发现:它由监管机构、对手方和竞争对手主导,而不是内部运营。

Hacker News 讨论添加了什么

线程中的反应分为对方法的热情和对框架的怀疑。

最实用的建议是,这个流水线应该成为公共调查的标准做法。一位评论者写道:

这是一个巧妙的技巧。我希望看到一系列众议院调查这样做,并作为常规发布维基。

一个更直接的批评是,项目宣布了一个维基,但没有在提交中清晰呈现。一位评论者简单地问:

维基在哪里?

页面发布在项目自己的域名上,从提交链接,而不是在维基平台中。

更广泛的雄心由另一位评论者陈述:

在嘲笑之前,AI 有潜力进行适当的新闻工作。追究公共机构和公司的责任。

关于论坛本身状态的一个讽刺反驳来自另一位评论者:

在这一点上,我认为这只是 AI 使用 Hacker News 向其他 AI 展示。

一位评论者争论了工具分类法,认为 Hacker News 需要一个 vibecoding 标签,就像 Lobsters 有或曾经有的一样,反映了对这样一个项目中模型输出与工程系统比例的不安。

最实质性的线程偏离是关于公司欺诈是否仍然有后果,使用安然作为对比案例:

啊,安然。欺诈高管仍然入狱、公司仍然看到欺诈后果的美好旧时光。2002 年,安达信因故意帮助安然做假账而被起诉。2003 年,布什司法部的总检察长约束检察官实际上总是和解公司案件而不定罪。所以现在像波音这样的公司杀害 300 多人而没有真正的后果。

那个论点是评论者的,作为为什么可搜索、有引用支持的记录可能超越技术练习的背景。

项目证明和未证明什么

它证明了:一个 LLM 流水线可以从大型真实电子邮件语料库中提取实体级事实,为每个事实附加来源句子,从邮件本身推导过期日期,并以 93% 的完全支持率通过自动化审计。

它未证明:该方法推广到实体选择问题。25 条消息阈值是人类判断的替代品,网站也这么说。审计是由第二个 AI 而不是人进行的。语料库是公开、冻结、历史定论的档案,这正是产生项目最难问题的条件:模型对安然的先验知识将未引用的细节渗入页面。活公司的邮件不会有相同形式的污染问题,但也不会有可以对照检查每条声明的定论公开记录。

Sources