Enron Brain: this+that が45,047通のEnronメールから作成したAI執筆Wiki、全事実に出典付き
this+that はAIパイプラインを使用して、45,047通のEnronメールを、49,401の事実を含む214ページの会社Wikiに変換しました。すべての事実には、その事実の出典となった特定のメールが引用されています。ページや事実を編集した人間はいません。別のAIによる保留監査では、サンプリングされた事実の93%がソースメールによって完全に裏付けられ、サンプリングされた500の事実のうち、核心が間違っているものはゼロでした。
これが、thisandthat.chat/enron で公開されているプロジェクトの見出しとなる主張です。注目すべき点は、モデルがメールを大規模に要約できることではありません。著者がすべての主張に出典と有効期限を添付し、誰でもその出力を、自分たちも読むことができるコーパスと照合できるようにしたことです。
Enron Brain の実際の内容
Enron Brain は、Enron が取引した組織に関するWikiページのセットで、Enron の内部メールから生成されています。コーパスは8つのメールボックスからの45,047通のメールです。出力は214ページと49,401の事実です。
このプロジェクトを要約デモから区別する2つの設計上の選択があります:
- すべての事実は、出典付きの文です。 事実は、スキーマに取り込まれた数値ではなく、それが由来するメールの文を引用しています。
- すべての事実には有効期限があります。 メールが事実が真実でなくなったことを示すと、ページはその日付でその事実を失効させます。各エンティティページにはスライダーがあります: それをドラッグすると、ページはその日付に知られていたことを表示し、一時的にのみ真実だった事実が目の前で失効します。
事実を文として扱う理由は、従業員数や収益などのフィールドはCRMや他の記録システムに属するからです。この枠組みでは、会社のブレインは記録システムの隣に置かれ、頻繁に変わるものやフィールドに収まらないものを保持します。
正確性の主張、正確に述べる
プロジェクトは、別のAIによって実行された保留チェックからの2つの監査数値を報告しています:
- サンプリングされた事実の93% がメールによって完全に裏付けられました。
- サンプリングされた500の事実のうち0件 が核心で間違っていました。
これらは異なる基準です。「完全に裏付けられている」は「核心で間違っていない」よりも厳しいテストであり、2つの数値は同じ品質の尺度として読むべきではありません。プロジェクトサイトからリンクされている方法論ページには、チェックがどのように実行されたかが記載されています。
正直な注意点は主張自体に組み込まれています: 監査は人間のレビュー担当者ではなく別のAIによって実行され、49,401すべてを検証するのではなく事実をサンプリングしました。
パイプラインの仕組み
公開されているパイプラインには、次の順序で4つの名前付きステージがあります:
- タイプを見つける
- エンティティを見つける
- ページを構築する
- 検証する
パイプラインは57の狭いエンティティタイプを提案し、人間がそのうち54を保持しました。生き残ったタイプのほぼすべてが組織の種類だったため、サイトはリストをより粗いクラスでグループ化し、パイプライン自身のタイプを各エンティティのタグとして保持しています。
サイトからの実例: 2001年11月8日にchairman.ken@enron.comから送信されたメールで、EnronとDynegyが合併の可能性について話し合いを行っており、ニューヨーク証券取引所が両社の取引を一時的に停止したと発表しました。生成されたDynegyページでは、そのメッセージは引用された関係エントリになります: Dynegyは競合他社および取引相手方の両方として説明され、その時点での関係は「救済交渉」とラベル付けされ、日付は2001年11月8日で、メールと照合済みとマークされています。
どのエンティティがページを獲得したか、そしてなぜそのルールが恣意的なのか
パイプラインはEnronのメール内の多くの種類の名前付き物を見つけました。ページを獲得したのは一部だけです:
- 214のエンティティページ、主に組織。
- 78の製品とプラットフォーム、ページなしでリスト。
- 76の施設と市場ポイント、ページなしでリスト。
- 49のイベント、ページなしでリスト。
包含ルールはメッセージ数のしきい値でした: 少なくとも25のメッセージで言及された組織はページを獲得し、さらにEnron自体の最も議論された5つの部分（3つのビジネスユニット、1つの取引プラットフォーム、1つの取引システム）も獲得しました。
プロジェクトは、このカットオフが人間の判断の代理であり、原則ではないことを明示しています。実際の会社のブレインは数でフィルタリングしないでしょう。なぜなら、今日契約した顧客は1通か2通のメールしか送っていないかもしれず、それでもそのページは欲しいからです。著者はエンティティタイプの選択を、会社のブレインを設定するときに人間が行うセットアップ作業として説明し、ページを構築する前にその選択を行いました。
フィルタリングされていないリストは、実際の企業メールに対するエンティティ抽出がどれほどノイズが多いかを示しています。Enronの施設には、取引ハブ、Enronフィールド、駐車場、2隻のタンカーが含まれます。イベントはビジネス会議とチャリティーバイクライド、シルク・ドゥ・ソレイユを混在させています。製品はソフトウェアと取引所、法律、業界団体を混在させています。サイト自身の枠組み: すべての会社のメールは、追跡する必要のないものを、少し混乱したカテゴリで名指ししており、Enronのメールも例外ではありません。
最も難しい失敗モード: モデルはすでにストーリーを知っている
Hacker Newsのスレッドで、共同創業者のJeff (jreynar) が中心的な技術的難しさを特定しました:
最も難しい部分は、モデルがすでにEnronを知っていることでした。メールに含まれていない公開記録からの詳細を追加し続けました。
これは、十分に文書化された歴史的主題について書く任意のモデルにとって一般的な問題です。モデルの事前学習済みのEnron崩壊に関する知識は汚染源です: ソースメールに決して現れない、もっともらしく真実に聞こえる事実を生成する可能性があり、それはコーパスに基づくWikiの目的を損なうものです。Jeffは、方法論ページにこれらの追加がどのように捕捉されたか、システムがまだ何を間違えるか、そしてコストが文書化されていると述べています。
コスト
創業者によると、プロジェクトのコストはリスト価格で約11,000ドルでしたが、チームはリスト価格を支払うのではなくサブスクリプションを使用しました。そのコストを下げる試みはありませんでした。
なぜEnronがテストコーパスとして選ばれたのか
Enronのメールは、利用可能な数少ない大規模で無料の実際の企業メールアーカイブの1つです。FERCは調査中にそれを公開し、カーネギーメロン大学が2003年から維持しています。これにより、外部の読者が生成されたページを一次ソースと照合することが可能になります。
2番目の理由は、Enronの企業史が確定していることです。たとえば、Dynegyが2001年11月にEnronを買収することに合意したと主張するページは、信頼に頼るのではなく歴史的記録と照合できます。サイトは完全な物語のためにBethany McLeanとPeter Elkindの『The Smartest Guys in the Room』を推奨し、メールは物語を断片的にしか示していないと述べています。
最も議論されたエンティティがコーパスについて明らかにすること
コーパスで最も多くのメッセージを持つ10の組織は次のとおりです:
| エンティティ | コーパスでの役割 | メッセージ数 |
|---|---|---|
| FERC | Enronのビジネスの多くを監督する連邦規制機関。EnronはRTOとオープンな送電アクセスを推進し、カリフォルニアの価格上限に反対し、返金を狭めようとしました。 | 1,501 |
| General Electric | Enronのタービン供給業者で、タービン契約の譲渡には同意が必要で、Dabholの共同投資家であり、2001年後半には噂の救済者、その後破産債権者となりました。 | 1,499 |
| Pacific Gas and Electric | カリフォルニア最大の電力会社: ガスと電力の取引相手方であり、小売市場の既存事業者で、2001年のチャプター11によりEnronは無担保債権者委員会で4億400万ドルの債権者となりました。 | 773 |
| Dynegy | ヒューストンのライバルで、Enronの最大の取引相手方の1つで、2001年11月にEnronを買収することに合意しましたが、その後合併を終了し、Northern Natural Gasパイプラインを主張しました。 | 593 |
| El Paso Corporation | ヒューストンの競合他社で、Enronのトップ10の取引相手方で、EnronのCogen権益を購入し、他のEnron資産に入札し、2001年11月にEnronとの取引を制限しました。 | 478 |
| California Public Utilities Commission | カリフォルニアの電力とガスの規制機関で、2000年からEnronの記録を召喚し、PXクレジットの苦情を受け取り、Enronの反対にもかかわらず2001年9月に直接アクセスを停止しました。 | 477 |
| Duke Energy | Enronのライバルで最大の取引相手方の1つで、カリフォルニアの価格操作訴訟の共同被告であり、Enron資産の買い手であり、破産手続きでの債権者でした。 | 471 |
| California ISO | カリフォルニアの送電網とスポット市場の運営者: Enronの取引会場と取引相手方、その後価格上限と返金請求をめぐる敵対者、そしてEnronに数千万ドルを負っている債務者でした。 | 460 |
| Dow Jones | Enronのカスタムニュースクリッピングサービスを提供し、電力指数で協力し、ウォールストリートジャーナルを通じて2001年10月のFastowパートナーシップの記事を公開しました。 | 418 |
| Reliant Energy | ヒューストンのライバルでトップ10の取引相手方で、カリフォルニアの召喚状でEnronと協調し、一緒に侮辱罪に直面し、2001年後半にEnronとの取引を制限および減速させました。 | 400 |
この分布自体がコーパスに関する発見です: それは内部業務ではなく、規制当局、取引相手方、ライバルによって支配されています。
Hacker Newsの議論が追加したもの
スレッドでの反応は、方法への熱意とフレーミングへの懐疑の間で分かれました。
最も強い実用的な提案は、このパイプラインが公的調査の標準的な実践になるべきだというものでした。あるコメンターは書きました:
これは巧妙なトリックです。下院の調査がこれを実行し、Wikiを当然のこととして公開するのを見たいです。
より直接的な批判は、プロジェクトがWikiを発表したが、提出物で明確に提示しなかったというものでした。あるコメンターは単純に尋ねました:
wikiはどこですか?
ページはプロジェクト自身のドメインに公開されており、提出物からリンクされていますが、Wikiプラットフォームではありません。
より広い野心は別のコメンターによって述べられました:
これを嘲笑する前に、AIは適切なジャーナリズムを行う可能性があります。公的機関や企業に責任を負わせること。
フォーラム自体の状態についての皮肉な反論が別のコメンターから来ました:
この時点で、AIが他のAIにデモンストレーションするためにHacker Newsを使用しているだけだと思います。
あるコメンターはツーリングの分類法について議論し、Hacker NewsにはLobstersが持っている（または持っていた）ようなvibecodingタグが必要だと述べ、このようなプロジェクトがモデル出力とエンジニアリングされたシステムのどれだけであるかについての不安を反映しました。
最も実質的なスレッドの逸脱は、企業詐欺がまだ結果をもたらすかどうかについてで、Enronを対比のケースとして使用しました:
ああ、Enron。詐欺の幹部がまだ刑務所に行き、企業が詐欺の結果を見た良い時代。2002年、Arthur AndersenはEnronの帳簿の改ざんを故意に支援したとして起訴されました。2003年、Bush司法省の司法長官は検察官に、企業事件を有罪判決なしで事実上常に和解するよう拘束しました。だから今日では、Boeingのような企業が300人以上を殺しても実際の結果がない。
その議論はコメンターのものであり、検索可能で引用に裏付けられた企業崩壊の記録が技術的な演習を超えて重要かもしれない理由の文脈として提供されています。
プロジェクトが実証することと実証しないこと
実証すること: LLMパイプラインは、大規模な実際のメールコーパスからエンティティレベルの事実を抽出し、各事実にソース文を添付し、メール自体から有効期限を導き出し、93%の完全に裏付けられた率で自動監査に耐えることができます。
実証しないこと: 方法がエンティティ選択問題に一般化すること。25メッセージのしきい値は人間の判断の代用であり、サイトはそう述べています。監査は人間ではなく別のAIによって実行されました。コーパスは公開され、凍結され、歴史的に確定したアーカイブであり、これはプロジェクトの最も難しい問題、つまりモデルのEnronに関する事前知識がページにソースのない詳細を漏らすという問題を生み出したまさにその条件です。生きた会社のメールは同じ形でその汚染問題を持たないでしょうが、すべての主張を照合できる確定した公開記録も持たないでしょう。