Enron Brain: this+that의 AI 작성 위키, 45,047개의 Enron 이메일에서 모든 사실 인용
this+that은 AI 파이프라인을 사용하여 45,047개의 Enron 이메일을 49,401개의 사실을 포함한 214페이지 분량의 회사 위키로 전환했으며, 모든 사실은 해당 사실이 나온 특정 이메일을 인용합니다. 어떤 사람도 페이지나 사실을 편집하지 않았습니다. 두 번째 AI가 수행한 별도 감사에서는 표본으로 추출된 사실의 93%가 원본 이메일로 완전히 뒷받침되었고, 표본으로 추출된 500개의 사실 중 핵심이 틀린 것은 0건이었습니다.
이것이 thisandthat.chat/enron에 게시된 프로젝트의 주요 주장입니다. 주목할 만한 점은 모델이 이메일을 대규모로 요약할 수 있다는 것이 아닙니다. 저자가 모든 주장에 출처와 유효 기간을 첨부한 다음, 누구나 읽을 수 있는 말뭉치를 기준으로 출력을 확인하도록 초대했다는 점입니다.
Enron Brain이 실제로 무엇인지
Enron Brain은 Enron이 거래한 조직에 대한 위키 페이지 모음으로, Enron의 내부 이메일에서 생성되었습니다. 말뭉치는 8개의 사서함에서 온 45,047개의 이메일입니다. 출력은 214페이지와 49,401개의 사실입니다.
두 가지 설계 선택이 이 프로젝트를 요약 데모와 구분합니다:
- 모든 사실은 출처가 있는 문장입니다. 사실은 스키마에 끌어온 숫자가 아니라 이메일에서 가져온 문장을 인용합니다.
- 모든 사실에는 만료 조건이 있습니다. 메일에서 사실이 더 이상 사실이 아니게 된 날짜를 보여주면, 페이지는 그 날짜에 사실을 만료시킵니다. 각 엔터티 페이지에는 슬라이더가 있습니다: 슬라이더를 끌면 페이지는 그 날짜에 알려진 내용을 보여주며, 잠시 동안만 사실이었던 사실은 눈앞에서 만료됩니다.
사실을 문장으로 표현하는 이유는 직원 수나 수익과 같은 필드는 CRM이나 다른 기록 시스템에 속하기 때문이라고 명시되어 있습니다. 이러한 프레임에서 회사 브레인은 기록 시스템 옆에 위치하며 너무 자주 변경되거나 필드에 맞지 않는 정보를 보관합니다.
정확성 주장, 정확히 설명
프로젝트는 두 번째 AI가 수행한 별도 검사에서 두 가지 감사 수치를 보고합니다:
- 표본으로 추출된 사실의 **93%**가 이메일로 완전히 뒷받침되었습니다.
- 표본으로 추출된 500개의 사실 중 0개가 핵심이 틀렸습니다.
이것들은 다른 기준입니다. "완전히 뒷받침됨"은 "핵심이 틀리지 않음"보다 더 엄격한 테스트이며, 두 수치를 동일한 품질 측정으로 읽어서는 안 됩니다. 프로젝트 사이트에서 연결된 방법론 페이지는 검사가 어떻게 실행되었는지 설명합니다.
정직한 경고는 주장 자체에 내장되어 있습니다: 감사는 인간 검토자가 아닌 두 번째 AI에 의해 수행되었으며, 49,401개 모두를 검증하는 대신 사실을 표본 추출했습니다.
파이프라인 작동 방식
게시된 파이프라인에는 다음 순서로 네 가지 명명된 단계가 있습니다:
- 유형 찾기
- 엔터티 찾기
- 페이지 구축
- 검증
파이프라인은 57개의 좁은 엔터티 유형을 제안했고, 한 사람이 그중 54개를 유지했습니다. 살아남은 유형의 거의 모두가 조직 종류였기 때문에 사이트는 목록을 더 넓은 클래스로 그룹화하고 파이프라인 자체의 유형을 각 엔터티의 태그로 유지합니다.
사이트의 작업 예: 2001년 11월 8일 chairman.ken@enron.com에서 보낸 이메일로, Enron과 Dynegy가 가능한 합병에 대해 논의 중이며 뉴욕 증권 거래소가 두 회사의 거래를 잠시 중단했다고 발표했습니다. 생성된 Dynegy 페이지에서 이 메시지는 인용된 관계 항목이 됩니다: Dynegy는 경쟁자이자 거래 상대방으로 설명되며, 그 순간의 관계는 "구출 협상"으로 표시되고, 2001년 11월 8일로 날짜가 지정되며 이메일과 대조 확인된 것으로 표시됩니다.
어떤 엔터티가 페이지를 얻었는지, 그리고 그 규칙이 임의적인 이유
파이프라인은 Enron 메일에서 다양한 종류의 명명된 것을 발견했습니다. 일부만 페이지를 얻었습니다:
- 214개의 엔터티 페이지, 주로 조직.
- 78개의 제품 및 플랫폼, 페이지 없이 나열됨.
- 76개의 시설 및 시장 지점, 페이지 없이 나열됨.
- 49개의 이벤트, 페이지 없이 나열됨.
포함 규칙은 메시지 수 임계값이었습니다: 최소 25개 메시지에서 언급된 조직은 페이지를 받았고, Enron 자체의 가장 많이 논의된 다섯 부분(세 개의 사업 부문, 거래 플랫폼, 거래 시스템)도 페이지를 받았습니다.
프로젝트는 이 기준이 인간 판단의 대리자이지 원칙이 아니라고 명시합니다. 실제 회사 브레인은 수로 필터링하지 않을 것입니다. 오늘 가입한 고객이 한두 개의 이메일만 보냈을 수 있고 그 페이지가 여전히 필요할 수 있기 때문입니다. 저자는 엔터티 유형 선택을 회사 브레인을 구성할 때 사람이 수행하는 설정 작업으로 설명하며, 페이지를 구축하기 전에 그 선택을 했습니다.
필터링되지 않은 목록은 실제 기업 메일에서 엔터티 추출이 얼마나 시끄러운지 보여줍니다. Enron의 시설에는 거래 허브, Enron Field, 주차장, 두 대의 유조선이 포함됩니다. 이벤트는 비즈니스 컨퍼런스와 자선 자전거 타기, 시르크 뒤 솔레이유를 혼합합니다. 제품은 소프트웨어와 거래소, 법령, 무역 협회를 혼합합니다. 사이트 자체의 프레임: 모든 회사의 메일은 추적할 필요가 없는 것들을 약간 지저분한 범주로 명명하며, Enron의 메일도 다르지 않습니다.
가장 어려운 실패 모드: 모델이 이미 이야기를 알고 있음
Hacker News 스레드에서 공동 창업자 Jeff(jreynar)는 핵심 기술적 어려움을 지적했습니다:
가장 어려운 부분은 모델이 이미 Enron을 알고 있다는 것이었습니다. 이메일에 포함되지 않은 공개 기록의 세부 사항을 계속 추가했습니다.
이것은 잘 문서화된 역사적 주제에 대해 글을 쓰는 모든 모델에게 일반적인 문제입니다. Enron의 붕괴에 대한 모델의 사전 훈련된 지식은 오염원입니다: 원본 이메일에 나타나지 않는 그럴듯하고 사실처럼 들리는 사실을 생성할 수 있으며, 이는 말뭉치 기반 위키의 목적을 무너뜨립니다. Jeff는 방법론 페이지가 이러한 추가 사항이 어떻게 발견되었는지, 시스템이 여전히 무엇을 잘못하는지, 비용을 문서화한다고 말합니다.
비용
창립자에 따르면 프로젝트 비용은 정가 기준 약 11,000달러였지만, 팀은 정가를 지불하는 대신 구독을 사용했습니다. 비용을 낮추려는 시도는 없었습니다.
Enron이 테스트 말뭉치로 선택된 이유
Enron의 이메일은 사용 가능한 몇 안 되는 대규모 무료 실제 기업 메일 아카이브 중 하나입니다. FERC가 조사 중에 공개했고, 카네기 멜론 대학교가 2003년부터 유지해 왔습니다. 이로 인해 외부 독자가 생성된 페이지를 원본 출처와 대조할 수 있습니다.
두 번째 이유는 Enron의 기업 역사가 확정되었기 때문입니다. 예를 들어 Dynegy가 2001년 11월에 Enron을 인수하기로 합의했다고 주장하는 페이지는 신뢰에 의존하는 대신 역사적 기록과 대조할 수 있습니다. 사이트는 전체 이야기를 위해 Bethany McLean과 Peter Elkind의 The Smartest Guys in the Room을 추천하며, 메일은 이야기를 조각으로만 보여준다고 언급합니다.
가장 많이 논의된 엔터티가 말뭉치에 대해 보여주는 것
말뭉치에서 가장 많은 메시지를 가진 10개 조직은 다음과 같습니다:
| 엔터티 | 말뭉치에서의 역할 | 메시지 수 |
|---|---|---|
| FERC | Enron의 많은 사업을 감독하는 연방 규제 기관으로, Enron은 RTO와 개방형 송전 접근을 추진하고 캘리포니아 가격 상한에 반대하며 환급 범위를 좁히려 했습니다. | 1,501 |
| General Electric | Enron의 터빈 공급업체로, 터빈 계약 양도에 동의해야 했고 Dabhol 공동 투자자였으며, 2001년 말에는 소문난 구원자이자 파산 채권자였습니다. | 1,499 |
| Pacific Gas and Electric | 캘리포니아 최대 전력회사: 가스 및 전력 거래 상대방이자 소매 시장 기존 사업자로, 2001년 파산으로 Enron은 무담보 채권자 위원회에서 4억 4백만 달러 채권자가 되었습니다. | 773 |
| Dynegy | 휴스턴 경쟁자이자 Enron의 최대 거래 상대방 중 하나로, 2001년 11월 Enron 인수에 합의한 후 합병을 종료하고 Northern Natural Gas 파이프라인을 주장했습니다. | 593 |
| El Paso Corporation | 휴스턴 경쟁자이자 Enron의 상위 10대 거래 상대방으로, Enron의 Cogen 지분을 사들였고 다른 Enron 자산에 입찰했으며 2001년 11월 Enron과의 거래를 제한했습니다. | 478 |
| California Public Utilities Commission | 캘리포니아의 전기 및 가스 규제 기관으로, 2000년부터 Enron의 기록을 소환했고 PX 신용 불만을 접수했으며 2001년 9월 Enron의 반대에도 직접 접근을 중단했습니다. | 477 |
| Duke Energy | Enron의 라이벌이자 최대 거래 상대방 중 하나로, 캘리포니아 가격 조작 소송의 공동 피고였고 Enron 자산을 사들였으며 파산에서 채권자였습니다. | 471 |
| California ISO | 캘리포니아의 전력망 및 현물 시장 운영자: Enron의 거래 장소이자 상대방이었고, 이후 가격 상한과 환급 청구에 대해 적대자가 되었으며, Enron에 수천만 달러를 빚진 채무자였습니다. | 460 |
| Dow Jones | Enron의 맞춤형 뉴스 클리핑 서비스를 제공했고 전력 지수에 협력했으며, Wall Street Journal을 통해 2001년 10월 Fastow 파트너십 기사를 게재했습니다. | 418 |
| Reliant Energy | 휴스턴 라이벌이자 상위 10대 거래 상대방으로, 캘리포니아 소환장에 대해 Enron과 협력하고 함께 모욕죄에 직면했으며, 2001년 후반에는 Enron 거래를 제한하고 늦췄습니다. | 400 |
이 분포 자체가 말뭉치에 대한 발견입니다: 내부 운영이 아니라 규제 기관, 거래 상대방, 경쟁자가 지배합니다.
Hacker News 토론이 추가한 것
스레드의 반응은 방법에 대한 열정과 프레임에 대한 회의론으로 나뉘었습니다.
가장 강력한 실용적 제안은 이 파이프라인이 공공 조사의 표준 관행이 되어야 한다는 것이었습니다. 한 댓글 작성자는 다음과 같이 썼습니다:
이것은 멋진 트릭입니다. 하원 조사 시리즈가 이렇게 하고 위키를 당연히 게시하는 것을 보고 싶습니다.
더 직접적인 비판은 프로젝트가 제출물에서 명확히 제시하지 않고 위키를 발표했다는 것이었습니다. 한 댓글 작성자는 간단히 물었습니다:
위키는 어디 있나요?
페이지는 프로젝트 자체 도메인에 게시되어 제출물에서 링크되며, 위키 플랫폼이 아닙니다.
더 넓은 야망은 다른 댓글 작성자가 말했습니다:
이것을 비웃기 전에, AI는 적절한 저널리즘을 수행할 잠재력이 있습니다. 공공 기관과 기업을 책임지게 하는 것.
포럼 자체의 상태에 대한 냉소적인 반박은 다른 댓글 작성자에게서 나왔습니다:
이 시점에서 AI가 다른 AI에게 시연하기 위해 hacker news를 사용하는 것 같습니다.
한 댓글 작성자는 도구 분류에 대해 논쟁하며 Hacker News에 Lobsters가 있거나 있었던 것처럼 vibecoding 태그가 필요하다고 주장했는데, 이는 이와 같은 프로젝트가 모델 출력 대 엔지니어링 시스템 중 얼마나 많은지에 대한 불안을 반영합니다.
가장 큰 스레드 주제 이탈은 기업 사기가 여전히 결과를 초래하는지에 대한 것이었고, Enron을 대조 사례로 사용했습니다:
아, Enron. 사기 경영진이 여전히 감옥에 가고 기업이 사기의 결과를 보던 좋은 옛날. 2002년, Arthur Andersen은 Enron의 분식 회계를 고의로 도운 혐의로 기소됨. 2003년, Bush 행정부 법무부 장관은 검사들이 기업 사건을 유죄 판결 없이 사실상 항상 합의하도록 묶음. 그래서 요즘은 Boeing 같은 회사가 300명 이상을 살해해도 실제 결과가 없음.
그 주장은 댓글 작성자의 것이며, 검색 가능하고 인용이 뒷받침되는 기업 붕괴 기록이 기술적 연습 이상으로 중요할 수 있는 이유에 대한 맥락으로 제공됩니다.
프로젝트가 입증하는 것과 입증하지 않는 것
입증하는 것: LLM 파이프라인은 대규모 실제 이메일 말뭉치에서 엔터티 수준 사실을 추출하고, 각 사실에 출처 문장을 첨부하고, 메일 자체에서 만료 날짜를 도출하고, 93% 완전 지원 비율로 자동 감사를 통과할 수 있습니다.
입증하지 않는 것: 방법이 엔터티 선택 문제에 일반화된다는 것. 25-메시지 임계값은 인간 판단의 대리자이며, 사이트가 그렇게 말합니다. 감사는 사람이 아닌 두 번째 AI에 의해 수행되었습니다. 말뭉치는 공개적이고 고정된 역사적으로 확정된 아카이브로, 이는 프로젝트의 가장 어려운 문제, 즉 모델의 Enron에 대한 사전 지식이 출처 없는 세부 사항을 페이지에 흘려보내는 조건을 정확히 만들었습니다. 살아있는 회사의 메일은 같은 형태의 오염 문제가 없겠지만, 모든 주장을 대조할 수 있는 확정된 공개 기록도 없을 것입니다.