Terminal X Capital Memory on GPT-6.1 Sol: 88.6% Agreement With Senior Investor Judgment
Terminal X의 Capital Memory 시스템은 OpenAI의 GPT-6.1 Sol 및 GPT-6 Luna를 기반으로 구축되어, 500개의 평가된 판단 중 88.6%의 비율로 시니어 인간 투자자의 판단과 일치했습니다. 이는 차선 모델의 86.4%보다 220베이시스 포인트 개선된 수치입니다. 이 결과가 중요한 이유는 에이전틱 시스템이 특정 투자 회사의 판단을 단순히 문서를 검색하는 것이 아니라 실제로 인코딩할 수 있는지에 대한 구체적인 측정이며, 동일한 워크플로우에서 쿼리당 비용이 약 30% 낮아진 것으로 보고되기 때문입니다.
Terminal X가 발표한 내용과 그 중요성
Terminal X는 투자 회사의 의사 결정을 보존하고 적용하기 위한 운영 체제로 설명되는 Capital Memory라는 제품을 운영합니다. 회사의 프레임은 시니어 투자자가 회사를 떠날 때 회사는 문서를 보유하지만 추론은 잃게 되며, Terminal X는 이 문제를 메모리 부채라고 부릅니다. Capital Memory는 회사가 소유한 에이전트에 회사의 투자 방식을 인코딩하여 온프레미스 또는 회사 자체 클라우드에 배포함으로써 이 부채를 상환하도록 설계되었습니다.
OpenAI 모델은 해당 에이전트 내부의 추론을 처리합니다. Terminal X의 Eval Agent는 에이전트의 출력을 회사의 표준에 따라 평가합니다. 발표에 따르면, GPT-6.1 Sol은 Eval Agent가 펀드의 위임 사항에서 벗어난 권장 사항을 약 25% 더 많이 발견하도록 도왔고, 동일한 워크플로우를 차선 모델보다 쿼리당 약 30% 낮은 비용으로 유사한 속도로 실행했습니다.
Terminal X가 특정 회사처럼 투자하는 에이전트를 구축하는 방법
Terminal X는 단일 범용 투자 에이전트를 제공하는 대신 각 고객을 위한 맞춤형 에이전트 아키텍처를 구축합니다. 전방 배치 엔지니어(전 JPMorgan 및 Blackstone 출신의 전 금융 및 투자 전문가로 설명됨)는 고객의 투자 팀과 함께 현장에서 수주를 보내며, 신뢰받는 메모를 리버스 엔지니어링하고 신용 데스크가 차용인을 심사하는 방법이나 공동 투자 팀이 메모 전에 어떤 소스를 참조하는지와 같은 문서화되지 않은 프로세스를 포착합니다.
이러한 프로세스는 자산 클래스와 전략별로 맞춤화된 수백 개의 에이전트에 인코딩되며, 각 투자 단계에 대한 하위 에이전트가 있습니다. 모델 간의 작업 분담은 명시적입니다:
- GPT-6.1 Sol은 판단과 큰 컨텍스트 창이 필요한 단계를 처리합니다: 투자 논제 종합, 주요 고려 사항 식별, 회사 위임 사항과의 적합성 평가.
- GPT-6 Luna는 토큰 효율성이 깊이보다 더 중요한 대용량 단계를 실행합니다.
에이전트는 각 회사의 프라이빗 데이터 룸(기업이 민감한 투자 데이터를 공유하고 관리하기 위한 전용 환경) 내에서 작동합니다. 영어, 한국어, 일본어, 중국어로 문서를 처리하고 학습한 내용을 회사 메모리로 저장합니다: 한 데스크가 한 종류의 결정을 내리는 방식에 대한 버전 기록으로, 과거 분석, 위원회 결정, 워크플로우 지침, 하우스 뷰를 포함합니다. 그런 다음 엔지니어는 각 메모리를 Terminal X 플랫폼에서 반복 가능한 워크플로우로 전환하며, 모든 프로덕션 쿼리는 전체 추적(수행된 단계, 검색된 소스, 사용된 모델, 추론)과 함께 감사 가능합니다.
Terminal X는 고객이 이 접근 방식에서 상당한 비용 절감을 보고한다고 밝혔으며, 한 사모펀드는 자동화된 실사 및 투자 메모 워크플로우에서 연간 240만 달러의 절감 효과를 보고했습니다.
Eval Agent: 모든 출력에 적용되는 54개 기준 루브릭
Terminal X는 에이전트의 답변을 회사 자체 표준에 따라 확인하기 위해 Eval Agent를 구축했습니다. GPT-6.1 Sol 및 기타 OpenAI 모델에서 오케스트레이션된 워크플로우로, 부사장이 애널리스트의 작업을 읽는 방식으로 모든 에이전트 출력을 읽도록 설계되었습니다.
Eval Agent는 각 출력을 54개 기준 루브릭에 따라 확인하며, 숫자, 비교 대상, 컨센서스 수치, 인용문이 올바른 소스에서 가져왔는지, 내러티브가 유지되는지, 권장 사항이 하우스 뷰와 연결되는지 질문합니다. 각 확인은 통과 또는 실패로 점수를 매깁니다. 각 실패에는 한 줄의 이유와 더 나은 소스 또는 수정된 텍스트가 포함되며 메모리가 됩니다. 누락된 소스, 잘못된 비교 대상, 하우스 뷰에서 벗어난 논제는 해당 데스크에 대한 새로운 워크플로우 지침 또는 새로운 테스트 사례로 인코딩됩니다.
"모든 답변은 평가를 받고, 애널리스트가 수정하는 것은 시스템에 그 회사가 어떻게 작동하는지 조금 더 가르칩니다. 따라서 회사가 오래 사용할수록 자체 팀처럼 생각하게 됩니다." —Ken Lee, Terminal X 공동 창업자 겸 CTO
벤치마크 결과: 88.6% 일치 및 위임 사항 이탈 감소
Terminal X는 벤더 벤치마크가 아닌 자체 평가 결과를 기반으로 모델을 선택합니다. 500개의 평가된 판단에서 GPT-6.1 Sol의 Eval Agent는 시니어 인간 검토자와 88.6%의 비율로 일치했으며, 차선 모델의 86.4%보다 220베이시스 포인트 개선되었습니다.
GPT-6.1 Sol이 더 우수한 성과를 보인 오류 클래스 중 하나는 스타일 드리프트입니다. 주어진 예: 바이아웃 펀드의 위임 사항은 NAV 대비 할인된 가격에 거래되는 비공개 전환 후보를 찾고, 비즈니스를 인수하며, 파이낸싱을 구성하는 것입니다. 시나리오 모델이 시장 전환을 시사할 때, 거래는 대신 부실 신용 포지션이나 구제 금융을 권장하기 시작합니다. GPT-6.1 Sol의 Eval Agent는 차선 모델보다 이러한 이탈을 약 25% 더 많이 발견했습니다.
GPT-6.1 Sol의 긴 컨텍스트 작업에서의 토큰 효율성 덕분에 Terminal X는 동일한 예산 내에서 더 깊은 검토 워크플로우를 구축할 수 있었습니다. 이 워크플로우에서 논제는 먼저 펀드의 위임 사항에 대해 테스트된 다음 펀드의 최근 거래에 대해 테스트됩니다. 불확실한 판정은 다시 실행되고 에이전트는 보고 전에 결과를 조정합니다. Terminal X는 이 더 깊은 검토가 비교 가능한 모델의 단일 패스에서 통과된 거래를 플래그했다고 밝혔습니다.
"GPT-6.1 Sol의 긴 컨텍스트 추론과 토큰 효율성 덕분에 더 깊은 평가 파이프라인을 구축할 수 있습니다. 이는 Eval Agent가 투자 판단을 측정 가능하고 감사 가능하게 만드는 데 도움이 됩니다." —Hyun Hong, Terminal X 공동 창업자 겸 CEO
규모 및 다음 단계
Terminal X는 GPT-6.1 Sol 및 GPT-6 Luna를 사용하여 1,700개의 회사 메모리를 구축하고, 100만 개 이상의 맞춤형 워크플로우를 실행했으며, 월간 활성 사용자의 81%에 해당하는 주간 활성 사용자 수에 도달했다고 보고했습니다.
회사의 명시된 다음 단계는 회사 메모리를 데스크에서 개인으로 확장하여 각 투자 전문가의 표준이 설명된 대로가 아니라 실제로 실행되는 대로 포착되도록 하는 것입니다.
"다음 10년을 이길 회사는 판단을 데이터로 소유할 것입니다. 우리의 임무는 그 판단을 측정 가능하게 만들어 유지, 개선, 재사용할 수 있도록 하는 것입니다." —Hyun Hong, Terminal X 공동 창업자 겸 CEO
주요 사실 요약
- 사용된 모델: GPT-6.1 Sol(판단 중심, 긴 컨텍스트 단계) 및 GPT-6 Luna(대용량, 토큰 효율성 민감 단계).
- Eval Agent 일치율: 500개의 평가된 판단에서 시니어 인간 검토자와 88.6% 일치, 차선 모델의 86.4% 대비(220베이시스 포인트 개선).
- 위임 사항 이탈 감지: 차선 모델보다 약 25% 더 많은 스타일 드리프트 이탈 발견.
- 비용: 차선 모델보다 쿼리당 약 30% 낮은 비용, 유사한 속도.
- 평가 루브릭: 출력당 54개 기준, 통과/실패 점수 및 각 실패에 대한 한 줄 이유와 수정된 소스.
- 배포: 온프레미스 또는 고객 자체 클라우드, 프라이빗 데이터 룸 내.
- 처리 언어: 영어, 한국어, 일본어, 중국어.
- 보고된 규모: 1,700개의 회사 메모리, 100만 개 이상의 맞춤형 워크플로우, 월간 활성 사용자의 81%에 해당하는 주간 활성 사용자.
- 보고된 고객 성과: 한 사모펀드는 자동화된 실사 및 투자 메모 워크플로우에서 연간 240만 달러의 절감 효과를 보고했습니다.
SUMMARY: OpenAI의 Terminal X 사례 연구에 따르면, GPT-6.1 Sol에서 실행되는 Terminal X의 Eval Agent는 500개의 평가된 투자 판단 중 88.6%에서 시니어 인간 검토자와 일치했으며, 차선 모델의 86.4%보다 높았고, 위임 사항 이탈 권장 사항을 약 25% 더 많이 발견했으며, 워크플로우를 쿼리당 약 30% 낮은 비용으로 실행했습니다.
TITLE: Terminal X Capital Memory on GPT-6.1 Sol: 88.6% Agreement With Senior Investor Judgment